WO2019132692A1 - Method and system for controlling electronic devices with the aid of an electromyographic reading device - Google Patents

Method and system for controlling electronic devices with the aid of an electromyographic reading device Download PDF

Info

Publication number
WO2019132692A1
WO2019132692A1 PCT/RU2017/000993 RU2017000993W WO2019132692A1 WO 2019132692 A1 WO2019132692 A1 WO 2019132692A1 RU 2017000993 W RU2017000993 W RU 2017000993W WO 2019132692 A1 WO2019132692 A1 WO 2019132692A1
Authority
WO
WIPO (PCT)
Prior art keywords
emg
signal
electromyographic
user
reader
Prior art date
Application number
PCT/RU2017/000993
Other languages
French (fr)
Russian (ru)
Inventor
Владимир Русланович КАРИМОВ
Наталья Михайловна ИВАНЮК
Захар Алексеевич ПОНИМАШ
Валентин Евгеньевич ЩЕПАНСКИЙ
Артур Юрьевич ПЕТРОСЯН
Original Assignee
ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "Би-оН ЭМГ"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "Би-оН ЭМГ" filed Critical ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "Би-оН ЭМГ"
Publication of WO2019132692A1 publication Critical patent/WO2019132692A1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00—Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 

Definitions

  • This technical solution relates to the field of gaming devices and medical equipment, namely, rehabilitation, in particular, to methods and systems for controlling various devices, and is intended for gaming devices and rehabilitation of people with loss of limbs, with diseases that lead to disorders of the musculoskeletal system.
  • apparatus and the musculoskeletal system, as well as to use parts of the product independently in various tasks to improve the quality of life.
  • the system for identifying gestures includes at least one sensor responsive to user-made gestures and a processor communicatively connected to at least one sensor.
  • a method for identifying gestures includes: receiving at least one signal from at least one sensor per processor; segmentation of at least one signal into data windows; for each data window, at least one subset of data windows: the window class definition for the data window by the processor, the window class is selected by the processor from the window class library, where each window class in the window class library exclusively characterizes at least one data window property; determination by the processor of the corresponding probability that each gesture in the gesture library is a user-executable gesture based on a) window class for the data window, when i> 1, 6) window class for the data window, where j ⁇ i; identifying a high probability gesture for a data window by the processor, the corresponding gesture in the gesture library, which has the highest probability that a certain gesture is performed by the user.
  • the gesture-based device control system is configured to establish a wireless connection between the gesture-based control device and the particular receiver, the gesture-based control device includes a processor, at least one sensor connected to communicate with the processor, and a wireless transmitter communicatively connected to the processor.
  • the gesture-based device control method comprises the steps of: detecting the first gesture performed by the user of the gesture-based control device by at least one sensor, the first gesture is registered by the first receiving device, identified by the processor; the first receiving device with which the user wishes to interact based on the recognized first gesture; configuring, by means of a processor, the first signal to be used only by the first receiver; and a wireless method for transmitting a first signal in a first receiver using a wireless transmitter.
  • a distinctive feature of the current patent is the lack of use of neural networks, the scope of application of the device, as well as the technology of work, since the current patent involves the implementation of data processing on the discriminator.
  • the technical problem solved in this technical solution is to implement autonomous full-featured control for performing low-level tasks of manipulating any electronic device adapted for this purpose, such as virtual reality, radio-controlled models, computers, etc.
  • auxiliary device such as a gaming device, virtual reality, computer, telephone, etc.
  • the technical result which manifests itself in solving this technical problem and problem, is to improve the accuracy of positioning and making a decision about the capture of an object by hand, as well as registering a more accurate leg movement, limb position in space, or determining another motor function.
  • an additional technical result is to reduce the cognitive load on a person, to increase the efficiency of device management, to reduce the response time of executive devices.
  • Another additional technical result is the simplification of the procedure for installing and configuring the system "actuator-reader" due to the modularity of the system - the reader is portable, and requires approximate positioning when placed, and is easily removable.
  • the executive mechanism can act in various forms: it can be a gaming device, like a radio-controlled machine or drone, virtual reality, or a software device, a computer or a system for rehabilitation, connected with a reader only by wireless data transmission channel.
  • Reducing the cognitive load on a person and improving the efficiency of control of the actuator is achieved through the use of a hybrid control system that combines the methods of decoding electroneuromie signals (myoelectric signals) and using the neural network hash function with a teacher to perform radios of human limb movements. Also, additional sensors in the bracelet help the actuators to determine the position in space of a person’s limb, speed and direction of movement in a better way.
  • the transferred data array on the microcontroller in the actuator with the ability to position the limb in space in real time allows you to better position the limb and perform the necessary manipulations in terms of control, as well as receive feedback from the actuator if necessary. Also, for more accurate positioning of the limb in space, additional sensors are used, such as, for example, a gyroscope and an accelerometer.
  • This technical result is achieved due to the method of controlling the actuating mechanism, in which at least one EMG signal of the patient is obtained by means of a myoelectric reading device; processing at least one EMG signal of the user through overlapping segmentation of the EMG signal; For each segment obtained in the previous step, a set of EMG signal attributes is formed based on the square of the dispersion and the neural network hash function of the EMG signal to classify gestures; transmit a set of features of the EMG signal of each segment through the data transmission channel to the control system of the actuating mechanism; determine the type of gesture based on the set of signs of an EMG signal by using an artificial neural network and a metric classifier; form the control signal based on a certain type of gesture; pass on generated control signal to the actuator; receive feedback from the control system by obtaining information from external sensors or the algorithm of the actuator.
  • FIG. 1 (a, b) represents an example of setting up and operating an actuator control system, in particular, there are freehand pictures, but perhaps from the foot and other EMG reading points.
  • FIG. 2 describes the general structure of the technical solution.
  • FIG. 3 (a, b, c) represents the implementation scheme of the control system, including for the actuator, for a) rehabilitation b) a gaming device, as an example, with a radio-controlled machine, as well as a block diagram of this implementation, c) control of virtual reality
  • Fig 4 is an example of the implementation of setting up the bracelet in the presence of the necessary functionality in the bracelet itself, in the absence of additional functional settings.
  • FIG. 5 represents an example of a scheme for implementing data acquisition in the form of a myoelectric reading system, a bracelet-like design with interchangeable electrodes (pos. 1 is a read system, pos. 2 is a removable sensor for recording biopotentials, the number of sensors can be adjusted, pos. 3 is an elastic cuff) but the design may be different, depending on the needs and limbs.
  • FIG. 6 shows the components of the reading system in the form of a myoelectric reading system (pos. 1 and pos. 2) and their approximate location on the limb, as an example, hands on the shoulder (pos. 1) or forearm (pos. 2).
  • FIG. Figure 7 shows an example of an electromyographic signal registered with a volitional force from the muscles of the forearm.
  • FIG. 8 shows an exemplary scheme for implementing an EMG sensor using a dry contact that is more preferable for long-term use.
  • FIG. 9 Block diagram of the input circuit.
  • FIG. 10 is a block diagram of a gesture recognition system.
  • FIG. 11 shows the result of the pre-signal processing (square of dispersion followed by sigmoid contrasting).
  • FIG. 12 (a, b).
  • Examples of the actuator a) virtual reality glasses, an example, Oculus b) a machine on the Bluetooth control, an example on the PC platform.
  • FIG. 13 shows an exemplary embodiment of signal processing from a readout system
  • FIG. 14 shows temporal functions for highlighting features of an EMG signal.
  • FIG. 15 shows data capture on an orthonormal basis by rotation. Left: Neuron trying to adapt to cover new data. Right: the final position of the neuron after the new data coverage.
  • the technical solution can be implemented as a distributed computer system.
  • a system means a computer system, a computer (electronic computer), a CNC (numerical control), a PLC (programmable logic controller), computerized control systems, and any other devices capable of performing a predetermined, well-defined sequence of operations (actions, instructions).
  • a command processing device is an electronic unit or an integrated circuit (microprocessor) that executes machine instructions (programs).
  • the command processing device reads and executes machine instructions (programs) from one or more data storage devices.
  • a storage device can act, but not limited to, hard drives (HDD), flash memory, ROM (read-only memory), solid-state drives (SSD), optical media (CD, DVD, etc.).
  • a program is a sequence of instructions intended for execution by a computer control device or command processing device.
  • Electromyography is a method for studying bioelectric potentials that occur in human and animal skeletal muscles when muscle fibers are excited; registration of the electrical activity of the muscles.
  • Electroneuromyography is a complex electrophysiological study necessary to determine the functional state of the peripheral nervous system and muscles [1].
  • the executive mechanism is a device in the automatic regulation and control system that directly performs the mechanical movement (or rotation) of the regulatory body of the control object, including the virtual object. This can be either a complex of devices or a single device, receiving commands from the receiver and processing the EMG data and not only the device, and capable of transmitting feedback information.
  • the method of physiological control of the actuator based on gesture recognition is as follows.
  • Pre-processing of the signal and the creation of the input vector of the signs of the EMG signal are carried out to classify the user's gestures, which can be performed in the same way both during tuning and during operation of the system.
  • the implementation in the quality of signs can be used the following values in the time domain, measured as a function of time: integral EMG; average; mean modulus; finite differences; the sum of the elementary areas; dispersion; standard deviation; signal length; the maximum value of the EMG signal, more information about the choice of characters for classification is disclosed in the work of the authors [2].
  • the average duration of exceeding the threshold value of the EMG signal in the data window is calculated, then, after centering and normalizing the received signal, a decision is made about the occurrence of the control signal.
  • the neuromuscular activity data (data of the electromyograph channel matrix) is obtained from the myoelectric reading device and digitized by means of an ADC, then the condition of the occurrence of an active signal (corresponding to the gesture) is checked, for example, 30% of the amplitude specified in the settings.
  • the resulting digitized signal is broken by a non-overlapping window into segments, for example, 25 ms long.
  • X Xi / max (X); (2) where X is the signal data array, X, is the i-ee signal value;
  • X is the arithmetic average of the X signal.
  • an input feature vector is obtained (according to which the gestures are classified) for each channel with a lower dimension than the original signal (depending on the window width): a vector of length k instead of the original vector of length k * i, which reduces the computational load on the microcontroller.
  • the dimension is reduced due to the fact that they find one value among i values.
  • the myoelectric reading device also has an electromyograph and EMG data output on the dial of the myoelectric reading device or on the screen of the actuator, like a computer or phone, which makes it possible to determine the signal level from each muscle or muscle group.
  • the artificial neural network is trained.
  • an ANN is used based on a radial basis function (as an example, not It should be limited to them, as the best option is to use the neural network hash function).
  • a multilayer perceptron of the neural network can be used, as well as other types of neural networks or the support vector machine.
  • the extracted signs In order to recognize gestures, the extracted signs must be classified into distinctive classes.
  • the classifier should be able to cope with factors that have a noticeable effect on the EMG patterns over time, such as a significant change in the EMG signals, the location of the electrodes, sweat and fatigue described in the source of information [5].
  • the above method can use a three-tier management architecture (database - server - client) when processing a set of attributes of an EMG signal.
  • the hidden layer where the number of neurons was not determined in advance, as they were formed during the training procedure, was divided into fourteen sub-hidden layers.
  • the number of neurons was equal to the number of classes in the training data set (the number of gestures and the number of neurons).
  • Ci X t sh (5)
  • FIG. 15 shows how a neuron tries to adapt to cover new data; The right side of the figure shows the location of the data by a neuron.
  • a user signal is recorded in the database, the data in which is accumulated, and is used for additional training of the network, but there is not always a need for this additional training.
  • For each user there is a feature vector with a size of 8x / Y (where 8 is the number of channels, N is the number of training data) obtained using the method described above (segmentation by non-overlapping windows).
  • each data set is mixed, and then divided into sets in a 2: 1: 1 ratio (according to the number of training data N) with data for the training, testing and control stages, respectively.
  • X ⁇ (x 7 , t j ) ⁇ l ⁇ / ' ⁇ N ⁇ is the set of N training data (training sample), where is a vector function (component x 7 e 5H 8 , where $ I 8 is the set of training data ) and t j is the class to which the gesture needs to be correlated.
  • W ⁇ Q k ⁇ 1 ⁇ k ⁇ m ⁇ be a collection of m neurons. Each neuron has five parameters:
  • C c is the center of the A-th neuron
  • 5 * is the covariance matrix of the A-th neuron
  • N k is the amount of data corresponding to the k-th neuron
  • a c is the width of the A-th neuron vector
  • ⁇ is the class A mark - go neuron.
  • the trained neural network allows you to accurately adjust to the user.
  • the INS save the new values of the weights of the neural network into the microprocessor of the actuator directly or in the data warehouse.
  • the physiological control system based on gesture recognition processing of the control signal
  • the above system consists of a bioelectric biopotential reading device, which can be structurally made in the form of an easily removable elastic bracelet or a similar design (shown in Fig. 5, pos. 1).
  • This device contains electrodes for recording the activity of the neuromuscular system (pos. 2), which arises in response to the phantom movement of the user.
  • the bracelet can be placed on the forearm on the shoulder or other places on the human body and made with the possibility of transmitting the control signal to the actuator.
  • This bracelet can have a wireless data transmission sensor, and, without limitation, Bluetooth or Wi-Fi or ZigBee wireless data transfer technologies can be used.
  • EMG sensor electromyogram sensor
  • ADC analog-to-digital converter
  • microprocessor-microcontroller voltage converter and batteries
  • vibration motor gyroscope and accelerometer.
  • the implementation is a set of plates of electrodes placed on a substrate of dielectric.
  • the implementation of the technical solution of the electrodes can be made of stainless steel or of slightly polarizable conductive materials (for example, stainless steel 12X18H 10).
  • the implementation of the electrodes can be made of the following sizes: square 1x1 cm for the receiving plate (2 pieces and a rectangle 1x0.5 cm for the referent), not limited to. In some cases, there is no need to use a rectangle; one rectangle is used for all sensors. Specialist in this It is obvious to the field of technology that the size of the electrodes can be made in a different size, given that the size of the plate affects the amplitude of the signal and the level of crosstalk.
  • a biopotential amplifier board can be installed on the electrode substrate from above, which can consist of an instrumental (differential) amplifier (for example, such as INA114), low-pass and high-pass filters made on passive elements in the form of RC chains or on active elements.
  • instrumental for example, such as INA114
  • sensors are connected to the microprocessor board, where digitization can occur via analog-digital conversion and transfer it to the microcontroller (for example, 2 16bit ADC1115 ADCs and preprocessing the signal on the ARM microprocessor controller M4).
  • the frequency composition of electromyograms for users is represented by a highly noisy signal in the range of 0.5-300 Hz and a signal amplitude from 1 ⁇ V to 2 mV (Fig. 6).
  • an ADS microcircuit which includes:
  • ADS input resistance is more than 1 G ⁇ .
  • Two electrodes of each channel are connected directly to the pre-filter, forming a differential channel.
  • the amplified and inverted common-mode signal is fed to the third electrode of each sensor.
  • the ADS chip is controlled via SPI interface.
  • the digitized signal is fed to the system processor for further processing.
  • FIG. 9 The block diagram of the input circuit is presented in FIG. 9.
  • the implementation of the technical solution (Fig. 1A) can occur as follows.
  • the user performs specified gestures, while the myoelectric reading device transmits user data to a data processing device over a wireless data transmission channel (for example, using the Bluetooth 4.0 standard but not limited to it), where the user profile is created.
  • the created profile is recorded in the memory of the microcontroller.
  • the myoelectric reading device records and filters electromyograms (EMG) and transfers data wirelessly (for example, using but not limited to Bluetooth 4.0) to the control board of the actuator, the placement of which is shown in FIG. 12.
  • EMG electromyograms
  • the signal processing method is described in more detail above.
  • FIG. 12 is a top view of the actuator, which is different for virtual reality or for a radio-controlled model.
  • Virtual reality is controlled as follows: a myoelectric reader in the form of a bracelet (or a device of similar design) is put on the forearm or shoulder, or another part of the limb, as an example, legs, the bracelet is calibrated and adjusted, this can be done on a computer, phone ( Fig. Sv), as without them (Fig. 4).
  • Virtual reality glasses consist of at least different types of lenses, a display, body parts, a computer system, an accelerometer, a gyroscope, a wireless sensor (Bluetooth) (Fig. 12a).
  • the connection between the bracelet and virtual reality glasses is organized using any wireless connection, in our case Bluetooth is used, with the Bluetooth bracelet configured as a slave, and the Bluetooth virtual reality glasses as a master.
  • the myoelectric reading device in the form of a bracelet (or a device of similar design), records and filters electromyograms (EMG), determines the position of the hand, and depending on it sends the corresponding command to the glasses of virtual reality, or receives feedback information. It is important that the myoelectric reading device, in addition to the data on the numbers of the grippers, sends information from the gyroscope and accelerometer to the glasses, which makes it possible to better determine the position of the arm in space. It is possible to locate the myoelectric reading device not only on the arms, but also the legs, the back, the neck, which will allow a better determination of the location of other parts of the body in space. Also points virtual reality are able to transmit feedback information and launch a vibration motor on the myoelectric reader, which allows you to create feedback, it is also possible to have additional location of other feedback sensors and sensors.
  • EMG electromyograms
  • the radio-controlled model is controlled as follows: a myoelectric reader in the form of a bracelet (or a device of similar design) is put on the forearm or shoulder, the device is calibrated and configured, this can be done on a computer or phone (Fig. 36), as well as without them (Fig . four).
  • the radio-controlled model consists of at least a microcircuit, a wireless sensor (Bluetooth) and engines (Fig. 126).
  • the connection between the bracelet and the radio-controlled model is organized using any wireless connection, in our case Bluetooth is used, with what the Bluetooth bracelet is configured as a master, and the Bluetooth model as a slave. After launching both devices, connected without intermediaries, the bracelet's wireless communication device is connected to the actuator communication device.
  • connection requires the master to know the name and password of the communication device of the executive mechanism.
  • intermediary computer, telephone
  • the intermediary device participates in the establishment of communication between the devices.
  • the myoelectric reading device records and filters the electromyogram (EMG), determines the position of the arm, and, depending on it, sends the appropriate command to the model.
  • EMG electromyogram
  • F-model starts moving forward until it receives the next command
  • B - the model starts moving back until it receives the next command
  • L - the model starts moving to the left until the given command comes, after its completion continues the action that it performed before receiving the command ( movement forward, backward, inaction)
  • R - the model starts moving to the right until the given command arrives, after its completion continues the action that it performed before receiving the command (forward, backward, inaction)
  • S - stopping the model F-model starts moving forward until it receives the next command
  • B - the model starts moving back until it receives the next command
  • L - the model starts moving to the left until the given command comes, after its completion continues the action that it performed before receiving the command ( movement forward, backward, inaction)
  • R - the model starts moving to the right until the given command arrives, after its completion continues the action that it performed before receiving the command (forward, backward, inaction)
  • S - stopping the model S - stopping the model.
  • the model receives the command, the microcircuit processes it depending on the command, performs manipulations on the motors: start rotation, change the direction of rotation, stop. After executing the current command, the device is ready for the next. Also, feedback information from the model can be sent to the bracelet and start the vibration motor on the bracelet or other types of sensors. It is also possible the implementation of the rehabilitation system with virtual reality glasses, and without them (Fig. For). Namely, when data is being taken, for example, by grips from the forearm or shoulder of a hand, and a program is transmitted to a computer or phone to perform certain grips or movements in space, movements, a program is running on the computer or phone that receives information and signals successful or unsuccessful the task, the possible feedback signal to the bracelet.
  • the control system also includes: a controller network (controller network), which provides a modular, reliable and fault-tolerant interaction scheme for data exchange between the controller and other control and executive bodies of the actuator, and which provides the transmission to the controller of intentions from the user's neuromuscular system; power supply; multi-colored surface light-emitting diode, vibration and sound indicators (LED), located in the prosthesis, through which the controller provides feedback to the user.
  • a controller network controller network
  • controller network which provides a modular, reliable and fault-tolerant interaction scheme for data exchange between the controller and other control and executive bodies of the actuator, and which provides the transmission to the controller of intentions from the user's neuromuscular system
  • power supply multi-colored surface light-emitting diode, vibration and sound indicators (LED), located in the prosthesis, through which the controller provides feedback to the user.
  • LED multi-colored surface light-emitting diode, vibration and sound indicators
  • Exemplary embodiments of the control system include a controller 301 (no more than 2x3 cm), which receives recognition result data, exchanges data and controls the actuator.
  • the controller may include a processing unit, an interface unit that is physically separated from the processing unit, and the above units can be connected with a flexible loop, which allows flexible interface construction without changing the corresponding software control element.
  • FIG. 3 shows a block diagram of an actuator control system that includes a prosthesis controller 301, a bus 302, and at least one bus 303 (only one of them is shown in FIG. 3). Bus 302 and finger bus 303 are connected to the controller 301 via an I / O interface 304.
  • the controller 301 may be one of the components of the mechanism (not shown in this diagram).
  • the controller 301 is the central control unit of the actuator.
  • the controller 301 which can be structurally housed inside the actuator, is responsible for the high level of coordinated control of the actuator, as well as various functions related to the internal nuances of the actuator.
  • the implementation of the controller 301 may be placed outside the actuator.
  • One of the functions of the controller 301 is to control the movement of the actuator. Accordingly, the user's intention commands are transmitted by the ENM interface unit 305 (electroneuromio interface), which communicates with the controller 301 via the bus 302 and the I / O interface 304, as shown in FIG. 3. Commands from the ENM interface unit 305, as well as information from the large-manipulation drive controller 306 and at least one small-manipulation drive controller 307 (one of them is shown in Fig. 3), which are received via the finger bus 302 and the finger bus 303 allow the control method the actuator described above, in the controller 301 to generate new commands to control large-manipulation drives and small-manipulation drives.
  • the controller 301 also provides the transmission of sensory data from sensors or external software using a vibration sensor, or using a weak electrical pulse.
  • This feedback allows the user to perceive external conditions without being limited only by visual or audio feedback.
  • the controller 301 uses the bus 302 to interact with additional devices and / or accessories, such as radio frequency identification devices (RFID sensors), smartphones and personal digital assistants, although additional or alternative embodiments of the invention are not limited to these examples.
  • RFID sensors radio frequency identification devices
  • smartphones and personal digital assistants
  • the functioning of the system is as follows.
  • a myoelectric reader in the form of a bracelet or a similar system design is worn on the forearm and shoulder and connected to a computer or phone, the computer or phone is configured, calibrated bracelet and actuator as follows.
  • the training set is formed as follows.
  • gestures such as “fist”, “three fingers pinch”, “key lock”, “cylindrical gripper”, and others that the user is asked to repeat several times during a certain time, for example, are displayed on the screen; , 5 times in one second, after which the data obtained are used to train the recognition algorithm based on the neural network, as described above.
  • a user profile is created with new weights, which is recorded in the microcontroller of the bracelet, or the recording immediately takes place in the bracelet.
  • the actuator and the bracelet can operate autonomously, based on wireless communication, for example, via Bluetooth 4.0.
  • the myoelectric reader can be worn before or after adjusting the actuator due to the elastic cuff.
  • the user can use the movements recorded during calibration. After the movement, the signal is recorded, converted and classified according to the steps described above. Due to the presence of sensors that transmit additional information from the actuator, feedback is provided to the user, as described above.
  • the myoelectric reading device is placed on the user's hand and simultaneously connected to a personal computer or telephone, which is a data processing device.
  • the user performing commands on the screen, makes 14 gestures (for example, “Fist”, “Incomplete fist, or cylindrical grip”, “Opening the palm”, “Pinch the thumb and index finger”, “Pinch the thumb and ring finger”, “Rotate the palm on yourself “,” Turning your palm away from you “,””Pistol” - forefinger and thumb straightened, the rest are pressed “,” Fist with straightened thumb “,” Rotation of the forearm towards you “,” Rotation of the forearm from yourself “,” Capture computer mouse “,” Capture turnkey “,” Relaxation “), each within one second, repeating them according to the images on the screen, thus forming a training sample of gestures.
  • 14 gestures for example, “Fist”, “Incomplete fist, or cylindrical grip", “Opening the palm”, “Pinch the thumb and index finger”, “Pinch the thumb and ring finger
  • the myoelectric reading device is placed on the user's hand and at the same time performs not only data reading, but also processing and training of the neural network and not only any actuator, like a personal computer or telephone, which are reflection devices of the processed data, can be used in the future. on the grips.
  • the instruction can be used simply about the sequence of the tongs or the actuating mechanism for clarity.
  • gestures that are reflected on the screen, for example, 14 gestures (for example, “Fist”, “Incomplete fist, or cylindrical grip”, “Opening the palm”, “Pinch with the thumb and index finger”, “Pinch with the thumb and ring finger” “,” Turning your palm towards yourself “,” Turning your palm away from you “,” “Pistol” - index finger and thumb straightened, the rest are pressed “,” Fist with a straightened thumb “,” Rotation of the forearm towards you “,” Rotation of the forearm from yourself “,” Capture a computer mouse “,” Capture turnkey “,” Ra weakening ").
  • 14 gestures for example, “Fist”, “Incomplete fist, or cylindrical grip”, “Opening the palm”, “Pinch with the thumb and index finger”, “Pinch with the thumb and ring finger” ",” Turning your palm towards yourself “,” Turning your palm away from you “,” “Pistol” - index finger and thumb straightened, the rest are pressed “,” Fist with a straightened thumb
  • the electrodes of the sensor of the myoelectric reading device register the potential difference arising during muscle contraction, then the signal is amplified 1000 times (it is important to note that the gain can be either directly on the electrode or on the ADC, in the latter case the electrode is only protected plates transmitting data to ADC), filtered in the band 5-500 Hz and digitized in the ADC. Further, in the setup mode, the digitized signal goes to the computer. For each digital signal readout, for each gesture, the number of the gesture to be completed is assigned for further training.
  • the data for each gesture is connected into a matrix, respectively, at a sampling rate of, for example, 500 or 1000 Hz
  • a data set of 14x1000x8x14000 14 gestures of 1 second x 1000 Hertz, 8 is the number of channels, 14000 is the target vector from 1 to 14, the number of the gesture assigned to each sample, 1000 values for each target
  • the signal amplitude is in the range from 100 ⁇ V to 1 mV.
  • the signal is segmented by windows of 25 ms width, 25 samples per segment, respectively, for a sampling frequency of 500 or 1000 Hz.
  • a maximum is found on each segment, a 14x40x8x350 feature vector is obtained at the output (the dimension of the target vector is also reduced).
  • the data in the resulting vector is centered and normalized as described above.
  • the amplitude is reduced to the range [-1: 1] or remains in the dimension of the potential difference.
  • an input feature vector is obtained for training the neural network. Learning takes place according to the algorithm described above on a reader or on another processor. Further, the new values of the network weights are written to the readout controller. Then the user can use the system. The data before the segmentation and the data after the segmentation are stored in a database on a remote computer for further study and to replenish the training sample of the neural network. It is also further possible to customize the correspondence of gestures performed by the user and the hooks implemented by the actuating mechanism in response to the user's gesture by connecting the actuating mechanism to the computer or directly to the reading system.
  • n fd / m
  • n the number of detected grips per second
  • fd the sampling frequency
  • the signal is registered and processed.
  • the sensor electrodes register a potential difference arising from muscle contraction, then the signal is amplified 1000 times, filtered in the 5-500 Hz band and digitized into the ADC.
  • the signal goes to the microcontroller of the reading system.
  • the number of data equal to the window width (25 ms) is typed, respectively, at a sampling frequency of, for example, 500 or 1000 Hz, we have a data vector of 25x8 (25 samples per 25 ms, 8 is the number of channels), the signal amplitude is in the range of ⁇ V to 1 mV.
  • find the maximum of the current segment get a 1x8 vector at the output.
  • the data in the resulting vector is centered and normalized as described above.
  • the amplitude is reduced to the range [-1: 1] or remains in the dimension of the potential difference.
  • the vector is fed to the input of the neural network, which defines a class of gesture.
  • a control command is created and transmitted to the executive mechanism.
  • the resulting gripper which the actuator translates into the desired action can be as similar to the executed user, as well as to the other one specified in the settings initially. It is important to note that for children another number of sensors can be used, the number of channels, for example, 4 or 5.
  • the gyro and accelerometer data are used on the reading device and, if necessary, they can be transmitted separately or via a neural network hash function which, if necessary, can transmit feedback information and trigger a vibration motor on the myoelectric reading device and signal the user about something.
  • the obtained information on grippers and additional information is transmitted to the actuators.
  • An example of virtual reality management occurs as follows: data on grips and additional information from a myoelectric device, that is, a more precise determination of the position of the arm or leg, transmit the corresponding command to the virtual reality glasses, or receive information by feedback. It is important that the myoelectric reading device, in addition to the data on the numbers of the grippers, sends information from the gyroscope and accelerometer to the glasses, which makes it possible to better determine the position of the arm in space. Also, virtual reality glasses are capable of transmitting feedback information and launching a vibration motor on the myoelectric reading device, which allows you to create feedback, it is also possible to have additional positioning of other feedback sensors and sensors.
  • the radio-controlled model is controlled as follows: after launching both devices with connecting without intermediaries, the wireless communication device connects the myoelectric reading system to the actuator communication device, in our case the communication requires the master to know the name and password of the communication device of the actuator. In the event that the devices are connected through an intermediary (computer, telephone), the intermediary device participates in the establishment of communication between the devices.
  • the myoelectric reading device records and filters the electromyogram (EMG), determines the position of the arm, and, depending on it, sends the appropriate command to the model.
  • EMG electromyogram
  • the rehabilitation system is implemented with virtual reality glasses, and without them, namely, when data is being taken, for example, from the forearm or shoulder arm, and transferred to a computer or phone to perform certain arms or movements in space, movements,
  • a program is running on a computer or phone that receives information and signals the success or unsuccessful completion of the task, and it is possible to send a feedback signal to the myoelectric device.
  • the myoelectric reading device also has an electromyograph and EMG data output on the dial of the myoelectric reading device or on the screen of the actuator, like a computer or phone, which makes it possible to determine the signal level from each muscle or muscle group.
  • Huihui L Relationship of EMG / SMG features and muscle strength levels during the plantar-flexion among hemiplegia patients / Li Huihui, Guoru Zhao, Yongjin Zhou, Xin Chen, Zhen Ji, Lei Wang // BioMedical Engineering OnLine. -2014. 13: 5 (27 January 2014) available at: http: //www.biomedical-engineering-online.eom/content/l3/l/5;

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The invention relates to the field of gaming devices and medical technology, and more particularly to the rehabilitation of persons after limb loss or stroke. An EMG signal of a user is obtained by means of a myoelectric reading device. The EMG signal is processed by non-overlapping segmentation. For each segment obtained, a set of EMG signal features is formed on the basis of the square of dispersion of the EMG signal for gesture classification. On the basis of the resulting set of features, a neural network hash function generates a secondary feature space for data which is supplied to a metric classifier and describes a gesture. The set of EMG signal features of each segment is transmitted via a data transmission channel to a control system of a working mechanism. The gesture type is identified on the basis of the set of EMG signal features by using an artificial neural network. A control signal is generated on the basis of the identified gesture type and information from a gyroscope and an accelerometer. The control signal generated is transmitted to the working mechanism. Feedback is obtained from the control system of the working mechanism by obtaining information from external sensors. A vibrating motor is started up on the myoelectric device. EMG data can be output from the reading device to a face of the EMG reading device or to a screen of the working mechanism. The result is an increase in the accuracy of limb positioning and of decision making with respect to an action to be performed.

Description

СПОСОБ И СИСТЕМА УПРАВЛЕНИЯ ЭЛЕКТРОННЫМИ УСТРОЙСТВАМИ С ПОМОЩЬЮ ЭЛЕКТРОМИОГРАФИЧЕСКОГО УСТРОЙСТВА СЧИТЫВАНИЯ  METHOD AND MANAGEMENT SYSTEM OF ELECTRONIC DEVICES BY MEANS OF ELECTROMIOGRAPHIC READING DEVICE
ОБЛАСТЬ ТЕХНИКИ TECHNICAL FIELD
Данное техническое решение относится к области игровых устройств и медицинской техники, а именно к реабилитации, в частности, к способам и системам для управления различными устройствами, и предназначено для игровых приспособлений и реабилитации людей с потерей конечности, с заболеваниями, приводящими к нарушениям опорно- двигательного аппарата и костно-мышечной системы, а также для использования частей изделия независимо в различных задачах улучшения качества жизни. This technical solution relates to the field of gaming devices and medical equipment, namely, rehabilitation, in particular, to methods and systems for controlling various devices, and is intended for gaming devices and rehabilitation of people with loss of limbs, with diseases that lead to disorders of the musculoskeletal system. apparatus and the musculoskeletal system, as well as to use parts of the product independently in various tasks to improve the quality of life.
УРОВЕНЬ ТЕХНИКИ BACKGROUND
Существующие в настоящее время системы управления виртуальной реальностью или игровыми устройствами, включают, как правило, двигатели, датчики, контроллеры, источники питания, механические и электрические разъемы, интерфейсы и механизмы обратной связи, все из которых являются дополнительными аксессуарами. Current virtual reality control systems or gaming devices currently include engines, sensors, controllers, power supplies, mechanical and electrical connectors, interfaces, and feedback mechanisms, all of which are optional accessories.
Известен способ и система для идентификации жестов, описанная в US 20150370333 А1, 24.12.2015. Система для идентификации жестов включает по меньшей мере один датчик, реагирующий на выполняемые пользователем жесты и процессор, коммуникативно соединенные, по меньшей мере, с одним датчиком. Способ идентификации жестов включает: получение по меньшей мере, один сигнал от, по меньшей мере, одного датчика на процессор; сегментирование, по меньшей мере, одного сигнала в окна данных; для каждого окна данных, по меньшей мере, одно подмножество окон данных: определение класса окна для окна данных процессором, класс окна выбирается процессором из библиотеки классов окон, где каждый класс окна в библиотеке оконных классов исключительно характеризует по меньшей мере, одно свойство окна данных; определение процессором соответствующей вероятности того, что каждый жест в библиотеке жестов является выполняемым пользователем жестом на основе а) класс окна для окна данных, когда i > 1, 6) класс окна для окна данных, где j<i; идентификация высокой вероятности жеста для окна данных процессором, соответствующему жесту в библиотеке жестов, который имеет самую высокую вероятность того, что пользователем осуществляется определенный жест. Отличительной чертой от текущего патента является отсутствие использования нейронных сетей, сфера применения прибора, а также технология работы, в том числе беспроводная передача данных, так как текущий патент предполагает осуществление обработки данных на распознающем устройстве. There is a method and system for identifying gestures, described in US 20150370333 A1, 12/24/2015. The system for identifying gestures includes at least one sensor responsive to user-made gestures and a processor communicatively connected to at least one sensor. A method for identifying gestures includes: receiving at least one signal from at least one sensor per processor; segmentation of at least one signal into data windows; for each data window, at least one subset of data windows: the window class definition for the data window by the processor, the window class is selected by the processor from the window class library, where each window class in the window class library exclusively characterizes at least one data window property; determination by the processor of the corresponding probability that each gesture in the gesture library is a user-executable gesture based on a) window class for the data window, when i> 1, 6) window class for the data window, where j <i; identifying a high probability gesture for a data window by the processor, the corresponding gesture in the gesture library, which has the highest probability that a certain gesture is performed by the user. A distinctive feature of the current patent is the lack of use of neural networks, the scope of device, as well as work technology, including wireless data transmission, as the current patent involves the implementation of data processing on the discriminator.
Также известен способ и система для управления устройством на основе жестов, описанный в US 2015-0261306 А1, 17.09.2015. Система управления устройством на основе жестов выполнена с возможностью установки беспроводного соединения между управляющим устройством на основе жестов и конкретным принимающим устройством, причем устройство управления на основе жестов включает в себя процессор, по меньшей мере один датчик, соединенный с возможностью взаимодействия с процессором, и беспроводной передатчик, коммуникативно соединенный с процессором. Способ управления устройством на основе жестов содержит этапы: обнаружение первого жеста, выполняемого пользователем устройства управления на основе жестов, по меньшей мере, одним датчиком, первый жест регистрируется первым принимающим устройством, идентифицируется процессором; первое приемное устройство, с которым пользователь желает взаимодействовать на основе распознанного первого жеста; конфигурирование, с помощью процессора, первого сигнала для использования только первым приемным устройством; и беспроводной способ передачи первого сигнала в первом приемном устройстве с помощью беспроводного передатчика. Отличительной чертой от текущего патента является отсутствие использования нейронных сетей, сфера применения прибора, а также технология работы, так как текущий патент предполагает осуществление обработки данных на распознающем устройстве. Also known is a method and system for controlling a device based on gestures, as described in US 2015-0261306 A1, 09/17/2015. The gesture-based device control system is configured to establish a wireless connection between the gesture-based control device and the particular receiver, the gesture-based control device includes a processor, at least one sensor connected to communicate with the processor, and a wireless transmitter communicatively connected to the processor. The gesture-based device control method comprises the steps of: detecting the first gesture performed by the user of the gesture-based control device by at least one sensor, the first gesture is registered by the first receiving device, identified by the processor; the first receiving device with which the user wishes to interact based on the recognized first gesture; configuring, by means of a processor, the first signal to be used only by the first receiver; and a wireless method for transmitting a first signal in a first receiver using a wireless transmitter. A distinctive feature of the current patent is the lack of use of neural networks, the scope of application of the device, as well as the technology of work, since the current patent involves the implementation of data processing on the discriminator.
Также известен способ и система управления интеллектуальной бионической конечностью, описанный в RU 2 635 632 Cl , 14.12.2016, на основе данного патента были произведены улучшения в части алгоритма по распознаванию схватов, датчиков, а также архитектуры обработки данных, применения нового устройства, а именно управления не бионической конечностью, а как игрового устройства, для виртуальной реальности и не только, новые исследования легли в основу текущего патента.  Also known is the method and system of management of intellectual bionic limb, described in RU 2 635 632 Cl, 12/14/2016, based on this patent, improvements were made in part of the algorithm for recognizing grippers, sensors, as well as data processing architecture, the use of a new device, namely control of not a bionic limb, but as a gaming device, for virtual reality and not only, new research formed the basis of the current patent.
В настоящее время существует постоянная потребность в улучшении систем управления и созданий новых подходов в управлении игровыми устройствами и виртуальной реальностью, которые были бы способны использоваться в реабилитации, управлении виртуальной реальностью или игровой системе, именно с данной задачей должны справится предложенные решения. СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ Currently, there is a constant need to improve management systems and create new approaches to the management of gaming devices and virtual reality, which would be able to be used in rehabilitation, virtual reality management or gaming system, the proposed solutions should cope with this task. ESSENCE OF TECHNICAL SOLUTION
Техническая проблема, решаемая в данном техническом решении, состоит в осуществлении автономного полнофункционального управления для выполнения низкоуровневых задач манипуляции любым электронным устройством, приспособленным для этого, такими как виртуальная реальность, радиоуправляемые модели, компьютеры и т.д. The technical problem solved in this technical solution is to implement autonomous full-featured control for performing low-level tasks of manipulating any electronic device adapted for this purpose, such as virtual reality, radio-controlled models, computers, etc.
Технической задачей технического решения является разработка The technical task of the technical solution is to develop
- надежного функционального устройства в виде браслета или другой схожей конструкции системы с обратной связью, управляемого посредством нейромышечных сигналов, (обработка данных и распознавание схватов может происходить, как с участием компьютера или телефона, так и автономно, на самом устройстве); - a reliable functional device in the form of a bracelet or other similar system design with feedback controlled by neuromuscular signals (data processing and recognition of grips can occur both with the participation of a computer or phone, and autonomously, on the device itself);
- способа и системы управления вспомогательным устройством, таким как игровое устройства, виртуальная реальность, компьютер, телефон и т.п. - a method and system for controlling an auxiliary device, such as a gaming device, virtual reality, computer, telephone, etc.
Техническим результатом, проявляющимся при решении указанной технической задачи и проблемы, является повышение точности позиционирования и принятия решения о захвате рукой предмета, а также регистрация более точного движения ногой, положение конечности в пространстве или определение другой двигательной функции. The technical result, which manifests itself in solving this technical problem and problem, is to improve the accuracy of positioning and making a decision about the capture of an object by hand, as well as registering a more accurate leg movement, limb position in space, or determining another motor function.
Также дополнительным техническим результатом является уменьшение когнитивной нагрузки на человека, повышение эффективности управления устройствами, снижение времени отклика исполнительных устройств. Еще одним дополнительным техническим результатом является упрощение процедуры установки и настройки системы «исполнительный механизм-считывающее устройство» за счет модульности системы - считывающее устройство является портативным, и требует примерного позиционирования при размещении, и является легкосъемным. Исполнительный механизм можем выступать в различных видах: это может быть игровым устройством, как радиоуправляемая машинка или дрон, виртуальная реальность, либо программное устройство, компьютер или система для реабилитации, связан со считывающим устройством только беспроводными каналом передачи данных. Понижение когнитивной нагрузки на человека и повышение эффективности управления исполнительным механизмом достигается за счет использования гибридной системы управления, которая сочетает в себе способы декодирования электронейромиосигналов (миоэлектрических сигналов) и использование нейросетевой хэш-функции с учителем, по выполнению радов движений конечности человека. Также дополнительные датчики в браслете помогают лучше исполнительным механизмам после калибровки определить положение в пространстве конечности человека, скорости и направления движения. Also, an additional technical result is to reduce the cognitive load on a person, to increase the efficiency of device management, to reduce the response time of executive devices. Another additional technical result is the simplification of the procedure for installing and configuring the system "actuator-reader" due to the modularity of the system - the reader is portable, and requires approximate positioning when placed, and is easily removable. The executive mechanism can act in various forms: it can be a gaming device, like a radio-controlled machine or drone, virtual reality, or a software device, a computer or a system for rehabilitation, connected with a reader only by wireless data transmission channel. Reducing the cognitive load on a person and improving the efficiency of control of the actuator is achieved through the use of a hybrid control system that combines the methods of decoding electroneuromie signals (myoelectric signals) and using the neural network hash function with a teacher to perform radios of human limb movements. Also, additional sensors in the bracelet help the actuators to determine the position in space of a person’s limb, speed and direction of movement in a better way.
Переданный массив данных на микроконтроллера в исполнительном механизме с возможностью позиционирования конечности в пространстве в режиме реального времени позволяет лучше позиционировать конечность и выполнять необходимые манипуляции в части управления, а также получать обратную связь от исполнительного механизма при необходимости. Также для более точного позиционирования конечности в пространстве используются дополнительные датчики, такие, как например гироскоп и акселерометр. The transferred data array on the microcontroller in the actuator with the ability to position the limb in space in real time allows you to better position the limb and perform the necessary manipulations in terms of control, as well as receive feedback from the actuator if necessary. Also, for more accurate positioning of the limb in space, additional sensors are used, such as, for example, a gyroscope and an accelerometer.
Использование обратной связи, реализуемой с помощью вибромотора системе считывания, позволяет обезопасить использование исполнительного механизма и передать необходимую информацию из исполнительного механизма. The use of feedback, implemented using a vibration motor reading system, allows you to secure the use of the actuator and transfer the necessary information from the actuator.
Использование беспроводной передачи данных между исполнительным механизмом и системой считывания обеспечивает удобство использования системы и взаимозаменяемость компонентов, кроме того, возможность их использования независимо друг от друга. The use of wireless data transmission between the actuator and the readout system provides ease of use of the system and interchangeability of components, in addition, the possibility of their use independently of each other.
Указанный технический результат достигается благодаря способу управления исполнительным механизмом, в котором получают по меньшей мере один ЭМГ-сигнал пациента посредством миоэлектрического устройства считывания; осуществляют обработку по меньшей мере одного ЭМГ-сигнала пользователя посредством перекрывающейся сегментации ЭМГ-сигнала; для каждого сегмента, полученного на предыдущем шаге, формируют набор признаков ЭМГ-сигнала на основе квадрата дисперсии и нейросетевой хэш-функции ЭМГ-сигнала для классификации жестов; передают набор признаков ЭМГ- сигнала каждого сегмента по каналу передачи данных в систему управления исполнительным механизмом; определяют тип жеста на основании набора признаков ЭМГ сигнала посредством использования искусственной нейронной сети и метрического классификатора; формируют управляющий сигнал на основании определенного типа жеста; передают сформированный управляющий сигнал на исполнительный механизм; получают обратную связь от системы управления посредством получения информации от внешних датчиков или алгоритма исполнительного механизма. This technical result is achieved due to the method of controlling the actuating mechanism, in which at least one EMG signal of the patient is obtained by means of a myoelectric reading device; processing at least one EMG signal of the user through overlapping segmentation of the EMG signal; For each segment obtained in the previous step, a set of EMG signal attributes is formed based on the square of the dispersion and the neural network hash function of the EMG signal to classify gestures; transmit a set of features of the EMG signal of each segment through the data transmission channel to the control system of the actuating mechanism; determine the type of gesture based on the set of signs of an EMG signal by using an artificial neural network and a metric classifier; form the control signal based on a certain type of gesture; pass on generated control signal to the actuator; receive feedback from the control system by obtaining information from external sensors or the algorithm of the actuator.
Система КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ System BRIEF DESCRIPTION OF DRAWINGS
Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания и прилагаемых чертежей, на которых: The features and advantages of this technical solution will become apparent from the detailed description below and the accompanying drawings, in which:
Фиг. 1 (а, б) представляет пример осуществления настройки и функционирования системы управления исполнительным механизмом, в частности, представлены картины от руки, но возможно от ноги и других мест считывания ЭМГ. FIG. 1 (a, b) represents an example of setting up and operating an actuator control system, in particular, there are freehand pictures, but perhaps from the foot and other EMG reading points.
Фиг. 2 описывает общую структуру технического решения. FIG. 2 describes the general structure of the technical solution.
Фиг. 3 (а, б, в) представляет схему реализации системы управления, в том числе и для исполнительного механизма, для а) реабилитации б) игрового устройства, как пример, радиоуправляемой машинкой, а также блок-схему данной реализации, в) управления виртуальной реальностью FIG. 3 (a, b, c) represents the implementation scheme of the control system, including for the actuator, for a) rehabilitation b) a gaming device, as an example, with a radio-controlled machine, as well as a block diagram of this implementation, c) control of virtual reality
Фиг 4 представляет пример реализации настройки браслета при наличии необходимого функционала в самом браслете, при отсутствии дополнительных функциональных настроек. Fig 4 is an example of the implementation of setting up the bracelet in the presence of the necessary functionality in the bracelet itself, in the absence of additional functional settings.
Фиг. 5 представляет пример схемы реализации получения данных в виде миоэлектрической системы считывания, конструкция в виде браслета со сменными электродами (поз. 1 - система считывания, поз. 2 - съемный датчик регистрации биопотенциалов, число датчиков может регулироваться, поз. 3 - эластичная манжета), но конструкция может быть и другой, в зависимости от потребности и конечности. FIG. 5 represents an example of a scheme for implementing data acquisition in the form of a myoelectric reading system, a bracelet-like design with interchangeable electrodes (pos. 1 is a read system, pos. 2 is a removable sensor for recording biopotentials, the number of sensors can be adjusted, pos. 3 is an elastic cuff) but the design may be different, depending on the needs and limbs.
Фиг. 6 показывает составные части системы считывания в виде миоэлектрической системы считывания (поз. 1 и поз. 2) и их примерное расположение на конечности, как пример, руки на плече (поз. 1) или предплечье (поз. 2). FIG. 6 shows the components of the reading system in the form of a myoelectric reading system (pos. 1 and pos. 2) and their approximate location on the limb, as an example, hands on the shoulder (pos. 1) or forearm (pos. 2).
Фиг. 7 показывает пример электромиографического сигнала, зарегистрированного при волевом усилии с мышц предплечья. Фиг. 8 показывает примерную схему реализации ЭМГ -датчика с использованием более предпочтительного для долговременного использования сухого контакта. FIG. Figure 7 shows an example of an electromyographic signal registered with a volitional force from the muscles of the forearm. FIG. 8 shows an exemplary scheme for implementing an EMG sensor using a dry contact that is more preferable for long-term use.
Фиг. 9 Блок-схема входной цепи. FIG. 9 Block diagram of the input circuit.
Фиг. 10 изображает блок-схему системы распознавания жестов. Фиг. 11 показывает результат пред обработки сигнала (квадрат дисперсии с последующим контрастированием с помощью сигмоиды). FIG. 10 is a block diagram of a gesture recognition system. FIG. 11 shows the result of the pre-signal processing (square of dispersion followed by sigmoid contrasting).
Фиг. 12 (а, б). Примеры исполнительного механизма: а) очки виртуальной реальности, пример, Oculus б) машинка на управлении Bluetooth, пример на платформе Arduino. FIG. 12 (a, b). Examples of the actuator: a) virtual reality glasses, an example, Oculus b) a machine on the Bluetooth control, an example on the Arduino platform.
Фиг. 13 показывает пример осуществления обработки сигнала от системы считывания. Фиг. 14 показывает временные функции для выделения признаков ЭМГ-сигнала. FIG. 13 shows an exemplary embodiment of signal processing from a readout system FIG. 14 shows temporal functions for highlighting features of an EMG signal.
Фиг. 15 показывает захват данных по ортонормированному базису с помощью ротации. Слева: попытка нейрона приспособиться, чтобы покрыть новые данные. Справа: конечное положение нейрона после нового покрытия данных. FIG. 15 shows data capture on an orthonormal basis by rotation. Left: Neuron trying to adapt to cover new data. Right: the final position of the neuron after the new data coverage.
ПОДРОБНОЕ ОПИСАНИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ Ниже будут описаны понятия и определения, необходимые для подробного раскрытия осуществляемого технического решения. DETAILED DESCRIPTION OF THE TECHNICAL SOLUTION Below will be described the concepts and definitions necessary for the detailed disclosure of the technical solution being implemented.
Техническое решение может быть реализовано в виде распределенной компьютерной системы. The technical solution can be implemented as a distributed computer system.
В данном решении под системой подразумевается компьютерная система, ЭВМ (электронно- вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, чётко определённую последовательность операций (действий, инструкций). In this solution, a system means a computer system, a computer (electronic computer), a CNC (numerical control), a PLC (programmable logic controller), computerized control systems, and any other devices capable of performing a predetermined, well-defined sequence of operations (actions, instructions).
Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы). Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические носители (CD, DVD и т.п.). A command processing device is an electronic unit or an integrated circuit (microprocessor) that executes machine instructions (programs). The command processing device reads and executes machine instructions (programs) from one or more data storage devices. In the role of a storage device can act, but not limited to, hard drives (HDD), flash memory, ROM (read-only memory), solid-state drives (SSD), optical media (CD, DVD, etc.).
Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд. A program is a sequence of instructions intended for execution by a computer control device or command processing device.
Электромиография (ЭМГ, ЭНМГ, миография, электронейромиография) — метод исследования биоэлектрических потенциалов, возникающих в скелетных мышцах человека и животных при возбуждении мышечных волокон; регистрация электрической активности мышц. Electromyography (EMG, ENMG, myography, electroneuromyography) is a method for studying bioelectric potentials that occur in human and animal skeletal muscles when muscle fibers are excited; registration of the electrical activity of the muscles.
Электронейромиография (ЭНМГ) — это комплексное электрофизиологическое исследование, необходимое для определения функционального состояния периферической нервной системы и мышц [1]. Исполнительный механизм— устройство в системе автоматического регулирования и управления, непосредственно осуществляющее механическое перемещение (или поворот) регулирующего органа объекта управления, в том числе и виртуального объекта. Это может быть как комплекс устройств либо одно устройство, получающие команды от принявшего и обработавшего данные ЭМГ и не только устройства, и способное передать информацию обратной связи. Electroneuromyography (ENMG) is a complex electrophysiological study necessary to determine the functional state of the peripheral nervous system and muscles [1]. The executive mechanism is a device in the automatic regulation and control system that directly performs the mechanical movement (or rotation) of the regulatory body of the control object, including the virtual object. This can be either a complex of devices or a single device, receiving commands from the receiver and processing the EMG data and not only the device, and capable of transmitting feedback information.
Способ физиологичного управления исполнительным механизмом на основе распознавания жестов (обработка управляющего сигнала) осуществляют следующим образом. The method of physiological control of the actuator based on gesture recognition (processing of the control signal) is as follows.
Предварительно осуществляют предобработку сигнала и создание входного вектора признаков ЭМГ-сигнала для классификации жестов пользователя, которая может выполняться аналогичным образом и при настройке, и при работе системы. Pre-processing of the signal and the creation of the input vector of the signs of the EMG signal are carried out to classify the user's gestures, which can be performed in the same way both during tuning and during operation of the system.
Для того чтобы различать и классифицировать мышечные движения, должны быть извлечены наиболее значимые части ЭМГ (признаки), которые представляют собой характеристики с достаточной для классификации информацией. По данным исследований, для классификации ЭМГ -сигналов верхних конечностей вычисляется квадрат дисперсии на каждом канале, после чего информация со всех каналов подается на нейросетевую хэш-функцию, которая выявляет ряд некоррелированных наиболее важных признаков. In order to distinguish and classify muscle movements, the most significant parts of the EMG (signs), which are characteristics with sufficient information for classification, must be extracted. According to research data, to classify EMG signals of upper extremities, the square of dispersion on each channel is calculated, after information from all channels is fed to the neural network hash function, which reveals a number of uncorrelated most important features.
Более подходящими для анализа являются признаки ЭМГ-сигнала во временной области на основе амплитуд сигналов. Такие признаки могут быть легко определены, обладают высокой стабильностью для распознавания образов с помощью ЭМГ. Для достижения лучших результатов, функция (признак) должна содержать достаточное количество информации, чтобы представлять существенные свойства ЭМГ-сигнала, и должна быть достаточно простой для быстрой обработки и классификации. В некоторых вариантах осуществления в качестве признаков могут использоваться следующие величины во временной области, измеренные как функции времени: интегральная ЭМГ; среднее арифметическое; среднее значение модуля; конечные разности; сумма элементарных площадей; дисперсия; среднеквадратичное отклонение; длина сигнала; максимальное значение ЭМГ -сигнала, более подробно информация о выборе признаков для классификации раскрыта в работе авторов [2]. More suitable for analysis are the signs of the EMG signal in the time domain based on the amplitudes of the signals. Such signs can be easily identified, have high stability for pattern recognition using EMG. For best results, the function (feature) should contain enough information to represent the essential properties of the EMG signal, and should be simple enough for quick processing and classification. In some embodiments, the implementation in the quality of signs can be used the following values in the time domain, measured as a function of time: integral EMG; average; mean modulus; finite differences; the sum of the elementary areas; dispersion; standard deviation; signal length; the maximum value of the EMG signal, more information about the choice of characters for classification is disclosed in the work of the authors [2].
Формулы для расчета этих величин показаны на Фиг. 14. The formulas for calculating these values are shown in FIG. 14.
Оценка эффективности признаков осуществляется по двум главным параметрам — производительность нейронной сети и время работы — как наиболее важным для использования в реальном времени. Согласно предыдущим исследованиям, описанным в источнике информации [3], для условия выполнения требований работы в режиме реального времени время распознавания сигнала должно занимать не более 25 мс (но данные параметры регулируются нейронной сеткой, шириной окна и другими параметрами, что позволяет сделать настраиваемым время распознавания сигнала, увеличивая как в большую, так и меньшую сторону). Для комфортной работы пользователя производительность, или точность распознавания (процентное отношение верных случаев классификации ко всем рассматриваемым случаям) должна быть не ниже 95%, как показано в источнике [4]. Пример осуществления обработки сигнала представлен на Фиг. 10 и 13. С целью повышения точности классификации жеста и предотвращения ложного срабатывания исполнительного устройства бионической конечности на этапе предобработки сигнала, одновременно с вычислением максимального значения сегмента ЭМГ -сигнала, вычисляется средняя длительность превышения порогового значения ЭМГ-сигнала в окне данных в режиме реального времени, затем после центрирования и нормализации полученного сигнала принимается решение о возникновении управляющего сигнала. Данные нейромышечной активности (данные матрицы каналов электромиографа), получают от устройства миоэлектрического считывания и оцифровывают посредством АЦП, затем проверяют условие возникновения активного сигнала (соответствующего выполнению жеста), например, 30% от заданной в настройках амплитуды. Далее разбивают полученный оцифрованный сигнал неперекрывающимся окном на сегменты, длиной, например, 25 мс. В некоторых вариантах осуществления технического решения используют функцию максимального значения сегмента, как наиболее эффективную и легко вычисляемую. Для каждого сегмента вычисляется его максимальное значение по формуле: хк = max \xt\ (1) где Хк - к-ый сегмент сигнала, х, - i-oe значение сегмента. Далее полученные значения нормируются следующим образом: Evaluation of the effectiveness of signs is carried out according to two main parameters - the performance of the neural network and the operation time - as the most important for use in real time. According to previous studies described in the source of information [3], for the condition of fulfilling the requirements of real-time operation, the signal recognition time should take no more than 25 ms (but these parameters are governed by a neural grid, window width and other parameters, which makes it possible to customize the recognition time signal, increasing both up and down). For user comfort, performance or recognition accuracy (the percentage of true cases of classification to all cases under consideration) must be at least 95%, as shown in the source [4]. An example of the implementation of signal processing is shown in FIG. 10 and 13. In order to improve the accuracy of the gesture classification and prevent false triggering of the bionic limb actuator at the signal preprocessing stage, simultaneously with the calculation of the maximum value of the EMG segment of the signal, the average duration of exceeding the threshold value of the EMG signal in the data window is calculated, then, after centering and normalizing the received signal, a decision is made about the occurrence of the control signal. The neuromuscular activity data (data of the electromyograph channel matrix) is obtained from the myoelectric reading device and digitized by means of an ADC, then the condition of the occurrence of an active signal (corresponding to the gesture) is checked, for example, 30% of the amplitude specified in the settings. Next, the resulting digitized signal is broken by a non-overlapping window into segments, for example, 25 ms long. In some embodiments, the implementation of the technical solution uses the function of the maximum value of the segment, as the most effective and easily calculated. For each segment, the maximum value is calculated by the formula: a x = max \ x t \ (1) where xk - a first signal segment, x, - i-oe segment value. Further, the values obtained are normalized as follows:
X = Xi/ тах(Х); (2) где X - массив данных сигнала, X, - i-oe значение сигнала; X = Xi / max (X); (2) where X is the signal data array, X, is the i-ee signal value;
И центрируют: And center:
X = Xi/(X); (3) X = Xi / (X); (3)
Где X - среднее арифметическое сигнала X. Where X is the arithmetic average of the X signal.
Таким образом, получают входной вектор признаков (по которому осуществляется классификация жестов) для каждого канала, с более низкой размерностью, чем у исходного сигнала (в зависимости от ширины окна): вектор длиной к вместо первоначального вектора длиной k*i, что снижает вычислительную нагрузку на микроконтроллер. Размерность понижается за счет того, что находят одно значение среди i значений. Thus, an input feature vector is obtained (according to which the gestures are classified) for each channel with a lower dimension than the original signal (depending on the window width): a vector of length k instead of the original vector of length k * i, which reduces the computational load on the microcontroller. The dimension is reduced due to the fact that they find one value among i values.
Важно отметить, что миоэлектрическое устройство считывания также имеет режим работы электромиографа и вывода данных ЭМГ на циферблат миоэлектрическое устройство считывания или на экран исполнительного механизма, как компьютер или телефон, что лучше позволяет определить уровень сигнала от каждой мышцы или группы мышц. It is important to note that the myoelectric reading device also has an electromyograph and EMG data output on the dial of the myoelectric reading device or on the screen of the actuator, like a computer or phone, which makes it possible to determine the signal level from each muscle or muscle group.
На этапе настройки системы после создания входного вектора признаков ЭМГ-сигнала происходит обучение искусственной нейронной сети (ИНС). В некоторых вариантах осуществления используют ИНС на основе радиальной базисной функции (как пример, не стоит ограничиваться им, так как оптимальный вариант использование нейросетевой хэш- функции). В некоторых вариантах осуществления может использоваться многослойный персептрон нейронной сети, а также другие виды нейронных сетей или метод опорных векторов. At the stage of setting up the system, after creating the input vector of features of the EMG signal, the artificial neural network (ANN) is trained. In some embodiments, an ANN is used based on a radial basis function (as an example, not It should be limited to them, as the best option is to use the neural network hash function). In some embodiments, a multilayer perceptron of the neural network can be used, as well as other types of neural networks or the support vector machine.
Для того чтобы распознать жесты, извлеченные признаки должны быть классифицированы в отличительные классы. Классификатор должен быть в состоянии справиться с факторами, которые оказывают заметное влияние на шаблоны ЭМГ в течение времени, такие, как существенное изменение сигналов ЭМГ, расположение электродов, пот и усталость, описанные в источнике информации [5]. In order to recognize gestures, the extracted signs must be classified into distinctive classes. The classifier should be able to cope with factors that have a noticeable effect on the EMG patterns over time, such as a significant change in the EMG signals, the location of the electrodes, sweat and fatigue described in the source of information [5].
Вышеуказанный способ может использовать трехзвенную архитектуру управления (база данных - сервер - клиент) при обработке набора признаков ЭМГ-сигнала. The above method can use a three-tier management architecture (database - server - client) when processing a set of attributes of an EMG signal.
Во входном слое количество нейронов равно размерности вектора признаков (который в данном случае равен числу каналов передачи данных, по которым передаются данные с датчиков), который в примере реализации изобретения может быть равен восьми:
Figure imgf000012_0001
/ = 1,In the input layer, the number of neurons is equal to the dimension of the feature vector (which in this case is equal to the number of data channels through which data is transmitted from the sensors), which in the example of the invention may be equal to eight:
Figure imgf000012_0001
/ = 1,
2...8. Скрытый слой, где число нейронов не было определено заранее, так как они были сформированы в ходе процедуры обучения, был разделен на четырнадцать субскрытых слоев. В выходном слое число нейронов было равно количеству классов в наборе обучающих данных (число жестов- число нейронов). 2 ... 8. The hidden layer, where the number of neurons was not determined in advance, as they were formed during the training procedure, was divided into fourteen sub-hidden layers. In the output layer, the number of neurons was equal to the number of classes in the training data set (the number of gestures and the number of neurons).
Базисной функцией нейронной сети в скрытом слое является функция Г аусса, а выход £-го нейрона в скрытом слое для каждого данного входа X = [х1,Х2,хз,Х4,Х5,Хб X7,xs]T может вычисляться по следующей формуле: The base function of the neural network in the hidden layer is the G auss function, and the output of the £ th neuron in the hidden layer for each given input X = [x 1 , X 2 , xs, X 4 , X 5 , X b X7 , xs] T calculated by the following formula:
Figure imgf000012_0002
Figure imgf000012_0002
Это уравнение описывает 8-мерный гауссиан с центром в точке С =This equation describes an 8-dimensional Gaussian with center at C =
[СьС2,Сз,С4,С5,С6С7,С8,Сз]Г и вращается вдоль ортонормированного базиса[ Сь С 2 , Сз, С 4 , С 5 , С 6 С 7 , С 8 , Сз] Г and rotates along an orthonormal basis
{ U U 2, U3, U 4, U 5, U6U7, Us), что позволяет нейрону покрывать поле данных соседа без смещения или любого изменения размера. Ширина этого гауссиана вдоль каждой оси равна а„ г = 1 , 2...8. Поскольку входные векторы признаков для каждого образа являются восьмимерными, координаты, соответствующие этим векторам, представляют собой базис вида т (UU 2 , U 3 , U 4 , U 5 , U 6 U 7 , Us), which allows a neuron to cover the neighbor's data field without offset or any size change. The width of this gaussian along each axis is equal to a „r = 1, 2 ... 8. Since the input feature vectors for each image are eight-dimensional, the coordinates corresponding to these vectors are the basis of the form t
[1,0, 0, 0, 0, 0, 0, Of, [0, 1,0, 0, 0, 0, 0,0] [0, 0, 0, 0, 0, 0, 0, 1] . Таким образом, компонента х, каждого входного вектора X по отношению к новым осям может быть вычислена как:  [1,0, 0, 0, 0, 0, 0, Of, [0, 1.0, 0, 0, 0, 0.0] [0, 0, 0, 0, 0, 0, 1 ]. Thus, the x component of each input vector X with respect to the new axes can be calculated as:
Ci = Хтщ (5) Ci = X t sh (5)
Вращение вдоль базисных векторов позволяет нейронам покрыть все близлежащие данные без увеличения радиуса. На Фиг. 15 показано, каким образом нейрон пытается приспособиться, чтобы покрыть новые данные; в правой части рисунка показано нахождение данных нейроном. Rotation along the basis vectors allows neurons to cover all nearby data without increasing the radius. FIG. 15 shows how a neuron tries to adapt to cover new data; The right side of the figure shows the location of the data by a neuron.
Во время настройки системы происходит запись сигнала пользователя в базу данных, данные в которой накапливаются, и используются для дообучения сети, но не всегда есть потребность в данном дообучении. Для каждого пользователя имеется вектор признаков с размером 8х/У(где 8 - число каналов, N - число обучающих данных), полученный с помощью описанного выше способа (сегментации неперекрывающимимся окнами). Перед процедурой обучения каждый набор данных перемешивается, а затем делится на наборы в соотношении 2: 1 : 1 (по числу обучающих данных N) с данными для этапов обучения, тестирования и контроля соответственно.  During system setup, a user signal is recorded in the database, the data in which is accumulated, and is used for additional training of the network, but there is not always a need for this additional training. For each user, there is a feature vector with a size of 8x / Y (where 8 is the number of channels, N is the number of training data) obtained using the method described above (segmentation by non-overlapping windows). Before the learning procedure, each data set is mixed, and then divided into sets in a 2: 1: 1 ratio (according to the number of training data N) with data for the training, testing and control stages, respectively.
Ортонормированный базис вычисляется через собственный вектор ковариационной матрицы. Поскольку обучающие данные вводятся в сеть последовательно, вектор средней и ковариационная матрица вычисляются рекурсивно. Для N выборок X = {х/,
Figure imgf000013_0001
..., xN}, в котором X
Figure imgf000013_0002
, ..., N вектор средних значений рассчитывается следующим образом:
Figure imgf000013_0003
гДе 0о _ это вектор средних значений множества данных X; XN+ 1 - новый вектор данных, добавляемый во множество данных X. The orthonormal basis is calculated via the eigenvector of the covariance matrix. Since the training data is entered into the network sequentially, the mean vector and the covariance matrix are calculated recursively. For N samples, X = {x / ,
Figure imgf000013_0001
..., x N }, in which X
Figure imgf000013_0002
, ..., N the vector of average values is calculated as follows:
Figure imgf000013_0003
0 °, where _ is the mean vector of X data; X N + 1 is the new data vector added to the X data set.
Затем ковариационная матрица вычисляется как:  Then the covariance matrix is calculated as:
Figure imgf000013_0004
Figure imgf000014_0001
Figure imgf000013_0004
Figure imgf000014_0001
Чтобы найти ортонормированный базис для РБФ, используется концепция анализа главных компонент. Собственные величины {А/,
Figure imgf000014_0002
A , Ag А , As} и соответствующие им собственные векторы {U/, U , U , U4, U5, HeU7, U } вычисляются от уровня ковариационной матрицы. Далее множество собственных ортогональных векторов образуют ортонормированный базис, что показано в источнике информации [6]. To find an orthonormal basis for RBF, the concept of principal component analysis is used. Eigenvalues {A / ,
Figure imgf000014_0002
A, Ag A, As} and the corresponding eigenvectors {U / , U, U, U 4 , U 5 , HeU 7 , U} are calculated from the level of the covariance matrix. Further, the set of proper orthogonal vectors form an orthonormal basis, as shown in the source of information [6].
Процедуру обучения нейронной сети во время настройки системы более подробно можно описать следующим образом.  The procedure for training a neural network during system setup can be described in more detail as follows.
Пусть X = {(х7, tj)\l < /' < N} есть множество N обучающих данных (обучающая выборка), где является вектор-функцией (компонент х7 е 5Н8, где $Я8 - множество обучающих данных) и tj является классом, с которым необходимо соотнести жест. Пусть W = {Qk\ 1 < к < т } это набор из т нейронов. Каждый нейрон имеет пять параметров: Let X = {(x 7 , t j ) \ l </ ' <N} is the set of N training data (training sample), where is a vector function (component x 7 e 5H 8 , where $ I 8 is the set of training data ) and t j is the class to which the gesture needs to be correlated. Let W = {Q k \ 1 <k <m} be a collection of m neurons. Each neuron has five parameters:
b* - (С* , 5* , Nk, Ак, dk ), (9) b * - (C *, 5 *, N k , Ak, d k ), (9)
где Ск - центр А- го нейрона, 5* - ковариационная матрица А-го нейрона, Nk - это количество данных, соответствующих к-му нейрону, Ак - ширина вектора А- го нейрона, и < - класс- метка А- го нейрона. where C c is the center of the A-th neuron, 5 * is the covariance matrix of the A-th neuron, N k is the amount of data corresponding to the k-th neuron, A c is the width of the A-th neuron vector, and <is the class A mark - go neuron.
Поскольку новые нейроны могут быть автоматически добавлены к сети и располагаться очень близко друг к другу, возможна реализация стратегии слияния нескольких нейронов во избежание роста сети до максимальной структуры (одного нейрона для каждой единицы данных), что подробно описано в источнике информации [7]. Since new neurons can be automatically added to the network and located very close to each other, it is possible to implement the strategy of merging several neurons in order to avoid network growth to the maximum structure (one neuron for each data unit), as described in detail in the source of information [7].
Обученная нейронная сеть позволяет точно подстроиться под пользователя. В результате обучения ИНС сохраняют новые значения весовых коэффициентов нейронной сети в микропроцессор исполнительного механизма напрямую или в хранилище данных. The trained neural network allows you to accurately adjust to the user. As a result of training, the INS save the new values of the weights of the neural network into the microprocessor of the actuator directly or in the data warehouse.
Однако следует учитывать, что другие типы ИНС, как и другие методы классификации, также могут быть осуществлены в данном изобретении специалистом в своей области. В процессе работы системы результат распознавания жеста преобразуется в соответствующую управляющую команду (например, мысленное сжатие в «кулак» пользователем - «кулак»), и передается например на исполнительный механизм - отражается на экране компьютера или радиоуправляемая модель прекращает движение. However, it should be borne in mind that other types of INS, like other classification methods, can also be implemented in this invention by a specialist in their field. During the operation of the system, the result of gesture recognition is converted into an appropriate control command (for example, mental compression into a “fist” by the user - “fist”), and transmitted, for example, to an actuator — is reflected on the computer screen or the radio-controlled model stops moving.
Система физиологичного управления на основе распознавания жестов (обработка управляющего сигнала) осуществляют следующим образом. The physiological control system based on gesture recognition (processing of the control signal) is as follows.
Вышеуказанная система состоит из миоэлектрического устройства считывания биопотенциалов, которое может быть конструктивно выполнено в виде лёгкосъёмного эластичного браслета или аналогичной конструкции (показан на Фиг. 5 поз. 1). В данном устройстве располагаются электроды для регистрации активности нервно-мышечной системы (поз.2), возникающей в ответ на фантомное движение пользователя. Причем браслет может быть размещен на предплечье на плече или других местах на теле человека и выполнен с возможностью передачи управляющего сигнала исполнительному механизму. The above system consists of a bioelectric biopotential reading device, which can be structurally made in the form of an easily removable elastic bracelet or a similar design (shown in Fig. 5, pos. 1). This device contains electrodes for recording the activity of the neuromuscular system (pos. 2), which arises in response to the phantom movement of the user. Moreover, the bracelet can be placed on the forearm on the shoulder or other places on the human body and made with the possibility of transmitting the control signal to the actuator.
В данном браслете может находиться датчик беспроводной передачи данных, причем, не ограничиваясь, могут использоваться технологии беспроводной передачи данных Bluetooth или Wi-Fi, или ZigBee. This bracelet can have a wireless data transmission sensor, and, without limitation, Bluetooth or Wi-Fi or ZigBee wireless data transfer technologies can be used.
В легкосъёмном браслете или другой схожей конструкции, надеваемом на плечо, предплечье, или другие места на теле человека размещены, по меньшей мере один датчик электромиограммы, (далее датчик ЭМГ), е операционный усилитель, фильтр нижних и верхних частот, аналого-цифровой преобразователь (АЦП), микропроцессор- микроконтроллер, преобразователь напряжения и аккумуляторы, вибромотор, гироскоп и акселерометр. In an easily removable bracelet or other similar design, worn on the shoulder, forearm, or other places on the human body are placed at least one electromyogram sensor (hereinafter EMG sensor), an operational amplifier, a low and high frequency filter, an analog-to-digital converter ( ADC), microprocessor-microcontroller, voltage converter and batteries, vibration motor, gyroscope and accelerometer.
Датчик ЭМГ в некоторых вариантах осуществления представляет собой набор пластин электродов, размещенных на подложке из диэлектрика. В разных вариантах осуществления технического решения электроды могут быть выполнены из нержавеющей стали или из слабополяризующихся проводящих материалов (например, из нержавеющей стали марки 12X18Н 10). В некоторых вариантах осуществления электроды могут быть выполнены следующих размеров: квадрат 1x1 см для приемной пластины (2 штуки) и прямоугольник 1x0,5 см для референта), не ограничиваясь. В некоторых случаях прямоугольник использовать нет необходимости, используется один прямоугольник на все датчики. Специалисту в данной области техники очевидно, что размер электродов может быть выполнен в другом размере, учитывая, что размер пластины влияет на амплитуду сигнала и уровень перекрестных помех. The EMG sensor in some embodiments, the implementation is a set of plates of electrodes placed on a substrate of dielectric. In various embodiments, the implementation of the technical solution of the electrodes can be made of stainless steel or of slightly polarizable conductive materials (for example, stainless steel 12X18H 10). In some embodiments, the implementation of the electrodes can be made of the following sizes: square 1x1 cm for the receiving plate (2 pieces and a rectangle 1x0.5 cm for the referent), not limited to. In some cases, there is no need to use a rectangle; one rectangle is used for all sensors. Specialist in this It is obvious to the field of technology that the size of the electrodes can be made in a different size, given that the size of the plate affects the amplitude of the signal and the level of crosstalk.
На подложку электрода сверху может устанавливается плата усилителя биопотенциалов, которая может состоять из инструментального (дифференциального) усилителя (например, такого как INA114), фильтров нижних и верхних частот, выполненных на пассивных элементах в виде RC цепочек или на активных элементах. Через гибкие шлейфы датчики подсоединяются к плате микропроцессора, где может происходить оцифровка посредством аналого-цифрового преобразования и передача его на микроконтроллер (например, 2х 16ти битных АЦП ADS1115 и предварительная обработка сигнала на контроллере ARM микропроцессора Cortex М4) Фиг. 8. A biopotential amplifier board can be installed on the electrode substrate from above, which can consist of an instrumental (differential) amplifier (for example, such as INA114), low-pass and high-pass filters made on passive elements in the form of RC chains or on active elements. Through flexible cables, sensors are connected to the microprocessor board, where digitization can occur via analog-digital conversion and transfer it to the microcontroller (for example, 2 16bit ADC1115 ADCs and preprocessing the signal on the ARM microprocessor controller M4). eight.
При волевом сокращении мышцы пользователем активными электродами регистрируется разность потенциалов в низкочастотном диапазоне, возникающая в нервно-мышечной ткани. When volitional contraction of the muscle by the user with active electrodes, a potential difference is recorded in the low-frequency range that occurs in the neuromuscular tissue.
Следует особо подчеркнуть необходимость надежного способа снятия управляющего сигнала. Частотный состав электромиограммы у пользователей, согласно исследованиям, представлен сильно зашумленным сигналом в диапазоне 0,5-300 Гц и амплитудой сигнала от 1 мкВ до 2 мВ (Фиг. 6). It is necessary to emphasize the need for a reliable method of removing the control signal. The frequency composition of electromyograms for users, according to studies, is represented by a highly noisy signal in the range of 0.5-300 Hz and a signal amplitude from 1 µV to 2 mV (Fig. 6).
Также существует совершенно новый способ решения в части датчиков, так как датчики могут быть и без усилителей. К входным цепям приборов измерения и обработки биопотенциалов предъявляются высокие требования, т.к. уровень электромиосигнала составляет всего лишь десятки микровольт - единицы милливольт, а также он значительно меньше наведенной помехи, которая может достигать десятков и даже сотен милливольт. There is also a completely new solution in terms of sensors, as the sensors can be without amplifiers. High requirements are imposed on the input circuits of devices for measuring and processing biopotentials, since The electromyosignal level is only tens of microvolts - units of millivolts, and it is also significantly less than the induced noise, which can reach tens and even hundreds of millivolts.
Под входными цепями (ВЦ) прибора с цифровой обработкой электромиосигнала , понимается цепь прохождения аналогового сигнала от электродов датчика до выхода аналого-цифрового преобразователя (АЦП). Under the input circuits (VC) of the device with digital processing of the electromyosignal, we mean the chain of passage of the analog signal from the sensor electrodes to the output of the analog-to-digital converter (ADC).
К ВЦ предъявляют следующие основные требования: To CC impose the following basic requirements:
1. Обеспечение входного сопротивления 100 Мом и более; 1. Providing input resistance of 100 MΩ or more;
2. Предварительная фильтрация входного сигнала, исходя из частоты дискретизации АЦП; 3. Подавление синфазной составляющей входного сигнала не менее 100 дБ; 2. Pre-filtering the input signal based on the sampling rate of the ADC; 3. Suppression of the common-mode component of the input signal of at least 100 dB;
4. Разрядность АЦП, достаточная для преобразования сигнала уровнем 10 мкВ; 4. The resolution of the ADC, sufficient to convert the signal level of 10 µV;
5. Наличие активной схемы подавления синфазной составляющей входного сигнала. 5. The presence of an active circuit suppression common-mode component of the input signal.
Кроме того, для обеспечения высокой разрешающей способности по распознаванию хватов в системе с использованием нейронной сети в качестве вычислителя, предъявляются дополнительные требования. А именно, число одновременно обрабатываемых каналов должно быть как можно большим. In addition, in order to provide high resolution for the recognition of successfulness in the system using a neural network as a calculator, additional requirements are imposed. Namely, the number of simultaneously processed channels should be as large as possible.
На основании этих требований была выбрана микросхема ADS, которая включает в себя: Based on these requirements, an ADS microcircuit was selected, which includes:
- предварительный усилитель с регулируемым коэффициентом усиления до 24; - коэффициент подавления составляющей входного сигнала не мене 115 дБ; - preamplifier with adjustable gain up to 24; - the coefficient of suppression of the input signal component is not less than 115 dB;
- дельта-сигма АЦП разрядностью 24 бита; - Delta-Sigma ADC of 24 bits;
- активную схему подавления синфазного сигнала; - active common mode rejection circuit;
- генератор напряжения Vcm; - voltage generator Vcm;
- 8 дифференциальных, одновременно обрабатываемых каналов; - частота дискретизации входного сигнала до 32000 выб./с. - 8 differential, simultaneously processed channels; - input signal sampling rate up to 32000 select / s.
Входное сопротивление ADS составляет более 1 ГОм. ADS input resistance is more than 1 GΩ.
Два электрода каждого канала подключены непосредственно к предварительному фильтру, образуя дифференциальный канал. Two electrodes of each channel are connected directly to the pre-filter, forming a differential channel.
Для активного подавления синфазной составляющей входного сигнала, усиленный и инвертированный синфазный сигнал подается на третий электрод каждого датчика. For active suppression of the common-mode component of the input signal, the amplified and inverted common-mode signal is fed to the third electrode of each sensor.
В качестве предварительного фильтра использован RC фильтр первого порядка. As a pre-filter used RC filter of the first order.
Управление микросхемой ADS осуществляется по интерфейсу SPI. The ADS chip is controlled via SPI interface.
Оцифрованный сигнал подается на процессор системы для дальнейшей обработки. The digitized signal is fed to the system processor for further processing.
Блок-схема входной цепи представлена на Фиг. 9. Осуществление технического решения (Фиг. 1а) может происходить следующим образом. Пользователь выполняет заданные жесты, при этом миоэлектрическое устройство считывания передает данные пользователя на устройство обработки данных по беспроводному каналу передачи данных (например, с использованием стандарта Bluetooth 4.0 но не ограничиваясь им), где происходит создание профиля пользователя. Затем созданный профиль записывается в память микроконтроллера. The block diagram of the input circuit is presented in FIG. 9. The implementation of the technical solution (Fig. 1A) can occur as follows. The user performs specified gestures, while the myoelectric reading device transmits user data to a data processing device over a wireless data transmission channel (for example, using the Bluetooth 4.0 standard but not limited to it), where the user profile is created. Then the created profile is recorded in the memory of the microcontroller.
Миоэлектрическое устройство считывания осуществляет регистрацию и фильтрацию электромиограммы (ЭМГ) и передачу данных по беспроводному каналу связи (например, с использованием стандарта Bluetooth 4.0, но не ограничиваясь им) на плату управления исполнительного механизма, размещение которой показано на Фиг. 12. Способ обработки сигнала более подробно раскрыт выше. The myoelectric reading device records and filters electromyograms (EMG) and transfers data wirelessly (for example, using but not limited to Bluetooth 4.0) to the control board of the actuator, the placement of which is shown in FIG. 12. The signal processing method is described in more detail above.
Фиг. 12 представляет собой вид сверху исполнительный механизм, который отличается для виртуальной реальности или для радиоуправляемой модели. FIG. 12 is a top view of the actuator, which is different for virtual reality or for a radio-controlled model.
Управление виртуальной реальностью происходит следующим образом: миоэлектрическое устройство считывания в виде браслета (или схожей конструкции прибор) надевается на предплечье или плечо, либо другую часть конечности, как пример, ноги, происходит калибровка и настройка браслета, это может быть сделано на компьютере, телефоне (Фиг. Зв), как и без них (Фиг. 4). Очки виртуальной реальности состоят как минимум из разных типов линз, дисплея, деталей корпуса, вычислительной системы, акселерометра, гироскопа, датчика беспроводной связи (Bluetooth) (Фиг. 12а). Связь между браслетом и очками виртуальной реальности организовывается с помощью любой беспроводной связи, в нашем случае используются Bluetooth, при чём Bluetooth браслета настроен как ведомый, a Bluetooth очков виртуальной реальности как мастер. Миоэлектрическое устройство считывания, в виде браслета (или схожей конструкции прибор), осуществляет регистрацию и фильтрацию электромиограммы (ЭМГ), определяет положение руки и в зависимости от него отправляет на очки виртуальной реальности соответствующую команду, либо получает информацию по обратной связи. Важно, что миоэлектрическое устройство считывания помимо данных по номерам схватов отправляет на очки информацию с гироскопа и акселерометра, что позволяет лучше определить положение руки в пространстве. Возможно расположение миоэлектрического устройства считывания не только на руки, но и ноги, спину, шею, что позволит лучше определить расположение других частей тела в пространстве. Также очки виртуальной реальности способны передавать информацию обратной связи и запускать на миоэлектрическом устройстве считывания вибромотор, что позволяет создавать обратную связь, возможно также дополнительное расположение и других датчиков обратной связи и сенсоров. Virtual reality is controlled as follows: a myoelectric reader in the form of a bracelet (or a device of similar design) is put on the forearm or shoulder, or another part of the limb, as an example, legs, the bracelet is calibrated and adjusted, this can be done on a computer, phone ( Fig. Sv), as without them (Fig. 4). Virtual reality glasses consist of at least different types of lenses, a display, body parts, a computer system, an accelerometer, a gyroscope, a wireless sensor (Bluetooth) (Fig. 12a). The connection between the bracelet and virtual reality glasses is organized using any wireless connection, in our case Bluetooth is used, with the Bluetooth bracelet configured as a slave, and the Bluetooth virtual reality glasses as a master. The myoelectric reading device, in the form of a bracelet (or a device of similar design), records and filters electromyograms (EMG), determines the position of the hand, and depending on it sends the corresponding command to the glasses of virtual reality, or receives feedback information. It is important that the myoelectric reading device, in addition to the data on the numbers of the grippers, sends information from the gyroscope and accelerometer to the glasses, which makes it possible to better determine the position of the arm in space. It is possible to locate the myoelectric reading device not only on the arms, but also the legs, the back, the neck, which will allow a better determination of the location of other parts of the body in space. Also points virtual reality are able to transmit feedback information and launch a vibration motor on the myoelectric reader, which allows you to create feedback, it is also possible to have additional location of other feedback sensors and sensors.
Управление радиоуправляемой моделью происходит следующим образом миоэлектрическое устройство считывания в виде браслета (или схожей конструкции прибор) надевается на предплечье или плечо, происходит калибровка и настройка устройства, это может быть сделано на компьютере, телефоне (Фиг. 36), как и без них (Фиг. 4). Радиоуправляемая модель состоит как минимум из микросхемы, датчика беспроводной связи (Bluetooth) и двигателей (Фиг. 126). Связь между браслетом и радиоуправляемой моделью организовывается с помощью любой беспроводной связи, в нашем случае используются Bluetooth, при чём Bluetooth браслета настроен как мастер, a Bluetooth модели как ведомый. После запуска обоих устройств, с подключением без посредников, устройство беспроводной связи браслета подключается к устройству связи исполнительного механизма в нашем случае для связи требуется знание мастером названия и пароля устройства связи исполнительного механзима. В том случае, если устройства связаны через посредника (компьютер, телефон), то устройство-посредник участвует в установке связи между приборами. Миоэлектрическое устройство считывания осуществляет регистрацию и фильтрацию электромиограммы (ЭМГ), определяет положение руки и в зависимости от него отправляет на модель соответствующую команду. Список команд: F -модель начинает движение вперёд пока не получит очередную команду, В - модель начинает движение назад пока не получит очередную команду, L - модель начинает движение налево пока приходит данная команда, после её окончания продолжает действие, которое выполняло до получения команды (движение вперёд, назад, бездействие), R - модель начинает движение направо пока приходит данная команда, после её окончания продолжает действие, которое выполняло до получения команды (движение вперёд, назад, бездействие), S - остановка модели. The radio-controlled model is controlled as follows: a myoelectric reader in the form of a bracelet (or a device of similar design) is put on the forearm or shoulder, the device is calibrated and configured, this can be done on a computer or phone (Fig. 36), as well as without them (Fig . four). The radio-controlled model consists of at least a microcircuit, a wireless sensor (Bluetooth) and engines (Fig. 126). The connection between the bracelet and the radio-controlled model is organized using any wireless connection, in our case Bluetooth is used, with what the Bluetooth bracelet is configured as a master, and the Bluetooth model as a slave. After launching both devices, connected without intermediaries, the bracelet's wireless communication device is connected to the actuator communication device. In our case, the connection requires the master to know the name and password of the communication device of the executive mechanism. In the event that the devices are connected through an intermediary (computer, telephone), the intermediary device participates in the establishment of communication between the devices. The myoelectric reading device records and filters the electromyogram (EMG), determines the position of the arm, and, depending on it, sends the appropriate command to the model. List of commands: F-model starts moving forward until it receives the next command, B - the model starts moving back until it receives the next command, L - the model starts moving to the left until the given command comes, after its completion continues the action that it performed before receiving the command ( movement forward, backward, inaction), R - the model starts moving to the right until the given command arrives, after its completion continues the action that it performed before receiving the command (forward, backward, inaction), S - stopping the model.
Модель получает команду, микросхема обрабатывает её в зависимости от команды, проводит манипуляции над моторчиками: начать вращение, изменить направление вращения, остановить. После выполнения текущей команды устройство готово к выполнению следующего. Также с модели может приходить на браслет информация обратной связи и запускать вибромотор на браслете или иные типы датчиков. Также возможен случай реализации системы реабилитации с очками виртуальной реальности, так и без них (Фиг. За). А именно, когда происходит снятие данных например, по схватам с предплечья или плеча руки, и передача на компьютер или телефон для выполнения определенных схватов или движений в пространстве, движений, на компьютере или телефоне запущена программа, которая получает информацию и сигнализирует об успешном или неуспешном выполнении задания, возможна подача сигнала обратной связи на браслет. The model receives the command, the microcircuit processes it depending on the command, performs manipulations on the motors: start rotation, change the direction of rotation, stop. After executing the current command, the device is ready for the next. Also, feedback information from the model can be sent to the bracelet and start the vibration motor on the bracelet or other types of sensors. It is also possible the implementation of the rehabilitation system with virtual reality glasses, and without them (Fig. For). Namely, when data is being taken, for example, by grips from the forearm or shoulder of a hand, and a program is transmitted to a computer or phone to perform certain grips or movements in space, movements, a program is running on the computer or phone that receives information and signals successful or unsuccessful the task, the possible feedback signal to the bracelet.
Система управления также включает в себя: сеть контроллера (контроллерную сеть), которая обеспечивает модульную, надежную и отказоустойчивую схему взаимодействия для обмена данными между контроллером и остальными управляющими и исполнительными органами исполнительного механизма, и которая обеспечивает передачу контроллеру намерений от нервно-мышечной системы пользователя; источник питания; разноцветные поверхностные светоизлучающие диодные, вибро- и звуковые индикаторы (LED), расположенные в протезе, с помощью которых посредством контроллера обеспечивается обратная связь с пользователем. The control system also includes: a controller network (controller network), which provides a modular, reliable and fault-tolerant interaction scheme for data exchange between the controller and other control and executive bodies of the actuator, and which provides the transmission to the controller of intentions from the user's neuromuscular system; power supply; multi-colored surface light-emitting diode, vibration and sound indicators (LED), located in the prosthesis, through which the controller provides feedback to the user.
Примерные варианты осуществления системы управления включают в себя контроллер 301 (не более 2x3 см), который принимает данные о результате распознавания, осуществляет обмен данными и управление исполнительным механизмом. Контроллер в некоторых вариантах осуществления может включать в себя блок обработки, блок интерфейса, который физически отделен от блока обработки, причем вышеуказанные блоки могут соединяться гибким шлейфом, что позволяет осуществлять гибкое построение интерфейса без изменения соответствующего элемента управления программным обеспечением. На Фиг. 3 показана блок-схема системы управления исполнительным механизмом, которая включает в себя контроллер протеза 301, шину 302, и по меньшей мере одну шину 303 (на Фиг. 3 показана только одна из них). Шина 302 и шина пальца 303 подключены к контроллеру 301 с помощью интерфейса ввода-вывода 304. Контроллер 301 может являться одним из компонентов механизма (не показанного на данной схеме). Контроллер 301 является центральным звеном управления исполнительным механизмом. Таким образом, контроллер 301, который может быть конструктивно размещен внутри исполнительного механизма, несет ответственность за высокий уровень координированного управления исполнительным механизмом, а также разнообразные функции, связанные с внутренними нюансами работы исполнительного механизма. Exemplary embodiments of the control system include a controller 301 (no more than 2x3 cm), which receives recognition result data, exchanges data and controls the actuator. In some embodiments, the controller may include a processing unit, an interface unit that is physically separated from the processing unit, and the above units can be connected with a flexible loop, which allows flexible interface construction without changing the corresponding software control element. FIG. 3 shows a block diagram of an actuator control system that includes a prosthesis controller 301, a bus 302, and at least one bus 303 (only one of them is shown in FIG. 3). Bus 302 and finger bus 303 are connected to the controller 301 via an I / O interface 304. The controller 301 may be one of the components of the mechanism (not shown in this diagram). The controller 301 is the central control unit of the actuator. Thus, the controller 301, which can be structurally housed inside the actuator, is responsible for the high level of coordinated control of the actuator, as well as various functions related to the internal nuances of the actuator.
Также, в случае необходимости, в некоторых вариантах осуществления контроллер 301 может быть размещен вне исполнительного механизма. Also, if necessary, in some embodiments, the implementation of the controller 301 may be placed outside the actuator.
Одна из функций контроллера 301 - это управление движением исполнительного механизма. Соответственно, команды о намерении пользователя передаются блоком 305 ЭНМ интерфейса (электронейромиоинтерфейса), который взаимодействует с контроллером 301 посредством шины 302 и интерфейса ввода-вывода 304, как показано на Фиг. 3. Команды из блока 305 ЭНМ интерфейса, а также информация от контроллера 306 крупноманипуляционного привода и по меньшей мере одного контроллера 307 мелкоманипуляционного привода (на Фиг. 3 показан один из них), которые поступают через шину 302 и шины 303 пальцев, позволяют способу управления исполнительного механизма, описанному выше, в контроллере 301 генерировать новые команды для управления крупноманипуляционными приводами и мелкоманипуляционными приводами. One of the functions of the controller 301 is to control the movement of the actuator. Accordingly, the user's intention commands are transmitted by the ENM interface unit 305 (electroneuromio interface), which communicates with the controller 301 via the bus 302 and the I / O interface 304, as shown in FIG. 3. Commands from the ENM interface unit 305, as well as information from the large-manipulation drive controller 306 and at least one small-manipulation drive controller 307 (one of them is shown in Fig. 3), which are received via the finger bus 302 and the finger bus 303 allow the control method the actuator described above, in the controller 301 to generate new commands to control large-manipulation drives and small-manipulation drives.
Контроллер 301 также обеспечивает передачу сенсорных данных от датчиков или внешнего программного обеспечения с помощью вибродатчика, либо с помощью слабого электрического импульса. The controller 301 also provides the transmission of sensory data from sensors or external software using a vibration sensor, or using a weak electrical pulse.
Эта обратная связь позволяет пользователю ощущать внешние условия, не будучи ограниченным только визуальной или звуковой обратной связью. This feedback allows the user to perceive external conditions without being limited only by visual or audio feedback.
В дополнительных вариантах осуществления изобретения контроллер 301 использует шину 302 для взаимодействия с дополнительными устройствами и/или аксессуарами, такими как устройства радиочастотной идентификации (RFID датчики), смартфоны и персональные цифровые помощники, хотя дополнительные или альтернативные варианты осуществления изобретения не ограничивается этими примерами. Функционирование системы происходит следующим образом. Миоэлектрическое устройство считывания в виде браслета или аналогичной конструкции системы надевается на предплечье и плечо и подключается к компьютеру или телефону, на компьютере или телефоне происходит настройка, калибровка браслета и исполнительного механизма следующим образом. Обучающая выборка формируется следующим образом. С помощью программы калибровки на экран последовательно выводятся типы жестов, например, «кулак», «щепоть тремя пальцами», «захват «ключ»», «цилиндрический схват», и другие, которые предлагается повторить пользователю несколько раз в течение определенного времени, например, 5 раз по одной секунде, после чего полученные данные используются для обучения алгоритма распознавания на основе нейронной сети, как было описано выше. Создается профиль пользователя с новыми весовыми коэффициентами, который записывается в микроконтроллер браслета, либо запись сразу происходит в браслете. Далее исполнительный механизм и браслет могут работать автономно, на основе беспроводной связи, например, посредством Bluetooth 4.0. In additional embodiments of the invention, the controller 301 uses the bus 302 to interact with additional devices and / or accessories, such as radio frequency identification devices (RFID sensors), smartphones and personal digital assistants, although additional or alternative embodiments of the invention are not limited to these examples. The functioning of the system is as follows. A myoelectric reader in the form of a bracelet or a similar system design is worn on the forearm and shoulder and connected to a computer or phone, the computer or phone is configured, calibrated bracelet and actuator as follows. The training set is formed as follows. Using the calibration program, gestures such as “fist”, “three fingers pinch”, “key lock”, “cylindrical gripper”, and others that the user is asked to repeat several times during a certain time, for example, are displayed on the screen; , 5 times in one second, after which the data obtained are used to train the recognition algorithm based on the neural network, as described above. A user profile is created with new weights, which is recorded in the microcontroller of the bracelet, or the recording immediately takes place in the bracelet. Further, the actuator and the bracelet can operate autonomously, based on wireless communication, for example, via Bluetooth 4.0.
Миоэлектрическое устройство считывания можно надеть до, либо после настройки исполнительного механизма благодаря эластичной манжете. The myoelectric reader can be worn before or after adjusting the actuator due to the elastic cuff.
Пользователь может использовать движения, записанные при калибровке. После совершения движения, сигнал регистрируется, преобразуется и классифицируется согласно этапам, описанным выше. Благодаря наличию датчиков, передающих дополнительную информацию от исполнительного механизма, осуществляется обратная связь с пользователем, как описано выше. The user can use the movements recorded during calibration. After the movement, the signal is recorded, converted and classified according to the steps described above. Due to the presence of sensors that transmit additional information from the actuator, feedback is provided to the user, as described above.
ПРИМЕРЫ ОСУЩЕСТВЛЕНИЯ ТЕХНИЧЕСКОГО РЕШЕНИЯ EXAMPLES OF THE IMPLEMENTATION OF THE TECHNICAL SOLUTION
Миоэлектрическое устройство считывания размещается на руке пользователя и одновременно соединяется с персональным компьютером или телефоном, которое является устройством обработки данных. Пользователь, выполняя команды на экране, совершает 14 жестов (например, «Кулак», «Неполный кулак, или цилиндрический хват», «Раскрытие ладони», «Щепоть большим и указательным пальцем», «Щепоть большим и безымянным пальцами», «Поворот ладони на себя», «Поворот ладони от себя», ««Пистолет» - указательный и большой пальцы выпрямлены, остальные прижаты», «Кулак с выпрямленным большим пальцем», «Вращение предплечья на себя», «Вращение предплечья от себя», «Захват компьютерной мыши», «Захват под ключ», «Расслабление»), каждый в течение одной секунды, повторяя их согласно изображениям на экране, формируя таким образом обучающую выборку жестов. The myoelectric reading device is placed on the user's hand and simultaneously connected to a personal computer or telephone, which is a data processing device. The user, performing commands on the screen, makes 14 gestures (for example, "Fist", "Incomplete fist, or cylindrical grip", "Opening the palm", "Pinch the thumb and index finger", "Pinch the thumb and ring finger", "Rotate the palm on yourself "," Turning your palm away from you ",""Pistol" - forefinger and thumb straightened, the rest are pressed "," Fist with straightened thumb "," Rotation of the forearm towards you "," Rotation of the forearm from yourself "," Capture computer mouse "," Capture turnkey "," Relaxation "), each within one second, repeating them according to the images on the screen, thus forming a training sample of gestures.
Другой вариант, когда миоэлектрическое устройство считывания размещается на руке пользователя и одновременно выполняет не только считывание данных, но и обработку и обучение нейронной сети и не только, в дальнейшем может использоваться любой исполнительный механизм, как персональный компьютер или телефон, которые являются устройствами отражения обработанных данных по схватам. В процессе обучения может использоваться просто инструкция о последовательности схватов или исполнительный механизм для наглядности. В дальнейшем пользователь выполняет жесты, которые например отражаются на экране, например 14 жестов (например, «Кулак», «Неполный кулак, или цилиндрический хват», «Раскрытие ладони», «Щепоть большим и указательным пальцем», «Щепоть большим и безымянным пальцами», «Поворот ладони на себя», «Поворот ладони от себя», ««Пистолет» - указательный и большой пальцы выпрямлены, остальные прижаты», «Кулак с выпрямленным большим пальцем», «Вращение предплечья на себя», «Вращение предплечья от себя», «Захват компьютерной мыши», «Захват под ключ», «Расслабление»). Another option is when the myoelectric reading device is placed on the user's hand and at the same time performs not only data reading, but also processing and training of the neural network and not only any actuator, like a personal computer or telephone, which are reflection devices of the processed data, can be used in the future. on the grips. In the process of learning, the instruction can be used simply about the sequence of the tongs or the actuating mechanism for clarity. In the future, the user performs gestures that are reflected on the screen, for example, 14 gestures (for example, “Fist”, “Incomplete fist, or cylindrical grip”, “Opening the palm”, “Pinch with the thumb and index finger”, “Pinch with the thumb and ring finger” "," Turning your palm towards yourself "," Turning your palm away from you "," "Pistol" - index finger and thumb straightened, the rest are pressed "," Fist with a straightened thumb "," Rotation of the forearm towards you "," Rotation of the forearm from yourself "," Capture a computer mouse "," Capture turnkey "," Ra weakening ").
Электроды датчика миоэлектрического устройства считывания регистрируют разность потенциалов, возникающую при сокращении мышц, далее сигнал усиливается в 1000 раз (важно отметить, что усиление может быть как сразу на электроде, так и на АЦП, в последнем случае электрод представляет лишь защищенные пластины, передающие данные на АЦП), фильтруется в полосе 5-500 Гц и оцифровывается в АЦП. Далее, в режиме настройки, оцифрованный сигнал поступает на компьютер. Каждому цифровому отсчету сигнала по каждому жесту ставится в соответствие номер выполняемого жеста для дальнейшего обучения. Данные по каждому жесту соединяются в матрицу, соответственно, при частоте дискретизации, например, 500 или 1000 Гц, имеем набор данных размером 14x1000x8x14000 (14 жестов по 1 секунде х 1000 Герц, 8 - число каналов, 14000 - вектор целей от 1 до 14, присвоенный каждому отсчету номер жеста, по 1000 значений на каждую цель), амплитуда сигнала находится в диапазоне от 100 мкВ до 1 мВ. Затем сигнал сегментируют окнами шириной 25 мс, по 25 отсчетов на сегмент соответственно для частоты дискретизации 500 или 1000 Гц. Далее, находят максимум на каждом сегменте, получают на выходе вектор признаков размером 14x40x8x350 (размерность вектора целей также понижается). Затем данные в полученном векторе центрируются и нормируются, как описано выше. Амплитуда приводится к диапазону [-1 :1] либо остается в размерность разности потенциалов. The electrodes of the sensor of the myoelectric reading device register the potential difference arising during muscle contraction, then the signal is amplified 1000 times (it is important to note that the gain can be either directly on the electrode or on the ADC, in the latter case the electrode is only protected plates transmitting data to ADC), filtered in the band 5-500 Hz and digitized in the ADC. Further, in the setup mode, the digitized signal goes to the computer. For each digital signal readout, for each gesture, the number of the gesture to be completed is assigned for further training. The data for each gesture is connected into a matrix, respectively, at a sampling rate of, for example, 500 or 1000 Hz, we have a data set of 14x1000x8x14000 (14 gestures of 1 second x 1000 Hertz, 8 is the number of channels, 14000 is the target vector from 1 to 14, the number of the gesture assigned to each sample, 1000 values for each target), the signal amplitude is in the range from 100 µV to 1 mV. Then the signal is segmented by windows of 25 ms width, 25 samples per segment, respectively, for a sampling frequency of 500 or 1000 Hz. Further, a maximum is found on each segment, a 14x40x8x350 feature vector is obtained at the output (the dimension of the target vector is also reduced). Then the data in the resulting vector is centered and normalized as described above. The amplitude is reduced to the range [-1: 1] or remains in the dimension of the potential difference.
Таким образом, получают входной вектор признаков для обучения нейронной сети. Обучение происходит согласно описанному выше алгоритму на считывающем устройстве или на другом процессоре. Далее, новые значения весов сети записываются в контроллер системы считывания. После чего пользователь может использовать систему. Данные до сегментации и данные после сегментации сохраняются в базе данных на удаленном компьютере для возможности дальнейшего исследования и для пополнения обучающей выборки нейронной сети. Также далее возможно настроить соответствие жестов, выполняемых пользователем, и хватов, реализуемых исполнительным механизмом в ответ на жест пользователя, подключив исполнительный механизм к компьютеру или напрямую к системе считывания. Thus, an input feature vector is obtained for training the neural network. Learning takes place according to the algorithm described above on a reader or on another processor. Further, the new values of the network weights are written to the readout controller. Then the user can use the system. The data before the segmentation and the data after the segmentation are stored in a database on a remote computer for further study and to replenish the training sample of the neural network. It is also further possible to customize the correspondence of gestures performed by the user and the hooks implemented by the actuating mechanism in response to the user's gesture by connecting the actuating mechanism to the computer or directly to the reading system.
Важно отметить, что количество распознаваемых схватов зависит в первую очередь от шага/перекрытия окна, и от алгоритма усреднения. Например если мы усредняем по 2м секундам, то и распознаем мы 1 жест за 2 секунды, а вот сколько данных мы пошлем на усреднение зависит от шага, если в отсчетах записать то n = fd/m, где п— количество распознанных схватов в секунду, fd— частота дискретизации, m— шаг окна в отсчетах. Можно записать это и через время, тогда n = l/t, где t сдвиг окна в секундах. It is important to note that the number of recognizable tongs depends primarily on the pitch / overlap of the window, and on the averaging algorithm. For example, if we average by 2m, then we recognize 1 gesture in 2 seconds, but how much data we send to averaging depends on the step, if we write in the readings, then n = fd / m, where n is the number of detected grips per second, fd is the sampling frequency, m is the window pitch in samples. You can write this in time, then n = l / t, where t is the window shift in seconds.
Затем при эксплуатации системы пользователь выполняет любой из четырнадцати жестов, затем происходит регистрация и обработка сигнала. Электроды датчика регистрируют разность потенциалов, возникающую при сокращении мышц, далее сигнал усиливается в 1000 раз, фильтруется в полосе 5-500 Гц и оцифровывается в АЦП. Далее, сигнал поступает на микроконтроллер системы считывания. Набирается число данных, равное ширине окна (25 мс), соответственно, при частоте дискретизации, например, 500 или 1000 Гц, имеем вектор данных размером 25x8 (25 отсчетов за 25 мс, 8 - число каналов), амплитуда сигнала находится в диапазоне от 100 мкВ до 1 мВ. Далее, находят максимум текущего сегмента, получают на выходе вектор размером 1x8. Затем данные в полученном векторе центрируются и нормируются, как описано выше. Амплитуда приводится к диапазону [-1 :1] либо остается в размерность разности потенциалов. Далее вектор подается на вход нейронной сети, которая определяет класс жеста. На основе результата классификации создается управляющая команда и передается на исполнительный механизм. Результирующий схват, которые исполнительный механизм переводит в нужное действие может быть, как аналогичным выполненному пользователю, так и иным, заданным в настройках изначально. Важно отметить, что для детей может использоваться и иное число датчиков, число каналов, например 4 или 5. Дополнительно помимо данных ЭМГ на считывающем устройстве используются данные гироскопа и акселерометра и при необходимости, они могу передаваться отдельно либо через нейросетевую хэш-функцию на исполнительный механизм, который при необходимости может передавать информацию об обратной связи и запускать на миоэлектрическом устройстве считывания вибромотор и сигнализировать пользователю о чем-то. Then, when operating the system, the user performs any of the fourteen gestures, then the signal is registered and processed. The sensor electrodes register a potential difference arising from muscle contraction, then the signal is amplified 1000 times, filtered in the 5-500 Hz band and digitized into the ADC. Next, the signal goes to the microcontroller of the reading system. The number of data equal to the window width (25 ms) is typed, respectively, at a sampling frequency of, for example, 500 or 1000 Hz, we have a data vector of 25x8 (25 samples per 25 ms, 8 is the number of channels), the signal amplitude is in the range of µV to 1 mV. Next, find the maximum of the current segment, get a 1x8 vector at the output. Then the data in the resulting vector is centered and normalized as described above. The amplitude is reduced to the range [-1: 1] or remains in the dimension of the potential difference. Next, the vector is fed to the input of the neural network, which defines a class of gesture. Based on the result of the classification, a control command is created and transmitted to the executive mechanism. The resulting gripper, which the actuator translates into the desired action can be as similar to the executed user, as well as to the other one specified in the settings initially. It is important to note that for children another number of sensors can be used, the number of channels, for example, 4 or 5. In addition to the EMG data, the gyro and accelerometer data are used on the reading device and, if necessary, they can be transmitted separately or via a neural network hash function which, if necessary, can transmit feedback information and trigger a vibration motor on the myoelectric reading device and signal the user about something.
Полученная информация по схватам и дополнительная информация передается на исполнительные механизмы. Пример управления виртуальной реальностью происходит следующим образом: данные по схватам и дополнительная информация от миоэлектрического устройства, то есть более точное определение положения руки или ноги, передают на очки виртуальной реальности соответствующую команду, либо получает информацию по обратной связи. Важно, что миоэлектрическое устройство считывания помимо данных по номерам схватов отправляет на очки информацию с гироскопа и акселерометра, что позволяет лучше определить положение руки в пространстве. Также очки виртуальной реальности способны передавать информацию обратной связи и запускать на миоэлектрическом устройстве считывания вибромотор, что позволяет создавать обратную связь, возможно также дополнительное расположение и других датчиков обратной связи и сенсоров. The obtained information on grippers and additional information is transmitted to the actuators. An example of virtual reality management occurs as follows: data on grips and additional information from a myoelectric device, that is, a more precise determination of the position of the arm or leg, transmit the corresponding command to the virtual reality glasses, or receive information by feedback. It is important that the myoelectric reading device, in addition to the data on the numbers of the grippers, sends information from the gyroscope and accelerometer to the glasses, which makes it possible to better determine the position of the arm in space. Also, virtual reality glasses are capable of transmitting feedback information and launching a vibration motor on the myoelectric reading device, which allows you to create feedback, it is also possible to have additional positioning of other feedback sensors and sensors.
Управление радиоуправляемой моделью происходит следующим образом: после запуска обоих устройств, с подключением без посредников, устройство беспроводной связи миоэлектрическая система считывания подключается к устройству связи исполнительного механизма, в нашем случае для связи требуется знание мастером названия и пароля устройства связи исполнительного механизма. В том случае, если устройства связаны через посредника (компьютер, телефон), то устройство-посредник участвует в установке связи между приборами. Миоэлектрическое устройство считывания осуществляет регистрацию и фильтрацию электромиограммы (ЭМГ), определяет положение руки и в зависимости от него отправляет на модель соответствующую команду. Список команд: F -модель начинает движение вперёд пока не получит очередную команду, В - модель начинает движение назад пока не получит очередную команду, L - модель начинает движение налево пока приходит данная команда, после её окончания продолжает действие, которое выполняло до получения команды (движение вперёд, назад, бездействие), R - модель начинает движение направо пока приходит данная команда, после её окончания продолжает действие, которое выполняло до получения команды (движение вперёд, назад, бездействие), S - остановка модели. Модель получает команду, микросхема обрабатывает её в зависимости от команды, проводит манипуляции над моторчиками: начать вращение, изменить направление вращения, остановить. После выполнения текущей команды устройство готово к выполнению следующего. Также с модели может приходить на браслет информация обратной связи и запускать вибромотор на браслете или иные типы датчиков. The radio-controlled model is controlled as follows: after launching both devices with connecting without intermediaries, the wireless communication device connects the myoelectric reading system to the actuator communication device, in our case the communication requires the master to know the name and password of the communication device of the actuator. In the event that the devices are connected through an intermediary (computer, telephone), the intermediary device participates in the establishment of communication between the devices. The myoelectric reading device records and filters the electromyogram (EMG), determines the position of the arm, and, depending on it, sends the appropriate command to the model. List of commands: F-model starts moving forward until it receives the next command, B - the model starts moving back until it receives the next command, L - the model starts moving to the left until it arrives this command, after its termination, continues the action that it performed before receiving the command (moving forward, backward, inaction), R - the model starts moving to the right until the given command arrives, after its completion continues the action that it performed before receiving the command (forward movement, backward , inaction), S - stopping the model. The model receives the command, the microcircuit processes it depending on the command, performs manipulations on the motors: start rotation, change the direction of rotation, stop. After executing the current command, the device is ready for the next. Also, feedback information from the model can be sent to the bracelet and start the vibration motor on the bracelet or other types of sensors.
Также возможен случай реализации системы реабилитации с очками виртуальной реальности, так и без них, а именно, когда происходит снятие данных например, по схватам с предплечья или плеча руки, и передача на компьютер или телефон для выполнения определенных схватов или движений в пространстве, движений, на компьютере или телефоне запущена программа, которая получает информацию и сигнализирует об успешном или неуспешном выполнении задания, возможна подача сигнала обратной связи на миоэлектрическое устройство. It is also possible that the rehabilitation system is implemented with virtual reality glasses, and without them, namely, when data is being taken, for example, from the forearm or shoulder arm, and transferred to a computer or phone to perform certain arms or movements in space, movements, A program is running on a computer or phone that receives information and signals the success or unsuccessful completion of the task, and it is possible to send a feedback signal to the myoelectric device.
Важно отметить, что миоэлектрическое устройство считывания также имеет режим работы электромиографа и вывода данных ЭМГ на циферблат миоэлектрическое устройство считывания или на экран исполнительного механизма, как компьютер или телефон, что лучше позволяет определить уровень сигнала от каждой мышцы или группы мышц. It is important to note that the myoelectric reading device also has an electromyograph and EMG data output on the dial of the myoelectric reading device or on the screen of the actuator, like a computer or phone, which makes it possible to determine the signal level from each muscle or muscle group.
ИСПОЛЬЗУЕМЫЕ ИСТОЧНИКИ ИНФОРМАЦИИ SOURCES OF INFORMATION
1. Коуэн X. Л., Брумлик Дж. Руководство по электромиографии и электродиагностике: 1. Cowan X. L., Brumlik J. Manual electromyography and electrodiagnostics:
Пер. с англ.-М.: Медицина, 2005.- 192 с.;  Per. from the English. -M .: Medicine, 2005.- 192 pp .;
2. Ivaniuk Natallia, Ponimash Zahar, Karimov Vladimir “Art of Recognition the Electromyographic Signals for Control of the Bionic Artificial Limb of the Hand”, International Conference of Artificial Intelligence, Medical Engineering, Education AIMEE 2017: Advances in Artificial Systems for Medicine and Education, pp 176-181 https://link.springer.com/chapter/l0.l007/978-3-319-67349-3 16  2. Ivaniuk Natallia, Karimov Vladimir, “Karlinsky Zahar”, Karimov Vladimir “AIMEE 2017”, International Engineering Conference on Artificial Intelligence, Medical Engineering, Education AIMEE 2017 , pp 176-181 https://link.springer.com/chapter/l0.l007/978-3-319-67349-3 16
3. Englehart K, Hudgins В: A robust, real-time control scheme for multifunction myoelectric control. IEEE Trans Biomed Eng 2003, 50(7):848-854; 4. Van den Broek EL, Lis’y V, Janssen JH, Westerink JHDM, Schut MH, Tuinenbreijer K: Affective Man-machine Interface: Unveiling human emotions through biosignals. Biomedical Engineering Systems and Technologies: Communications in Computer and Information Science. Berlin, Germany: Springer Verlag; 2010; 5. Maria C. Selection of suitable hand gestures for reliable myoelectric human computer interface /3. Englehart K, Hudgins Q: A robust, real-time control scheme for multifunction myoelectric control. IEEE Trans Biomed Eng 2003, 50 (7): 848-854; 4. Van den Broek EL, Lis'y V, Janssen JH, Westerink JHDM, Schut MH, Tuinenbreijer K: Affective Man-machine Interface: Unveiling human emotions through biosignals. Biomedical Engineering Systems and Technologies: Communications in Computer and Information Science. Berlin, Germany: Springer Verlag; 2010; 5. Maria C. Selection of suitable for human hand gestures
Maria Castro, Sridhar P Arjunan, Dinesh К Kumar // BioMedical Engineering OnLine. -2015. - 14:30 (9 April 2015) available at: http://www.biomedical-engineering-online.eom/content/l4/l/30; Maria Castro, Sridhar P Arjunan, Dinesh K Kumar // BioMedical Engineering OnLine. -2015. - 14:30 (9 April 2015) available at: http: //www.biomedical-engineering-online.eom/content/l4/l/30;
6. Huihui L. Relationship of EMG/SMG features and muscle strength level: an exploratory study on tibialis anterior muscles during plantar-flexion among hemiplegia patients / Huihui Li, Guoru Zhao, Yongjin Zhou, Xin Chen, Zhen Ji, Lei Wang // BioMedical Engineering OnLine. -2014. 13:5 (27 January 2014) available at: http://www.biomedical-engineering-online.eom/content/l3/l/5; 6. Huihui L. Relationship of EMG / SMG features and muscle strength levels during the plantar-flexion among hemiplegia patients / Li Huihui, Guoru Zhao, Yongjin Zhou, Xin Chen, Zhen Ji, Lei Wang // BioMedical Engineering OnLine. -2014. 13: 5 (27 January 2014) available at: http: //www.biomedical-engineering-online.eom/content/l3/l/5;
7. Saichon J, Chidchanok L, Suphakant P: A very fast neural learning for classification using only new incoming datum. IEEE Trans Neural Netw 2010. 7. Saichon J, Chidchanok L, Suphakant P: A ditum. IEEE Trans Neural Netw 2010.

Claims

ФОРМУЛА FORMULA
1. Способ управления электронными устройствами с помощью электромиографического устройства считывания, включающий в себя этапы на которых:  1. The method of controlling electronic devices using an electromyographic reader, comprising the steps of:
- регистрируют, по меньшей мере, один ЭМГ-сигнал пользователя при помощи электромиографического устройства считывания; - register at least one EMG signal of the user using an electromyographic reader;
- осуществляют первичную обработку полученного, по меньшей мере, одного ЭМГ-сигнала пользователя посредством неперекрывающейся сегментации ЭМГ -сигнала; - carry out the initial processing of the received at least one EMG signal of the user through non-overlapping segmentation of the EMG signal;
- для каждого полученного сегмента ЭМГ-сигнала формируют набор жестовых признаков на основе квадрата дисперсии ЭМГ -сигнала для классификации жестов; - передают набор признаков ЭМГ-сигнала каждого сегмента по каналу передачи данных в базу данных нейросети и в вычислительную часть устройства; - for each received segment of the EMG signal, a set of gestures is formed on the basis of the square of the variance of the EMG signal for the classification of gestures; - transmit a set of signs of the EMG signal of each segment through the data transmission channel to the neural network database and to the computing part of the device;
- на основании полученного набора признаков нейросетевая хеш-функция формирует вторичное признаковое пространство данных, которые подаются на метрический классификатор и описывают по меньшей мере один жест; - определяют намерение пользователя в части совершения жеста, при котором определяют тип жеста на основании сформированного набора признаков ЭМГ сигнала посредством использования нейросетевой хэш-функции и метрического классификатора; - based on the obtained feature set, the neural network hash function forms a secondary attribute data space that is fed to the metric classifier and describes at least one gesture; - determine the user's intention in the part of making a gesture, which determines the type of gesture on the basis of the generated set of features of the EMG signal by using the neural network hash function and the metric classifier;
- формируют управляющий сигнал на основании определенного типа жеста; - form a control signal based on a certain type of gesture;
- передают сформированный управляющий сигнал и также дополнительную информацию от датчиков типа гироскоп и акселерометр электромиографического устройства считывания по каналу передачи данных в исполнительный механизм; - transmit the generated control signal and also additional information from sensors of the gyroscope type and accelerometer of the electromyographic reader through the data transmission channel to the actuator;
- инициируют выполнение действия исполнительного механизма на основании полученного управляющего сигнала и дополнительной информации с датчиков; - initiate the execution of the action of the actuator on the basis of the received control signal and additional information from the sensors;
- получают обратную связь от исполнительного механизма, при этом запускается вибромотор на электромиографическом устройстве считывания. - receive feedback from the actuator, this starts the vibration motor on the electromyographic reader.
2. Способ по п. 1, характеризующийся тем, что при регистрации ЭМГ-сигнала регистрируется разность потенциалов в низкочастотном диапазоне, возникающая в нервно- мышечной ткани. 2. A method according to claim 1, characterized in that when registering an EMG signal, a potential difference is recorded in the low frequency range that occurs in the neuromuscular tissue.
3. Способ по п. 1, характеризующийся тем, что при получении ЭМГ-сигнала миоэлектрическое устройство считывания осуществляют фильтрацию сигнала.  3. The method according to claim 1, characterized in that upon receipt of the EMG signal, the myoelectric reading device filters the signal.
4. Способ по п. 1, характеризующийся тем, что при сегментации ЭМГ-сигнала для каждого сегмента определяют квадрат дисперсии ЭМГ -сигнала и его максимальное значение.  4. The method according to claim 1, characterized in that during the segmentation of the EMG signal for each segment, determine the square of the dispersion of the EMG signal and its maximum value.
5. Способ по п. 1, характеризующийся тем, что обработка ЭМГ-сигнала происходит в три уровня.  5. The method according to claim 1, characterized in that the processing of the EMG signal occurs in three levels.
6. Способ по п. 1, характеризующийся тем, что используют искусственную нейронную.  6. The method according to p. 1, characterized in that use artificial neural.
7. Способ по п. 1, характеризующийся тем, что во входном слое для искусственной нейронной сети количество нейронов равно количеству каналов.  7. The method according to claim 1, characterized in that in the input layer for an artificial neural network, the number of neurons is equal to the number of channels.
8. Способ по п. 1, характеризующийся тем, что в выходном слое для искусственной нейронной сети число нейронов равно размерности пространства признаков для метрического классификатора.  8. The method according to claim 1, characterized in that in the output layer for an artificial neural network the number of neurons is equal to the dimension of the feature space for the metric classifier.
9. Способ по п. 1, характеризующийся тем, что обучение метрического классификатора происходит на электромиографическом устройстве считывания, но задействование исполнительного механизма возможно при необходимости для наглядного отражения жестов либо при необходимости выполнения определенных дополнительных расчетов.  9. The method according to claim 1, characterized in that the metric classifier is trained on an electromyographic reader, but the activation of the actuator is possible, if necessary, to visually reflect gestures or, if necessary, to perform certain additional calculations.
10. Способ по п. 1, характеризующийся тем, что содержит функционал по дополнительному сбору данных с других аналогичных датчиков и использование их совместно с нейросетевой хэш-функцией.  10. The method according to claim 1, characterized in that it contains functionality for additional data collection from other similar sensors and using them in conjunction with a neural network hash function.
1 1. Способ по п. 1, характеризующийся тем, характеризующийся тем, что содержит функционал обратной связи с исполнительным механизмом, который позволяет с помощью вибромотора передавать информацию.  1 1. The method according to claim 1, characterized in that it is characterized by the fact that it contains a feedback functional with an actuator that allows you to transmit information using a vibrator.
12. Система управления электронными устройствами с помощью электромиографического устройства считывания, содержащая: электромиографическое устройство считывания ЭМГ-сигналов пользователя, выполненное с возможностью регистрации и первичной обработки ЭМГ-сигнала пользователя посредством неперекрывающейся сегментации ЭМГ -сигнала; при этом электромиограф ическое устройство считывания ЭМГ-сигналов пользователя содержит, по меньшей мере один миоэлектрический датчик выполненный с возможностью регистрации ЭМГ-сигналов, устройство передачи данных, АЦП, гироскоп, акселерометр, вибромотор, аккумуляторы и микроконтроллер выполненный с возможностью формирования набора жестовых признаков на основе квадрата дисперсии ЭМГ-сигнала и нейросетевой хэш- функции ЭМГ-сигнала для классификации жестов согласно этапам способа по п.1; исполнительный механизм выполненный с возможностью реализации действий на основании полученного управляющего сигнала и дополнительной информации от гироскопа и акселерометра и выдачи обратной связи на электромиографическое устройство считывания ЭМГ -сигналов пользователя; при этом исполнительный механизм может выглядеть в виде шлема или очков с контроллером на устройстве виртуальной реальности, радиоуправляемая модель, управляемый мобильный телефон, компьютер и т.д. 12. The control system of electronic devices using an electromyographic reader, comprising: an electromyographic reader of the user's EMG signals, configured to record and preprocess the user's EMG signal by non-overlapping segmentation of the EMG signal; while the electromyographic reader of the user’s EMG signals contains at least one myoelectric sensor capable of detecting the EMG signals, a data transmission device, an ADC, a gyroscope, an accelerometer, a vibration motor, batteries, and a microcontroller configured to form a set of gestures based on the square of the dispersion of the EMG signal and the neural network hash function of the EMG signal for the classification of gestures according to the steps of the method according to claim 1; an actuator adapted to implement actions based on the received control signal and additional information from the gyroscope and accelerometer and output feedback to the electromyographic reader of the EMG signals of the user; at the same time, the actuator can look like a helmet or glasses with a controller on a virtual reality device, a radio-controlled model, a controlled mobile phone, a computer, etc.
13. Система по п. 12, характеризующаяся тем, что электромиографическим устройство считывания ЭМГ-сигналов пользователя является лёгкосъёмный эластичный браслет либо схожий прибор по конструкции. 13. The system according to claim 12, characterized in that the electromyographic device for reading the user's EMG signals is a removable elastic bracelet or a similar device in construction.
14. Система по п. 13, характеризующаяся тем, что электромиографическое устройство считывания ЭМГ-сигналов пользователя содержит электроды для регистрации активности нервно-мышечной системы, которые могут быть с отдельным усилителем на каждом датчике или иметь общий усилитель на АЦП, а сами датчики могут не использовать усилитель.  14. The system of claim 13, characterized in that the electromyographic reader of the user's EMG signals contains electrodes for recording the activity of the neuromuscular system, which may be with a separate amplifier on each sensor or have a common amplifier on the ADC, and the sensors themselves may not use booster.
15. Система по п. 13, характеризующаяся тем, что электромиографическое устройство считывания ЭМГ-сигналов пользователя размещается на предплечье или на плече для руки, либо на бедре или икрах ноги, а также в схожих местах.  15. The system of claim 13, characterized in that the electromyographic reader of the user's EMG signals is placed on the forearm or on the shoulder for the arm, or on the thigh or calves of the leg, as well as in similar places.
16. Система по п. 13, характеризующаяся тем, что миоэлектрическое устройство считывания содержит датчик беспроводной передачи данных.  16. The system of claim 13, characterized in that the myoelectric reading device comprises a wireless data transmission sensor.
17. Система по п. 13, характеризующаяся тем, что электромиографическое устройство считывания ЭМГ-сигналов пользователя содержит датчик электромиограммы с операционными усилителями либо без них и/или фильтр нижних и верхних частот и/или аналого-цифровой преобразователь и микропроцессор и/или преобразователь напряжения и/или аккумулятор и/или вибромотор и/или гироскоп и/или акселерометр. 17. The system of claim 13, characterized in that the electromyographic device for reading the user's EMG signals contains an electromyogram sensor with or without operational amplifiers and / or a low and high pass filter and / or an analog-to-digital converter and a microprocessor and / or voltage converter and / or battery and / or vibration motor and / or gyroscope and / or accelerometer.
18. Система по п. 13, характеризующаяся тем, что электромиограф ическое устройство считывания содержит вибромотор для обратной связи с исполнительным механизмом. 18. The system of claim 13, characterized in that the electromyograph of the reading device comprises a vibration motor for feedback with the actuator.
19. Система по п. 13, характеризующаяся тем, что контроллер включает в себя блок обработки и блок интерфейса, который физически отделен от блока обработки, причем вышеуказанные блоки могут соединяться гибким шлейфом.  19. The system according to claim 13, characterized in that the controller includes a processing unit and an interface unit that is physically separated from the processing unit, and the above units can be connected with a flexible loop.
20. Система по п. 13, характеризующаяся тем, что электромиограф ическое устройство считывания ЭМГ-сигналов пользователя может работать в режиме электромиографа и вывода данных ЭМГ с электромиографического устройства считывания на циферблат электромиографического устройства считывания или на экран исполнительного механизма.  20. The system of claim 13, characterized in that the electromyographic reader of the user's EMG signals can operate in the electromyograph mode and output the EMG data from the electromyographic reader on the dial of the electromyographic reader or on the screen of the actuator.
PCT/RU2017/000993 2017-12-27 2017-12-27 Method and system for controlling electronic devices with the aid of an electromyographic reading device WO2019132692A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2017146206 2017-12-27
RU2017146206A RU2683859C1 (en) 2017-12-27 2017-12-27 Method and system for controlling electronic devices by electromyographic reading device

Publications (1)

Publication Number Publication Date
WO2019132692A1 true WO2019132692A1 (en) 2019-07-04

Family

ID=66090084

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2017/000993 WO2019132692A1 (en) 2017-12-27 2017-12-27 Method and system for controlling electronic devices with the aid of an electromyographic reading device

Country Status (2)

Country Link
RU (1) RU2683859C1 (en)
WO (1) WO2019132692A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111700718A (en) * 2020-07-13 2020-09-25 北京海益同展信息科技有限公司 Holding posture identifying method, holding posture identifying device, artificial limb and readable storage medium
CN111938660A (en) * 2020-08-13 2020-11-17 电子科技大学 Stroke patient hand rehabilitation training action recognition method based on array myoelectricity
CN112842368A (en) * 2021-02-01 2021-05-28 上海龙旗科技股份有限公司 System and method for identifying surface electromyographic signals
CN113589920A (en) * 2020-04-30 2021-11-02 北京海益同展信息科技有限公司 Gesture recognition method, man-machine interaction method, device, equipment and storage medium

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2725789C1 (en) * 2019-04-17 2020-07-06 Федеральное государственное казенное образовательное учреждение высшего образования "Калининградский пограничный институт Федеральной службы безопасности Российской Федерации" Method of processing analogue signal arrays
RU196931U1 (en) * 2019-10-21 2020-03-23 Федеральное государственное автономное образовательное учреждение высшего образования "Белгородский государственный национальный исследовательский университет" (НИУ "БелГУ") Muscle activity analyzer
RU201260U1 (en) * 2020-07-31 2020-12-08 Общество с ограниченной ответственностью "Био Диджитал Технолоджи" A device for recognizing gestures by detecting and analyzing muscle activity by electromyography
RU204901U1 (en) * 2020-09-29 2021-06-17 Федеральное государственное автономное образовательное учреждение высшего образования "Московский политехнический университет" (Московский Политех) MODULE FOR REGISTRATION AND PRIMARY PROCESSING OF BIOPOTENTIALS
RU2766764C1 (en) * 2021-03-04 2022-03-15 Федеральное государственное бюджетное образовательное учреждение высшего образования «Юго-Западный государственный университет» (ЮЗГУ) (RU) Method for assessing muscular fatigue based on control of synergy patterns and device for implementation thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011140303A1 (en) * 2010-05-05 2011-11-10 University Of Maryland, College Park Time domain-based methods for noninvasive brain-machine interfaces
EP2486897A2 (en) * 2001-10-29 2012-08-15 Duke University Closed loop brain machine interface
US20160195928A1 (en) * 2015-01-02 2016-07-07 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
US20160313801A1 (en) * 2015-01-02 2016-10-27 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2372880C1 (en) * 2008-06-04 2009-11-20 Алексей Леонидович Косик Coordinate input device for remote hands-free computer control
WO2015103565A1 (en) * 2014-01-05 2015-07-09 Vorbeck Materials Coated leather articles and method of preparation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2486897A2 (en) * 2001-10-29 2012-08-15 Duke University Closed loop brain machine interface
WO2011140303A1 (en) * 2010-05-05 2011-11-10 University Of Maryland, College Park Time domain-based methods for noninvasive brain-machine interfaces
US20160195928A1 (en) * 2015-01-02 2016-07-07 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
US20160313801A1 (en) * 2015-01-02 2016-10-27 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589920A (en) * 2020-04-30 2021-11-02 北京海益同展信息科技有限公司 Gesture recognition method, man-machine interaction method, device, equipment and storage medium
CN111700718A (en) * 2020-07-13 2020-09-25 北京海益同展信息科技有限公司 Holding posture identifying method, holding posture identifying device, artificial limb and readable storage medium
CN111938660A (en) * 2020-08-13 2020-11-17 电子科技大学 Stroke patient hand rehabilitation training action recognition method based on array myoelectricity
CN112842368A (en) * 2021-02-01 2021-05-28 上海龙旗科技股份有限公司 System and method for identifying surface electromyographic signals

Also Published As

Publication number Publication date
RU2683859C1 (en) 2019-04-02

Similar Documents

Publication Publication Date Title
RU2683859C1 (en) Method and system for controlling electronic devices by electromyographic reading device
RU2635632C1 (en) Method and system of intellectual bionic limb control
KR102302640B1 (en) Detecting and using body tissue electrical signals
Jacob et al. Artificial muscle intelligence system with deep learning for post-stroke assistance and rehabilitation
Ferreira et al. Human-machine interfaces based on EMG and EEG applied to robotic systems
US20190357787A1 (en) Methods and apparatus for providing sub-muscular control
Birch et al. Initial on-line evaluations of the LF-ASD brain-computer interface with able-bodied and spinal-cord subjects using imagined voluntary motor potentials
Tonet et al. Defining brain–machine interface applications by matching interface performance with device requirements
Milosevic et al. Design challenges for wearable EMG applications
Bhattacharyya et al. A synergetic brain-machine interfacing paradigm for multi-DOF robot control
US11179066B2 (en) Real-time spike detection and identification
Song et al. A practical EEG-based human-machine interface to online control an upper-limb assist robot
Tang et al. Wearable supernumerary robotic limb system using a hybrid control approach based on motor imagery and object detection
Jiang et al. Bio-robotics research for non-invasive myoelectric neural interfaces for upper-limb prosthetic control: a 10-year perspective review
CN113871028A (en) Interactive rehabilitation system based on myoelectric intelligent wearing
Xiong et al. An user-independent gesture recognition method based on sEMG decomposition
Kastalskiy et al. A neuromuscular interface for robotic devices control
KR102276991B1 (en) Apparatus and method for controlling wearable robot by detecting motion intention of users based on brain machine interface
Choudhary et al. A machine learning approach to aid paralysis patients using EMG signals
Kumar et al. Human-computer interface technologies for the motor impaired
Jo et al. EEG-EMG hybrid real-time classification of hand grasp and release movements intention in chronic stroke patients
Lew et al. Biofeedback Upper Limb Assessment Using Electroencephalogram, Electromyographic and Electrocardiographic with Machine Learning in Signal Classification.
Gopichand et al. Human–machine interface for wheelchair control using sEMG signals
Ahmed et al. A non Invasive Brain-Computer-Interface for Service Robotics
Serruya et al. Design principles of a neuromotor prosthetic device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17936878

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19.11.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 17936878

Country of ref document: EP

Kind code of ref document: A1