RU2704497C1 - Method for forming brain-computer control system - Google Patents

Abstract

FIELD: computer equipment.

SUBSTANCE: result is achieved by preliminary determination of locations of electrodes, which can be used to determine control patterns and detecting control patterns which can be confidently used as control commands.

EFFECT: technical result consists in providing the possibility of forming influences that control electronic devices of users who do not have the possibility of confident use of speech and movements of extremities.

5 cl, 14 dwg, 5 tbl

Description

ОБЛАСТЬ ТЕХНИКИFIELD OF TECHNOLOGY

Изобретение относится к области вычислительной техники и предназначено для обеспечения возможности формирования воздействий, управляющих электронными устройствами пользователей, не имеющих возможностей уверенного использования речи и движений конечностей.The invention relates to the field of computer technology and is intended to provide the possibility of forming impacts that control electronic devices of users who do not have the ability to confidently use speech and limb movements.

УРОВЕНЬ ТЕХНИКИBACKGROUND

Известны системы, описанные в патентных заявках КНР CN 104571504 (А) от 29.04.2015 и CN 107132915 (А) от 09.05.2017, в которых для управления используются воображаемые движения конечностей пользователя, при этом обе системы используют специальные алгоритмы для повышения точности определения воображаемых движений по электрической активности мозга. Основным недостатком указанных систем является отсутствие обратной связи, и ограничения, наложенные возможностью использования для управления только сигналов, связанных с воображаемыми конечностями.Known systems described in patent applications of the People's Republic of China CN 104571504 (A) from 04/29/2015 and CN 107132915 (A) from 05/09/2017, in which the imaginary movements of the limbs of the user are used to control, while both systems use special algorithms to increase the accuracy of determining imaginary movements in the electrical activity of the brain. The main disadvantage of these systems is the lack of feedback, and the restrictions imposed by the ability to use to control only signals associated with imaginary limbs.

Наиболее близким к предложенному техническим решением является система по патенту РФ RU 2622206 (В) от 13.06.2017, предназначенная для реабилитации постинсультных и посттравматических пациентов с использованием интерфейса мозг-компьютер, в которой предъявляю пользователю задания по кинестетическому воображению движения конечности, производят анализ паттернов мозговой активности пользователя, возникающих при воображении движения, передачу этих данных в компьютер для выделения сигналов, ответственных за воображение движения, предъявляют пользователю по зрительной обратной связи результатов распознавания выполняемого задания в виде метки на экране монитора, по изменению которой определяют правильность выполнения задания. Система не учитывает особенности локализации повреждений мозга у пользователей и не обеспечивает возможность формирования сигналов управления, для обеспечения движений конечностей в случае невозможности воображения пользователем движения конечности.Closest to the proposed technical solution is the system according to the patent of the Russian Federation RU 2622206 (B) dated 06/13/2017, intended for the rehabilitation of post-stroke and post-traumatic patients using the brain-computer interface, in which I present the user with the kinesthetic imagination of limb movement, they analyze brain patterns user activity arising from the imagination of movement, the transfer of this data to a computer to highlight the signals responsible for the imagination of movement, show gender zovatelyu of visual feedback for the assignment of recognition results as a mark on the monitor which define the change of the assignment is correct. The system does not take into account the features of the localization of brain damage in users and does not provide the ability to generate control signals to provide limb movements in case it is impossible for the user to imagine limb movement.

Для устранения указанных выше недостатков систем, известных из уровня техники, а также достижения технического результата, заключающегося в возможности построения универсальной системы управления мозг-компьютер, в которой отсутствуют ограничения как по количеству управляющих команд, так и по использованию команд в интересах пользователя, предложено настоящее изобретение. Кроме того, задачей настоящего изобретения является преодоление указанных недостатков, и обеспечение возможности коммуникации с внешним миром и управления сервисными устройствами для пациентов без использования движений и функций речи, а также упрощение использования средств коммуникации. При этом обеспечивается возможность использования изобретения в качестве средства для ускорения социализации и повышения эффективности реабилитационных мероприятий.To eliminate the above drawbacks of systems known from the prior art, as well as to achieve a technical result consisting in the possibility of constructing a universal brain-computer control system, in which there are no restrictions both in the number of control commands and in the use of commands in the interests of the user, the present invention. In addition, the object of the present invention is to overcome these drawbacks, and to enable communication with the outside world and control service devices for patients without using the movements and functions of speech, as well as simplifying the use of communication tools. At the same time, it is possible to use the invention as a means to accelerate socialization and increase the effectiveness of rehabilitation measures.

СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

Изобретение характеризуется тем, что для построения системы управления мозг-компьютер, содержащей шлем с гнездами для установки системы электродов, усилитель биосигналов, формируемых на электродах, блок обработки биосигналов и блок формирования сигналов управления, где в способе формирования сигналов управления,The invention is characterized in that for constructing a brain-computer control system comprising a helmet with sockets for installing an electrode system, an amplifier for biosignals generated on the electrodes, a biosignals processing unit and a control signal generating unit, where, in the method for generating control signals,

размещают на голове пользователя пробную систему контактных электродов с повышенной плотностью расположения электродов для измерения потенциалов головного мозга, используемых в качестве биосигналов;place on the user's head a test system of contact electrodes with an increased density of electrodes for measuring the potentials of the brain used as biosignals;

предъявляют пользователю зрительные стимулы из заранее заданного набора стимулов и одновременно регистрируют потенциалы, наводимые на электродах;present visual stimuli to the user from a predetermined set of stimuli and simultaneously record potentials induced on the electrodes;

выявляют специфические паттерны потенциалов головного мозга, возникающие при предъявлении стимулов;identify specific patterns of brain potentials that occur when stimuli are presented;

из заранее заданного набора стимулов выбирают специфические стимулы, при предъявлении которых формируются специфические паттерны потенциалов головного мозга;from a predetermined set of stimuli, specific stimuli are selected, upon presentation of which specific patterns of brain potentials are formed;

для специфических паттернов определяют места расположения специфических электродов, потенциалы которых обеспечивают возможность выявления специфических паттернов;for specific patterns determine the location of specific electrodes, the potentials of which provide the ability to identify specific patterns;

заменяют пробную систему контактных электродов на шлем с гнездами для установки электродов, с пониженной плотностью электродов, в котором по крайней мере часть электродов расположена в местах расположения специфических электродов;replace the test system of contact electrodes with a helmet with slots for installing electrodes, with a reduced density of electrodes, in which at least a portion of the electrodes is located at the locations of specific electrodes;

при использовании шлема, обеспечивающего установку электродов в местах расположения специфических электродов, предъявляют пользователю специфические стимулы и отбирают уточненные специфические стимулы, при предъявлении пользователю которых формируются повторяющиеся для каждого стимула, и отличающиеся от других стимулов паттерны потенциалов головного мозга;when using a helmet that provides the installation of electrodes at specific electrode locations, specific stimuli are presented to the user and specified specific stimuli are selected, upon presentation of which repeated patterns for each stimulus are formed, and patterns of brain potentials differing from other stimuli;

предъявляют пользователю понятийные стимулы, соответствующие уточненным специфическим стимулам, с возможностью представления пользователем образа специфического стимула, и регистрируют электрическую активность мозга при предъявлении пользователю понятийного стимула;present to the user conceptual stimuli corresponding to the specified specific stimuli, with the possibility of presenting the image of a specific stimulus by the user, and register the electrical activity of the brain upon presentation of the conceptual stimulus to the user;

отбирают управляющие стимулы, соответствующие понятийным стимулам, такие, что при предъявлении пользователю понятийного стимула формируется управляющий паттерн, тождественный паттерну электрической активности мозга, соответствующий специфическому стимулу, соответствующему понятийному стимулу;selecting control stimuli corresponding to conceptual stimuli, such that upon presentation of a conceptual stimulus to the user, a control pattern is generated that is identical to the pattern of brain electrical activity corresponding to a specific stimulus corresponding to the conceptual stimulus;

для отобранных управляющих стимулов формируют обучающую последовательность операций, заключающуюся в том, что регистрируют электрическую активность мозга, при выявлении паттерна потенциала головного мозга формируют образ стимула, соответствующего отобранному управляющему стимулу, предъявляют пользователю сформированный образ стимула, соответствующий паттерну потенциала головного мозга;a training sequence of operations is formed for the selected control stimuli, which consists in registering the electrical activity of the brain; when a pattern of the potential of the brain is detected, a stimulus image corresponding to the selected control stimulus is generated, the user is presented with a generated stimulus image corresponding to the brain potential pattern;

повторяют обучающую последовательность операций по крайней мере двукратного выявления паттернов электрической активности головного мозга, для каждого из отобранных стимулов;repeating the training sequence of operations for at least two-fold detection of patterns of electrical activity of the brain for each of the selected stimuli;

назначают управляющие паттерны, соответствующие стимулам из числа отобранных стимулов командам управления системы управления мозг-компьютер;designate control patterns corresponding to the stimuli from among the selected stimuli to the control commands of the brain-computer control system;

регистрируют электрическую активность мозга с возможностью выявления паттернов электрической активности головного мозга; иregister the electrical activity of the brain with the ability to identify patterns of electrical activity of the brain; and

формируют системой управления мозг-компьютер команды управления, соответствующие управляющим паттернам, при выявлении управляющих паттернов.form the control system of the brain-computer control team corresponding to the control patterns, when identifying control patterns.

В частных случаях реализации изобретения обучают систему управления мозг-компьютер путем получения от пользователя указаний о соответствии команды управления образу специфического управляющего стимула, а для количества управляющих стимулов, превышающего количества команд управления, исключают из совокупности управляющих стимулов стимулы с максимальным количеством ошибок.In particular cases of implementing the invention, the brain-computer control system is trained by receiving instructions from the user on the correspondence of the control command to the image of a specific control stimulus, and for the number of control stimuli in excess of the number of control commands, stimuli with the maximum number of errors are excluded from the set of control stimuli.

Дополнительно, при настройке системы задают минимальное расстояние между гнездами для электродов в шлеме с пониженной плотностью электродов. При этом система может быть использована для управления конечностями пользователя с использованием внешнего протеза.Additionally, when setting up the system, the minimum distance between the electrode sockets in the helmet with a reduced electrode density is set. In this case, the system can be used to control the user's limbs using an external prosthesis.

КРАТКОЕ ОПИСАНИЕ РИСУНКОВBRIEF DESCRIPTION OF THE DRAWINGS

ФИГ. 1 иллюстрирует схематическое представление системы, для настройки которой используется предложенный способ.FIG. 1 illustrates a schematic representation of a system for which the proposed method is used.

ФИГ. 2 иллюстрирует общий состав системы Когниграф.FIG. 2 illustrates the general composition of the Cognigraph system.

ФИГ. 3 иллюстрирует структуру используемой для классификации нейронной сети типа CNN, в частности схему сверточной сети CNN для нейросетевого алгоритма ИМК.FIG. 3 illustrates the structure of a CNN type neural network used to classify, in particular, the CNN convolutional network diagram for the neural network IMC algorithm.

ФИГ. 4 иллюстрирует схему рекуррентно-сверточной сети RCNN, в частности архитектуру рекуррентно-сверточной сети RCNN для классификации мысленных состояний.FIG. 4 illustrates a diagram of a RCNN recurrence-convolutional network, in particular an RCNN recurrence-convolutional network architecture for classifying mental states.

ФИГ. 5 иллюстрирует общую схему способа, в частности схему алгоритма DNI.FIG. 5 illustrates a general method diagram, in particular a DNI algorithm diagram.

ФИГ. 6 иллюстрирует суть описанной репараметризации, в частности иллюстрирует репараметризацию VAE.FIG. 6 illustrates the essence of the described reparametrization, in particular, illustrates the reparametrization of VAE.

ФИГ. 7 иллюстрирует принцип работы CVAE.FIG. 7 illustrates how CVAE works.

ФИГ. 8 иллюстрирует схему генеративной модели GAN.FIG. 8 illustrates a diagram of a generative GAN model.

ФИГ. 9 иллюстрирует результаты работы алгоритма DeepNeuralImaging на 4-х ментальных состояниях, в частности примеры искусственных изображений символов.FIG. 9 illustrates the results of the operation of the DeepNeuralImaging algorithm on 4 mental states, in particular, examples of artificial images of symbols.

ФИГ. 10 иллюстрирует схему алгоритма АФИКС, в частности, схему нейросети алгоритма АФИКС.FIG. 10 illustrates an AFIX algorithm diagram, in particular, an AFIX algorithm neural network diagram.

ФИГ. 11 иллюстрирует схему расположения электродов (1105 и 1110) на щлеме с высокой плотностью электродов, показанном на фиг. 13 выбранных каналов для индивидуальной нейрогарнитуры.FIG. 11 illustrates an arrangement of electrodes (1105 and 1110) on the high-density electrode slot shown in FIG. 13 selected channels for an individual neuro headset.

ФИГ. 12 иллюстрирует схему обыкновенногоавтоэнкодера.FIG. 12 illustrates an ordinary auto encoder circuit.

ФИГ. 13 иллюстрирует 128-канальный ЭЭГ шлем компании «МКС».FIG. 13 illustrates a 128-channel EEG helmet of the MKS company.

ФИГ. 14 иллюстрирует вариант, шлема, обеспечивающего установку электродов (1405) в местах расположения специфических электродов (1110).FIG. 14 illustrates an embodiment of a helmet for mounting electrodes (1405) at locations of specific electrodes (1110).

ПОДРОБНОЕ ОПИСАНИЕDETAILED DESCRIPTION

На ФИГ. 1 представлено упрощенное схематическое представление системы, для настройки которой используется предложенный способ.In FIG. 1 shows a simplified schematic representation of a system for which the proposed method is used.

Система, предназначенная для определения активности головного мозга пользователя (105) содержит: монитор, используемый в качестве блока предъявления стимулов, блок записи, просмотра и анализа данных, блок функционального картирования (115), блок считывания и записи данных мультимодальных источников, блок выбора конфигурации стимулов (120), блок обработки данных с помощью внешних оптимизированных модулей картирования; классификатор ЭЭГ (125), используемый для анализа потенциалов головного мозга и осуществляющий выбор (140) индивидуальных триггеров, в процессе работы блока средств создания сценариев пользователя, блок графического отображения данных, состояний и результатов работы алгоритмов (250, 275, ФИГ. 2), в качестве которого может использоваться монитор; блок средств для создания сценариев стимуляции пользователя, в качестве элементов которого используется генератор изображений (130) и монитор, блок обмена с внешними программами и компонентами; и база (135), формируемая из тригеров, пригодных для обследуемго пользователя.A system designed to determine the activity of the user's brain (105) contains: a monitor used as a stimulus presentation unit, a data recording, viewing and analysis unit, a functional mapping unit (115), a multimodal source data read and write unit, a stimulus configuration selection unit (120), a data processing unit using external optimized mapping modules; EEG classifier (125), used to analyze brain potentials and select (140) individual triggers, during the operation of the block for creating user scripts, the block for graphical display of data, states and results of algorithms (250, 275, FIG. 2), which can be used as a monitor; a block of tools for creating user stimulation scenarios, the image generator (130) and a monitor, an exchange unit with external programs and components are used as elements of it; and a base (135) formed from triggers suitable for the user being examined.

В системе может использоваться:The system can use:

Многоканальный усилитель;Multi-channel amplifier;

Мощный ПК с хорошей видеокартой;Powerful PC with a good graphics card;

Программно-аппаратный комплекс для визуализации реальных и сгенерированных стимулов;Hardware-software complex for visualization of real and generated stimuli;

Набор стимуляционного материала;A set of stimulation material;

Блок выбора датчиков для шлема с пониженной плотностью электродов.Sensor selection block for a helmet with a reduced electrode density.

Для реализации изобретения используется программно-аппаратный комплекс «Когниграф» (245, ФИГ. 2), представляющий собой систему функционального 3D-картирования мозга на основе ЭЭГ. Комплекс может быть использован для решения актуальных научно-прикладных задач в области неинвазивного интерфейса мозг-компьютер (ИМК). Основной частью разрабатываемого комплекса являются средства обработки информации, в состав которых входят устройства для обработки, анализа, классификации и визуализации биосигналов, а также интерфейсы для интеграции модулей сторонних разработчиков. Система Когниграф обеспечивает синхронную регистрацию данных, поступающих со следующих устройств:To implement the invention, the Kognigraf software and hardware complex (245, FIG. 2) is used, which is a system of functional 3D-mapping of the brain based on EEG. The complex can be used to solve urgent scientific and applied problems in the field of non-invasive brain-computer interface (IMC). The main part of the developed complex is information processing tools, which include devices for processing, analysis, classification and visualization of biosignals, as well as interfaces for integrating third-party modules. The Cognigraph system provides synchronous registration of data coming from the following devices:

биоусилитель (215);

bio-enhancer (215);

видеокамера (220);

video camera (220);

микрофон (225);

microphone (225);

клавиатура и мышь (235);

keyboard and mouse (235);

трекер глаз (230).

eye tracker (230).

Общий состав системы Когниграф представлен на ФИГ. 2. Схема отражает принцип модульности системы: большая часть элементов и подсистем являются автономными единицами и подразумевают возможность замены на пользовательские элементы и подсистемы с учетом соблюдения соответствия конфигурации входных и выходных данных. В состав Когниграфа и системы, применяемой в настоящем изобретении, входят модули:The overall composition of the system Cognigraph presented in FIG. 2. The scheme reflects the principle of modularity of the system: most of the elements and subsystems are autonomous units and imply the possibility of replacement with custom elements and subsystems, taking into account compliance with the configuration of the input and output data. The composition of the Kognigraf and the system used in the present invention includes modules:

источников данных (205);

data sources (205);

записи данных (240);

data records (240);

блоков обработки и классификации данных от мультимодальных источников (биопотенциалы, изображения, аудио и другие данные);

processing and classification units for data from multimodal sources (biopotentials, images, audio and other data);

визуализации работы (250, 275);

visualization of work (250, 275);

предъявления стимулов (270);

presentation of incentives (270);

передачи команд и данных (255).

transmission of commands and data (255).

База данных алгоритмов (260) содержит наборы методов для работы блока визуализации алгоритмов (275), Наборы правил и решений (265) используются для ускорения процессов обработки данных.The database of algorithms (260) contains sets of methods for the operation of the visualization block of algorithms (275), sets of rules and solutions (265) are used to accelerate data processing.

Средства обработки данных могут использоваться в режиме реального времени, для анализа данных, регистрируемых биоусилителем (215) и сенсорами, а также могут учитывать ранее произведенные записи и данные из файлов (210). В состав комплекса входит модуль стимуляции (270), формирующий воздействия на пользователя и регистрирующий отклики пользователя на предложенные воздействия.Data processing tools can be used in real time to analyze data recorded by the bio-amplifier (215) and sensors, and can also take into account previously made records and data from files (210). The complex includes a stimulation module (270), which forms the impact on the user and records the user's response to the proposed impact.

Для настройки системы и первоначального обучения пользователя используется блок предъявления стимулов (110) пользователю, выполненный, например, в виде персонального компьютера с графическим дисплеем и блоком сопряжения с внешними устройствами. Блок сопряжения используется для формирования синхронизирующих сигналов, определяющих важные моменты, относящиеся к смене стимулов, предъявляемых пользователю. Такими моментами могут быть моменты смены стимулов, промежутки времени между предъявлением стимулов, а также моменты начала предъявления стимулов и промежутки времени предъявления стимулов.To configure the system and initial user training, a stimulus presentation unit (110) is used for the user, made, for example, in the form of a personal computer with a graphic display and an interface unit with external devices. The interface block is used to generate synchronizing signals that determine important points related to the change of stimuli presented to the user. Such moments can be the moments of the change of stimuli, the time intervals between the presentation of the stimuli, as well as the moments of the beginning of the presentation of the stimuli and the time intervals of the presentation of the stimuli.

Совместно с блоком предъявления стимулов используется многоканальный анализатор-монитор биопотенциалов головного мозга, например, биоусилитель Нейровизор-136 производства ООО «Медицинские компьютерные системы» со 128 каналами регистрации ЭЭГ (электроэнцефалограммы) и 8 внешними дополнительными каналами. В качестве датчиков потенциалов головного мозга для снятия ЭЭГ, используется шлем с пробной системой контактных электродов с повышенной плотностью расположения электродов, представленный на ФИГ. 11. Важной особенностью анализатора является возможность синхронизации регистрируемых потенциалов активности мозга с внешними устройствами, например, с блоками генерации и предъявления стимулов пользователю.Together with the stimulus presentation unit, a multichannel analyzer-monitor of brain biopotentials is used, for example, the Neurovisor-136 bio-amplifier manufactured by Medical Computer Systems LLC with 128 EEG recording channels (electroencephalograms) and 8 additional external channels. As sensors of potentials of the brain for removing EEG, a helmet with a test system of contact electrodes with an increased electrode density, shown in FIG. 11. An important feature of the analyzer is the ability to synchronize the recorded potentials of brain activity with external devices, for example, with blocks generating and presenting stimuli to the user.

При использовании указанных средств осуществляется размещение на голове пользователя пробной системы контактных электродов с повышенной плотностью расположения электродов для измерения потенциалов головного мозга, используемых в качестве биосигналов, предъявление пользователю зрительных стимулов из заранее заданного набора стимулов с регистрацией потенциалов, наводимых на электродах и выявление специфических паттернов потенциалов головного мозга, возникающие при предъявлении стимулов.Using these tools, a test system of contact electrodes is placed on the user's head with an increased density of electrodes for measuring brain potentials used as biosignals, visual stimuli are presented to the user from a predetermined set of stimuli with registration of potentials induced on the electrodes and identification of specific potential patterns brain arising upon presentation of stimuli.

В частном случае реализации изобретения, момент смены стимулов или начала предъявление нового стимула регистрируется датчиком освещенности, а определение или указание стимула осуществляется обслуживающим персоналом. Кроме того, возможна регистрация идентификационных данных стимула в автоматизированном режиме.In the particular case of the invention, the moment of the change of stimuli or the beginning of the presentation of a new stimulus is recorded by the light sensor, and the determination or indication of the stimulus is carried out by maintenance personnel. In addition, it is possible to register stimulus identification data in an automated mode.

Предельная частота дискретизации регистрируемых потенциалов составляет 100 кГц, однако экспериментальным путем было установлено, что для целей распознавания активных или применимых стимулов достаточно регистрации изменений потенциалов 200 раз в секунду.The limiting sampling frequency of the recorded potentials is 100 kHz; however, it has been experimentally established that for the purposes of recognizing active or applicable stimuli, it is sufficient to record potential changes 200 times per second.

При использовании изобретения, Когниграф конфигурируется в режим генеративной обратной связи, с обеспечением формирования настроек и параметров полноценной функциональной системы, обеспечивающей работоспособность интерфейса мозг-компьютер.When using the invention, the Cognigrapher is configured in the generative feedback mode, ensuring the formation of settings and parameters of a full-fledged functional system that ensures the operability of the brain-computer interface.

На этапе обучения описываемая система использует информацию, однозначно указывающую на стимул, являющийся объектом внимания пользователя.At the training stage, the described system uses information that uniquely indicates the stimulus that is the user's attention.

Для формирования параметров системы интерфейса, а именно, для построения системы управления мозг-компьютер пользователь проходит когнитивный тест. При прохождении теста пользователю предъявляются визуальные образы, а в периоды наблюдения пользователем визуальных образов осуществляется регистрация ЭЭГ сигналов. По результатам сопоставления параметров образов и параметров ЭЭГ сигналов, выбранным категориям визуальных образов ставится в соответствие участки ЭЭГ сигнала.To form the parameters of an interface system, namely, to build a brain-computer control system, a user passes a cognitive test. During the test, the user is presented with visual images, and during periods of observation by the user of the visual images, EEG signals are recorded. By comparing the parameters of the images and the parameters of the EEG signals, the selected categories of visual images are assigned sections of the EEG signal.

Полученные на предыдущем этапе данные используются для обучения нейронной сети - кодировщика (энкодера), предназначенной для преобразования оцифрованного ЭЭГ-сигнала в вектор заранее заданной длины фиксированной длины, содержащий информацию об отличительных свойствах сигнала. Длина вектора, для целей дальнейшего описания, принятая равной 100, определяется количеством независимых признаков, которые могут быть выделены из снятой ЭЭГ пользователя. С помощью методов метрического обучения осуществляется расчет расстояний между векторами для определения меры их схожести. Близкие по свойствам сигналы ЭЭГ, то есть, те ЭЭГ, которые формировались при просмотре схожих категорий стимулов формируют скопления близких по расстоянию векторов.The data obtained at the previous stage are used to train a neural network - an encoder (encoder), designed to convert a digitized EEG signal into a vector of a predetermined length of a fixed length containing information about the distinctive properties of the signal. The length of the vector, for the purposes of the further description, taken equal to 100, is determined by the number of independent features that can be extracted from the removed EEG of the user. Using the methods of metric training, the distances between the vectors are calculated to determine the measure of their similarity. EEG signals that are close in properties, that is, those EEGs that were formed when viewing similar categories of stimuli, form clusters of vectors that are close in distance.

С учетом известности изображений, предъявляемых пользователю, производится обучение нейронной сети декодера, которая обеспечивает восстановление из вектора длины 100 изображений заданных категорий. В дальнейшем, нейронная сеть декодер используется для формирования изображений, которые в наибольшей мере соответствуют ЭЭГ пользователя. Чем ближе вектор по расстоянию к пространству векторов какой-либо категории, тем более похожим будет восстановленное изображение на стимулы из этой категории. Если вектор признаков ЭЭГ не имеет сходства с известными группами векторов, будет формироваться изображение в виде «шума». При возможности проведения декомпозиции или разложения неизвестного вектора на векторы из ранее определенных категорий, то будет формироваться изображение, представляющее собой объединенную совокупность изображений выявленных категорий. Например, набор линий может быть преобразован в матричное изображение алфавитно-цифрового символа. В процессе обучения пользователь может самостоятельно определять степень соответствия изображения, кроме того, степень соответствия и изображения, сформированного сетью декодером.Taking into account the fame of the images presented to the user, the neural network of the decoder is trained, which provides restoration from a vector of length 100 images of specified categories. In the future, a neural network decoder is used to form images that most closely match the user's EEG. The closer the vector in distance to the space of vectors of a category, the more similar the reconstructed image will be to the stimuli from this category. If the vector of EEG signs does not resemble the known groups of vectors, an image will be formed in the form of “noise”. If it is possible to decompose or decompose an unknown vector into vectors from previously defined categories, an image will be formed, which is a combined set of images of the identified categories. For example, a set of lines can be converted into a matrix image of an alphanumeric character. In the learning process, the user can independently determine the degree of correspondence of the image, in addition, the degree of correspondence and the image formed by the network decoder.

На следующем этапе производится обучение пользователя работе с системой. Задачей пользователя является выбрать объекта, ранее использованного в качестве стимула, и сформировать максимально реалистичное изображение объекта на экране. Объект может быть выбран, например, в виде словесного описания объекта. Таким образом, пользователь последовательно воображает или представляет стимулы из какой-либо используемой ранее категории. Сигналы ЭЭГ пользователя, снятые в режиме реального времени, последовательно обрабатываются сетью энкодером и сетью декодером. По результатам обработки на экране формируется изображение, которое может изменяться динамически. В процессе реализации этапа, пользователь старается «заставить» изображение соответствовать воображаемому им объекту, что помогает ему естественным образом сконцентрироваться на мысленных образах и быстрее освоить переключение различных мысленных команд. Например, при использовании объекта «автомобиль» пользователь может не справиться с формированием изображения микроавтобуса, но может сформировать реалистичное изображение гоночного болида Формулы-1.At the next stage, the user is trained to work with the system. The user’s task is to select the object previously used as a stimulus and form the most realistic image of the object on the screen. The object can be selected, for example, in the form of a verbal description of the object. Thus, the user sequentially imagines or presents incentives from any previously used category. User EEG signals captured in real time are sequentially processed by the network encoder and network decoder. Based on the processing results, an image is formed on the screen, which can be changed dynamically. In the process of implementation of the stage, the user tries to “force” the image to correspond to the object imagined by him, which helps him naturally concentrate on mental images and quickly master the switching of various mental commands. For example, when using the “car” object, the user may not be able to cope with the formation of the image of a minibus, but may form a realistic image of a Formula 1 racing car.

В процессе обучения пользователя работе с системой из набора возможных стимулов, удаляются стимулы, для которых пользователь не смог сформировать реалистичное изображение.In the process of teaching the user to work with the system from a set of possible incentives, the incentives for which the user could not form a realistic image are removed.

Важно, что показанные выше операции способа реализуются с максимально возможным разрешением, и максимально возможной точностью определения потенциалов ЭЭГ, для чего размещают на голове пользователя пробную систему контактных электродов с повышенной плотностью расположения электродов для измерения потенциалов головного мозга, используемых в качестве биосигналов.It is important that the above operations of the method are implemented with the highest possible resolution and the highest possible accuracy in determining the EEG potentials, for which a test system of contact electrodes with an increased electrode density for measuring brain potentials used as biosignals is placed on the user's head.

Одной из стадий предложенного способа является сравнение реакций пользователя на различные стимулы для определения возможности разделения реакций на стимулы и возможности использования стимулов для команд управления с точки зрения воспроизводимости реакций пользователя.One of the stages of the proposed method is the comparison of user reactions to different stimuli to determine the possibility of separating reactions into stimuli and the possibility of using incentives for control commands in terms of reproducibility of user reactions.

В качестве стимулов могут выступать объекты, которые имеют форму визуального образа (изображение/видео), могут иметь объем (для обучения сетевых алгоритмов), соответствуют нескольким дискретным или независимым категориям с вариативностью или взаимозаменяемостью стимулов имеющих существенные внешние различия внутри каждой категории.Incentives can be objects that have the form of a visual image (image / video), can have a volume (for learning network algorithms), correspond to several discrete or independent categories with variability or interchangeability of incentives having significant external differences within each category.

Длительность предъявления стимулов, в общем случае может составлять от 5 до 10 секунд, но может существенно отличаться. При этом стимулы могут предъявляется в случайной последовательности. Желательно предъявлять стимулы, поддерживающие мотивацию пользователя на просмотр стимуляционного материала.The duration of the presentation of stimuli, in the General case, can be from 5 to 10 seconds, but can vary significantly. In this case, incentives may be presented in random order. It is advisable to present incentives that support the user's motivation to view stimulation material.

При обучении пользователя и системы использование стимулов в виде водопадов создает ощущение покоя, использование машины Голдберга позволяет тренировать концентрацию на точке и так далее.When training the user and the system, the use of incentives in the form of waterfalls creates a sense of peace, the use of the Goldberg machine allows you to train concentration on a point and so on.

При демонстрации видеоматериалов, в одном из вариантов реализации, использовалась демонстрация 20 фрагментов на категорию (или 17 на абстракцию) с длительностью фрагментов от 6 до 10 секунд, где длительность фрагментов выбирается случайным образом, а интервалы перехода между видеофрагментами составляет от 1 до 3 сек. Как правило, для обучения используется 2 сесии по 21 мин каждая.When demonstrating video materials, in one embodiment, we used a demonstration of 20 fragments per category (or 17 per abstraction) with a duration of fragments from 6 to 10 seconds, where the duration of the fragments was randomly selected, and the transition intervals between video fragments were from 1 to 3 seconds. As a rule, 2 sessions of 21 minutes each are used for training.

В частном случае реализации изобретения, для обучения системы, а также для реализации системы управления, используется способ глубокого нейронного анализа изображений (Deep Neural Imaging) для ИМК с высокоинформативной обратной связью.In the particular case of the invention, for training the system, as well as for implementing the control system, the method of deep neural analysis of images (Deep Neural Imaging) for BCI with highly informative feedback is used.

В качестве составной части способа глубокого нейронного анализа изображений используется нейросетевой классификатор мысленных состояний на основе глубоких сетей типов CNN и RCNN.A neural network classifier of mental states based on deep networks of CNN and RCNN types is used as an integral part of the deep neural image analysis method.

При использовании нейросетевого классификатора мысленных состояний сигнал многоканальной ЭЭГ разбивается на перекрывающиеся временные фрагменты длиной 1-2 секунды. Каждый фрагмент представляется в виде изображения топографической карты активности на сенсорах. Точки изображения окрашены в соответствии со значениями спектральной мощности трех диапазонов частот: тета - 4-7 Гц (красный), альфа - 8-13 Гц (зеленый) и бета - 14-30 Гц (синий). В качестве базы данных для одного из пользователей использовались записи 10 сессий эксперимента по генерации 4-х ментальных состояний (по 30 секунд на состояние), полученных при регистрации с усилителя NVX136 при частоте дискретизации 500 Гц. Структура используемой для классификации нейронной сети типа CNN представлена на ФИГ. 3 и состоит из трех сверточных слоев (305) и двух полносвязных слоев (315). На этапе обучения в сеть также добавляются дропаут-слои для обеспечения регуляризации и предотвращения переобучения. В сети также содержатся слои субдискретизации (310), используемые между слоями свертки. Результаты использования нейронных сетей формируются на слое (320) выходных нейронов.When using a neural network classifier of mental states, the signal of a multi-channel EEG is split into overlapping time fragments of 1-2 seconds long. Each fragment is represented as an image of a topographic activity map on sensors. Image points are colored in accordance with the spectral power values of three frequency ranges: theta - 4-7 Hz (red), alpha - 8-13 Hz (green) and beta - 14-30 Hz (blue). As a database for one of the users, the records of 10 sessions of the experiment on the generation of 4 mental states (30 seconds per state) obtained during registration from the NVX136 amplifier at a sampling frequency of 500 Hz were used. The structure used to classify a CNN type neural network is shown in FIG. 3 and consists of three convolutional layers (305) and two fully connected layers (315). At the training stage, dropout layers are also added to the network to ensure regularization and prevent retraining. The network also contains subsampling layers (310) used between convolution layers. The results of using neural networks are formed on the layer (320) of output neurons.

Следующие базовые параметры применялись при обучении модели:The following basic parameters were used when training the model:

Размер окна анализа: 1 секунда;

Analysis window size: 1 second;

Число сэмплов (525 и 545 на фиг. 5) (от англ. Sample - шаблон или образец): 50 на 1 состояние (т.е. шаг скользящего окна составляет около 0.6 секунды);

The number of samples (525 and 545 in Fig. 5) (from the English Sample - template or sample): 50 per 1 state (i.e. the step of the sliding window is about 0.6 seconds);

Размер изображения, подаваемого в сеть: 64 х 64;

The size of the image submitted to the network: 64 x 64;

Общее число обучаемых параметров сети: 116652.

Total number of trained network parameters: 116652.

Результаты работы способа представлены в Таблице 1 Результатов работы алгоритма CNN для распознавания 4-х ментальных состояний.The results of the method are presented in Table 1 of the Results of the CNN algorithm for recognizing 4 mental states.

Исследование проводилось с применением кросс-валидации при различных соотношениях числа записей в обучающей и тестовой выборках.The study was conducted using cross-validation at various ratios of the number of records in the training and test samples.

Таким образом, в среднем точность классификации 4-х состояний составила около 75% при уровне случайного попадания 25%.Thus, on average, the accuracy of the classification of 4 states was about 75% with a random hit level of 25%.

В ходе исследования также была проведена оценка влияния базовых параметров алгоритма на точность классификации, представленная в Таблице 2 влияние базовых параметров алгоритма на точность классификации ментальных состояний.The study also assessed the influence of the basic parameters of the algorithm on the classification accuracy, presented in Table 2 the influence of the basic parameters of the algorithm on the classification accuracy of mental states.

Было показано, что серьезного влияния на точность классификации небольшие изменения базовых параметров не оказывают.It was shown that small changes in the basic parameters do not seriously affect the classification accuracy.

Также была проведена оценка вклада отдельных частотных полос в качество распознавания состояний. Для этого алгоритм был обучен и протестирован с использованием каждой из трех частотных полос в отдельности (т.е. с формированием изображения в оттенках серого), было установлено, что для полосы Тета (4-7 Гц) точность составляет 43,6%, для полосы Альфа (8-13 Гц) - 54,1% для полосы Бета (14-30 Гц) - 78.9% и для всех 3-х полос - 78,4%.The contribution of individual frequency bands to the quality of state recognition was also evaluated. For this, the algorithm was trained and tested using each of the three frequency bands separately (i.e., with the formation of images in shades of gray), it was found that for the Theta band (4-7 Hz) the accuracy is 43.6%, for Alpha bands (8-13 Hz) - 54.1% for the Beta band (14-30 Hz) - 78.9% and for all 3 bands - 78.4%.

Результаты свидетельствуют о доминирующем вкладе частот бета-диапазона в формирование дискриминантных характеристик мысленных состояний.The results indicate the dominant contribution of beta frequencies to the formation of discriminant characteristics of mental states.

Также был реализован нейросетевой классификатор на основе рекуррентно-сверточной сети RCNN. Схема сети представлена на ФИГ. 4. Сеть состояла из 10 сверточных подсетей (405), организованных по принципу Time-Distributed (распределенных во времени и принимающих входные данные с 10 последовательных окон данных), выходные данные которых подавались на нейрон типа LSTM (Long-shorttermmemory, нейрон долговременной/краткосрочной памяти) 410. Затем через полносвязный слой (415) данные передавались на выход из 4-х нейронов (425).A neural network classifier based on the RCNN recurrence-convolutional network was also implemented. The network diagram is presented in FIG. 4. The network consisted of 10 convolutional subnets (405), organized according to the Time-Distributed principle (distributed over time and receiving input data from 10 sequential data windows), the output data of which were fed to a neuron of the LSTM type (Long-shorttermmemory, long-term / short-term neuron memory) 410. Then, through a fully connected layer (415), the data was transmitted to the output of 4 neurons (425).

Остальные базовые параметры алгоритма заданы аналогично классификатору CNN. Результаты классификации для различного соотношения числа обучающих и тестовых записей показаны в Таблице 3 результатов работы алгоритма RCNN для распознавания 4-х ментальных состояний.The remaining basic parameters of the algorithm are set similarly to the CNN classifier. The classification results for various ratios of the number of training and test recordings are shown in Table 3 of the results of the RCNN algorithm for recognizing 4 mental states.

Таким образом, в среднем точность классификации 4-х состояний составляет около 84% при уровне случайного попадания 25%. Таким образом, применение классификатора RCNN дает лучшую точность распознавания состояний, чем CNN и реализованный ранее классический алгоритм ИМК.Thus, on average, the accuracy of the classification of 4 states is about 84% with a random hit level of 25%. Thus, the use of the RCNN classifier gives better accuracy of state recognition than CNN and the previously implemented classical algorithm of IMC.

Использованный в частном случае реализации изобретения принципиально новый способ глубокого нейронного анализа изображений предназначен для обработки данных ЭЭГ с возможностью определения ментальных состояний. Идея способа состоит в формировании на выходе алгоритма реалистичного изображения, сгенерированного глубокой нейронной сетью-генератором. В случае экспериментов, подразумевающих деятельность по воображению пользователем (испытуемым или оператором) ИМК некоторых визуальных образов, выходное изображение может быть задано соответствующим этому образу: в этом случае алгоритм работает непосредственно на «визуализацию мыслей».Used in the particular case of the invention, a fundamentally new method of deep neural analysis of images is intended for processing EEG data with the ability to determine mental states. The idea of the method is to form at the output of the algorithm a realistic image generated by a deep neural network-generator. In the case of experiments involving the imagination of the user (subject or operator) of the IMC of some visual images, the output image can be set corresponding to this image: in this case, the algorithm works directly for the “visualization of thoughts”.

Основной проблемой кодирования выхода алгоритма в форме изображения является необходимость учета основных присущих изображению свойств, а именно:The main problem of coding the output of the algorithm in the form of an image is the need to take into account the main properties inherent in the image, namely:

- Связность элементов изображения в двумерном пространстве (т.е. отсутствие резких перепадов яркости между пикселями и наличие инвариантных паттернов, присущих тому или иному изображению).- Connectivity of image elements in two-dimensional space (i.e. the absence of sharp differences in brightness between pixels and the presence of invariant patterns inherent in a given image).

- Соответствие изображения какому-либо из реально существующих образов, т.е. «реалистичность» изображения.- Correspondence of the image to any of the really existing images, i.e. "Realism" of the image.

Для обеспечения первого свойства для генерации изображения используются сверточные нейронные сети. Для обеспечения второго свойства добавляется регуляризацию в пространстве изображений с использованием генеративных моделей. В использованном способе генерация изображений-выходов системы ИМК производится с помощью сверточных генеративных состязательных сетей.Convolutional neural networks are used to provide the first property for image generation. To ensure the second property, regularization in the space of images using generative models is added. In the method used, the generation of images-outputs of the IMC system is performed using convolutional generative adversarial networks.

Общая схема способа показана на ФИГ. 5. Оператор ИМК воспринимает некоторое изображение либо воображает его. Данное изображение представляет собой пример «естественного» изображения. Массив таких «естественных» изображений заложен в базе данных RealWorldImages (изображения реального мира) 540, где каждому примеру соответствует метка класса. Для конкретной ЭЭГ пользователя из базы 540 извлекаются образцы (545) или «сэмплы», Сеть-классификатор (550), формирующая на выходе (555) совокупность классов, предварительно обучалась на этой базе данных. Данные ЭЭГ, регистрируемые в процессе восприятия/воображения стимула поступали на вход энкодера ЭЭГ (510), который преобразовывал их в скрытое пространство (Latentspace) 515 формата, пригодного для подачи на вход генератора (520). Функция энкодера (510)заключалась в извлечении информативных признаков сигнала. В качестве энкодера может выступать любой алгоритм извлечения признаков сигнала или классификации, например, текущей работе таковым выступает нейросетевой алгоритм ИМК.The general scheme of the method is shown in FIG. 5. The IMC operator perceives a certain image or imagines it. This image is an example of a “natural” image. An array of such “natural” images is stored in the RealWorldImages database (images of the real world) 540, where each example has a class label. For a specific EEG of the user, samples (545) or “samples” are extracted from the base 540, the Classifier Network (550), which forms a collection of classes at the output (555), was previously trained on this database. EEG data recorded in the process of perceiving / imagining the stimulus were fed to the input of the EEG encoder (510), which converted them into a latent space (Latentspace) 515 of the format suitable for feeding the generator (520). The function of the encoder (510) was to extract informative features of the signal. An encoder can be any algorithm for extracting signs of a signal or classification, for example, the current work is the neural network algorithm IMC.

Генератором (520) выступает модель, полученная на основе обучения CVAE (ConditionalVariationalAutoencoder или обусловленный вариационный автоэнкодер). Обыкновенный автоэнкодер - это нейронная сеть, целевая функция которой заключается в отображении входного пространства на выход в неизменном виде. При этом промежуточные слои автоэнкодера имеют существенно более низкую размерность, чем размерность данных. Таким образом, автоэнкодер работает как алгоритм сжатия и последующего восстановления данных (ФИГ. 12).The generator (520) is the model obtained on the basis of CVAE training (ConditionalVariationalAutoencoder or a conditioned variational auto-encoder). An ordinary auto-encoder is a neural network whose objective function is to map the input space to the output unchanged. In this case, the intermediate layers of the auto encoder have a significantly lower dimension than the dimension of the data. Thus, the auto-encoder works as an algorithm for compression and subsequent data recovery (FIG. 12).

Для обучения VAE используется так называемый трюк с репараметризацией, поскольку распространять ошибку через случайные значения на декодере (615) невозможно. На ФИГ. 6 показана суть репараметризации, где стандартное отклонение, предсказанное энкодером (510, ФИГ. 5), умножается на случайное число из N(0,1), затем добавляется среднее значение μ (схема справа).For training VAE, the so-called reparameterization trick is used, since it is impossible to propagate the error through random values to the decoder (615). In FIG. 6 shows the essence of reparametrization, where the standard deviation predicted by the encoder (510, FIG. 5) is multiplied by a random number from N (0,1), then the average value of μ is added (diagram on the right).

Результатом такой репараметризации является возможность проводить обучение через обратное распространение ошибки, как и для любой другой конфигурации сетей.The result of this reparametrization is the ability to conduct training through the back propagation of the error, as for any other network configuration.

Недостатком автоэнкодера типа VAE является плохая компактность отдельных классов данных: множество образов подается на вход модели как сэмплы из единого пространства данных, но в реальности представляет собой линейно несвязное многообразие. В результате модель плохо обучается переходам от одного класса к другому. Данный недостаток устраняется в модели обусловленного вариационного автоэнкодера (CVAE). На вход этой модели, помимо самих сэмплов данных, подаются еще и соответствующие им метки классов (ФИГ. 7). Благодаря этой информации автоэнкодер может обучаться каждой части многообразия отдельно.The disadvantage of a VAE type autoencoder is the poor compactness of individual data classes: a lot of images are fed to the input of the model as samples from a single data space, but in reality it is a linearly disconnected variety. As a result, the model is poorly trained in transitions from one class to another. This drawback is eliminated in the conditional variational autoencoder (CVAE) model. At the input of this model, in addition to the data samples themselves, the corresponding class labels are also sent (FIG. 7). Thanks to this information, the auto encoder can be trained for each part of the variety separately.

Основное уравнение модели в этом случае принимает вид:The basic equation of the model in this case takes the form:

Где Y - метки классов.Where Y are class labels.

Одной из интересных особенностей модели CVAE является возможность создавать новые образцы данных в стиле заданного класса. Для этого стиль заданного образа кодируется в скрытом пространстве Z, а при декодировании меняются метки классов.One of the interesting features of the CVAE model is the ability to create new data samples in the style of a given class. To do this, the style of the specified image is encoded in a hidden space Z, and when decoding, class labels change.

Тем не менее, даже генератор образов на основе CVAE в большинстве реальных задач не способен создавать высококачественные изображения: зачастую получаются слегка размытые или нереалистичные образцы, которые с легкостью можно отличить от «настоящих». Для достижения максимального правдоподобия изображений применяется более сложная архитектура модели: Generative AdversarialNetworks (GAN). Модель схематично показана на ФИГ. 8 и состоит из двух нейронных сетей:Nevertheless, even the CVAE-based image generator in most real tasks is not capable of creating high-quality images: often slightly blurry or unrealistic samples are obtained, which can easily be distinguished from the “real” ones. To achieve maximum image likelihood, a more complex model architecture is used: Generative AdversarialNetworks (GAN). The model is schematically shown in FIG. 8 and consists of two neural networks:

Генератор (520): это может быть описанная выше модель VAE, генерирующая случайные числа, на основе которых генерируются образцы из случайных точек скрытого пространства Z модели:

Generator (520): this can be the VAE model described above, generating random numbers, based on which samples are generated from random points of the hidden space Z of the model:

Х_р=G(Z; _g);X _p = G (Z; _g );

Дискриминатор (530): получая на вход созданные генератором объекты Хр, он учится предсказывает вероятность того, что данный объект принадлежит к многообразию реально существующих изображений (т.е. степень правдоподобности данного образа):

Discriminator (530): receiving the XP objects created by the generator as an input, he learns predicts the probability that this object belongs to the variety of real-life images (i.e., the likelihood of this image):

P_real=D(Z; _g).P _real = D (Z; _g ).

Генератор (520) и дискриминатор (530) обучаются по шагам. За шаг обучения дискриминатора его параметры

обновляются в сторону уменьшения кросс-энтропии, т.е. снижается вероятность принять сгенерированный образ за реальный.The generator (520) and discriminator (530) are trained in steps. For the discriminator training step, its parameters

are updated in the direction of decreasing cross-entropy, i.e. the probability of taking the generated image for real is reduced.

Шаг обучения генератора (520) приводит к увеличению вероятности распознавания дискриминатором (530) сгенерированного объекта как реального:The learning step of the generator (520) leads to an increase in the probability that the discriminator (530) recognizes the generated object as real:

Таким образом, две сети «соревнуются» между собой. Оптимумом данной задачи является ситуация, когда генератор научился генерировать объекты данных настолько хорошо, что идеально отображает распределение в многообразии реальных данных Р(Х). В этом случае дискриминатор (530) всегда выдавал бы на выход (535) дискриминатора значение 0.5 (полная неуверенность в ответе).Thus, the two networks "compete" with each other. The optimum of this problem is the situation when the generator has learned to generate data objects so well that it ideally displays the distribution in the variety of real data P (X). In this case, the discriminator (530) would always give the output of the discriminator (535) a value of 0.5 (complete uncertainty in the answer).

Аналогично, при передаче в генератор (520) и дискриминатор (530) метку класса объекта данных, можно построить обусловленную генеративную модель (CGAN).Similarly, when passing the label of the data object class to the generator (520) and discriminator (530), we can construct a conditional generative model (CGAN).

В рамках изобретения, был использован способ на основе CGAN для генерации образов, соответствующих десяти символам латинского алфавита: А, С, Е, I, N, О, R, S, Т, U. Способ был протестирован на модельной задаче распознавания и формирования образов обратной связи для 4-х ментальных состояний. Каждому из состояний был поставлен в соответствие один из вышеуказанных символов (4 используемых в эксперименте символа: А, С, Е, I). Модель должна была распознать как номер состояния, так и отобразить образ символа.In the framework of the invention, a CGAN-based method was used to generate images corresponding to ten characters of the Latin alphabet: A, C, E, I, N, O, R, S, T, U. The method was tested on a model problem of recognition and image formation feedback for 4 mental states. Each of the states was assigned one of the above symbols (4 symbols used in the experiment: A, C, E, I). The model was supposed to recognize both the status number and display the image of the symbol.

В качестве базы данных для обучения генеративной модели использовалась база данных EMNIST, а также искусственная база данных символов, полученная при применении случайных аффинных преобразований к стандартным изображениям символов. В качестве энкодера ЭЭГ выступала сверточная нейронная сеть, при этом в качестве вектора сжатых признаков ЭЭГ-сигнала использовался предпоследний слой сети. В результате применения алгоритма DeepImaging к указанным данным были получены искусственные изображения символов (910), примеры которых представлены на ФИГ. 9.The EMNIST database was used as a database for training the generative model, as well as an artificial symbol database obtained by applying random affine transformations to standard symbol images. A convolutional neural network acted as an EEG encoder, and the penultimate layer of the network was used as a vector of compressed signs of an EEG signal. As a result of applying the DeepImaging algorithm to the indicated data, artificial images of symbols were obtained (910), examples of which are presented in FIG. 9.

Для формирования индивидуального шлема, обеспечивающего установку электродов в местах расположения специфических электродов, используется система обработки данных, применяющая агоритм адаптивного формирования индивидуальной конфигурации сенсоров (АФИКС).For the formation of an individual helmet, which provides the installation of electrodes in the locations of specific electrodes, a data processing system is used that uses an adaptive algorithm for the formation of an individual sensor configuration (AFIX).

Классический алгоритм распознавания ментальных состояний рассчитан на работу с малоканальной нейрогарнитурой (8-16 каналов). Однако информативность данных, получаемых с различных сенсоров и с различных областей мозга с точки зрения вклада в различение состояний неодинакова и, в общем случае, специфична для каждого отдельного оператора ИМК. Для достижения наилучших характеристик распознавания состояний в ИМК необходимо определить оптимальную конфигурацию сенсоров на поверхности головы оператора (пользователя), что представляет собой нетривиальную задачу. В рамках реализации изобретения эта задача решается с помощью следующей процедуры:The classic mental state recognition algorithm is designed to work with a low-channel neuro headset (8-16 channels). However, the information content of data obtained from various sensors and from various brain regions from the point of view of the contribution to the differentiation of states is not the same and, in the general case, is specific for each individual BCI operator. To achieve the best characteristics of state recognition in the BCI, it is necessary to determine the optimal configuration of the sensors on the surface of the head of the operator (user), which is a non-trivial task. In the framework of the invention, this problem is solved using the following procedure:

Производится регистрация данных ЭЭГ для каждого из ментальных состояний на многоканальной (64 и более сенсоров) нейрогарнитуре.

EEG data is recorded for each of the mental states on a multi-channel (64 or more sensors) neuro headset.

Проводится обучение классического алгоритма ИМК (BCI Classic) отдельно по данным каждого из сенсоров.

The classical BCI Classic algorithm is being trained separately according to the data of each of the sensors.

С помощью алгоритма АФИКС формируется набор из 8 сенсоров, оптимальный с точки зрения эффективности объединения отдельных поканальных классификаторов ИМК.

Using the AFICS algorithm, a set of 8 sensors is formed, which is optimal in terms of the efficiency of combining individual channel-based classifiers of IMC.

Дле реализации задачи использовались данные, полученные при обучении системы, в том числе: 10 записей с 128-канальной системы регистрации NVX136, разбитые на двухсекундные фрагменты с шагом 0,5 секунды. Состояниям соответствовало одинаковое число фрагментов. Обучение алгоритма ИМК происходило на фрагментах, относящихся к одной из записей.To implement the task, we used data obtained during the training of the system, including: 10 records from the 128-channel NVX136 recording system, divided into two-second fragments with a step of 0.5 seconds. The states corresponded to the same number of fragments. The training of the IMC algorithm took place on fragments related to one of the records.

Схема алгоритма АФИКС показана на ФИГ. 10. На первом этапе классический алгоритм ИМК («бинарный классификатор») 1010 обучался для каждого канала 1005 отдельно, результатом его работы являлся бинарный one-hot вектор, со значением «1» для распознанного состояния. Взвешенные выходы бинарных классификаторов подавались на соответствующие нейроны второго уровня («базовые классификаторы») 1015. Взвешенные ответы 128 нейронов - базовых классификаторов поступали на нейрон третьего уровня: итоговый классификатор 1030.The AFIX algorithm diagram is shown in FIG. 10. At the first stage, the classical IMC algorithm (“binary classifier”) 1010 was studied for each channel 1005 separately, the result of its work was a binary one-hot vector, with a value of “1” for the recognized state. The weighted outputs of the binary classifiers were fed to the corresponding neurons of the second level (“basic classifiers”) 1015. The weighted responses of 128 neurons - the basic classifiers were delivered to the neuron of the third level: the final classifier 1030.

Из фрагментов всех записей (3560) формировался обучающий сет (набор данных) и тестовый сет. Обучающий сет разбивался на валидационный (716 фрагментов) и тренировочный (1669 фрагментов). Обучение длилось 1000 эпох с размером батча 30. В качестве функции потерь использовалась категориальная кросс-энтропия. Выделение каналов ЭЭГ происходило за счет L1-регуляризаций (1020, 1025) со значением параметра 0.1, применявшихся к каждому слою, т.к. в этом случае сети выгодно уменьшать малые значения весов. Сеть инициализировалась вероятностями алгоритма для каждого канала дать правильный ответ. После обучения для каждого нейрона второго слоя считалось произведение норм Фробениуса весом каждого состояния и веса ответа нейрона среди всех ответов. 8 каналов с наибольшим произведением при обучении классификатора на каждой из записей представлены в Таблице 4 Каналов, выбранных алгоритмом АФИКС при обучении на различных данных.A training set (data set) and a test set were formed from fragments of all records (3560). The training set was divided into validation (716 fragments) and training (1669 fragments). The training lasted 1000 eras with a batch size of 30. Categorical cross-entropy was used as a loss function. EEG channels were selected due to L1-regularizations (1020, 1025) with a parameter value of 0.1 applied to each layer, because in this case, it is advantageous for the network to reduce small weights. The network was initialized by the probabilities of the algorithm for each channel to give the correct answer. After training for each neuron of the second layer, the product of Frobenius norms was considered the weight of each state and the weight of the neuron response among all the answers. The 8 channels with the greatest work when training the classifier on each of the records are presented in Table 4 of the Channels selected by the AFICS algorithm for training on various data.

При использовании данных с этих каналов для обучения по другим записям на 200 эпохах были получены результаты, представленные в Таблице 5 Результатов работы классического алгоритма ИМК на выбранных с помощью АФИКС наборах каналов.When using the data from these channels for learning from other records in 200 epochs, the results were obtained, which are presented in Table 5 of the results of the classical IMC algorithm on the channel sets selected using AFICS.

Для описанного случая, наилучшие результаты для пользователя при реализации ИМК дает нейрогарнитура со следующими 8 сенсорами: Р7, Poz, Ро7, Ро4, Af3, Cpp1h, Aff5h, P1 (ФИГ. 11).For the described case, the best results for the user when implementing IMC are given by a neuro headset with the following 8 sensors: P7, Poz, Po7, Po4, Af3, Cpp1h, Aff5h, P1 (FIG. 11).

Для повышения точности исследований также может использоваться трекер глаз пользователя, определяющий направление взгляда пользователя, а также состояние век пользователя. При использовании трекера глаз становится возможным повысить точность выявления детектируемых (распознаваемых) стимулов, а также качество обучения. При обучении, с помощью трекера глаз могут быть исключены моргательные артефакты, а также потеря пользователем внимания к предъявляемым стимулам.To increase the accuracy of research, the user's eye tracker can also be used, which determines the direction of the user's gaze, as well as the state of the user's eyelids. When using the eye tracker, it becomes possible to increase the accuracy of detectable (recognizable) stimuli, as well as the quality of training. During training, using the eye tracker, blinking artifacts can be eliminated, as well as the user's loss of attention to the presented stimuli.

Существенным признаком изобретения является тестирование возможности восприятия объектов. При начальном конфигурировании и переконфигурировании возможно задание геометрических размеров экранных объектов, другие характеристики экранных объектов, отображаемых на экране (дисплее).An essential feature of the invention is the testing of the perception of objects. At the initial configuration and reconfiguration, it is possible to specify the geometric dimensions of the display objects, other characteristics of the display objects displayed on the screen (display).

В частном случае, учитывается острота зрения пользователя. Если использованные параметры объектов не удовлетворяют требованиям восприятия, стимулы исключаются из набора стимулов, необходимых для работы системы.In the particular case, the user's visual acuity is taken into account. If the used parameters of the objects do not satisfy the requirements of perception, stimuli are excluded from the set of stimuli necessary for the system to work.

Дополнительно, а автоматизированном режиме или под контролем оператора, могут проверяться как причины отсутствия восприятия пользователем стимула, так и наличие артефактов, которые могут внести ошибки в интерпретацию восприятия пользователем стимула. Настройки интерфейса могут быть осуществлены в автоматизированном режиме, а также в режиме ручного управления пользователем или оператором. При ручной настройке интерфейса, на экране дисплея отображаются элементы интерфейса, размеры и положение которых можно изменять, а также значения параметров, которые существенно влияют на восприятие стимулов пользователем.Additionally, in the automated mode or under the control of the operator, both the reasons for the lack of user perception of the stimulus and the presence of artifacts that can introduce errors into the interpretation of the user perception of the stimulus can be checked. Interface settings can be made in an automated mode, as well as in the manual control mode by a user or operator. When manually adjusting the interface, the display screen displays interface elements whose dimensions and position can be changed, as well as parameter values that significantly affect the perception of incentives by the user.

После настройки интерфейса может быть проведено повторно тестирование различимости стимулов и подстройка параметров детектирующего оборудования под конфигурацию системы, например, в части замены пробной системы контактных электродов на шлем с гнездами для установки электродов, с пониженной плотностью электродов. При необходимости, производится дополнительная корректировка средствами и методами, показанными выше. В частности, при использовании шлема, обеспечивающего установку электродов в местах расположения специфических электродов, предъявляют пользователю специфические стимулы и отбирают уточненные специфические стимулы, при предъявлении пользователю которых формируются повторяющиеся для каждого стимула, и отличающиеся от других стимулов паттерны потенциалов головного мозга;After setting up the interface, retesting of stimulus distinguishability and tuning of the parameters of the detecting equipment to the system configuration can be repeated, for example, in terms of replacing the test system of contact electrodes with a helmet with sockets for installing electrodes, with a reduced density of electrodes. If necessary, an additional adjustment is made by the means and methods shown above. In particular, when using a helmet that provides the installation of electrodes at specific electrode locations, specific stimuli are presented to the user and specified specific stimuli are selected, upon presentation of which repeated patterns for each stimulus are formed, and patterns of brain potentials differing from other stimuli;

предъявляют пользователю понятийные стимулы, соответствующие уточненным специфическим стимулам, с возможностью представления пользователем образа специфического стимула, и регистрируют электрическую активность мозга при предъявлении пользователю понятийного стимула;present to the user conceptual stimuli corresponding to the specified specific stimuli, with the possibility of presenting the image of a specific stimulus by the user, and register the electrical activity of the brain upon presentation of the conceptual stimulus to the user;

отбирают управляющие стимулы, соответствующие понятийным стимулам, такие, что при предъявлении пользователю понятийного стимула формируется управляющий паттерн, тождественный паттерну электрической активности мозга, соответствующий специфическому стимулу, соответствующему понятийному стимулу;selecting control stimuli corresponding to conceptual stimuli, such that upon presentation of a conceptual stimulus to the user, a control pattern is generated that is identical to the pattern of brain electrical activity corresponding to a specific stimulus corresponding to the conceptual stimulus;

для отобранных управляющих стимулов формируют обучающую последовательность операций, заключающуюся в том, что регистрируют электрическую активность мозга, при выявлении паттерна потенциала головного мозга формируют, соответствующего отобранному управляющему стимулу, предъявляют пользователю отобранный управляющий стимул, соответствующий паттерну потенциала головного мозга;for the selected control stimuli, a training sequence of operations is formed, which consists in registering the electrical activity of the brain; when a pattern of the potential of the brain is detected, they form corresponding to the selected control stimulus; the selected control stimulus corresponding to the pattern of the potential of the brain is presented to the user;

повторяют обучающую последовательность операций по крайней мере двукратного выявления паттернов электрической активности головного мозга, для каждого из отобранных стимулов;repeating the training sequence of operations for at least two-fold detection of patterns of electrical activity of the brain for each of the selected stimuli;

назначают управляющие паттерны, соответствующие стимулам из числа отобранных стимулов командам управления системы управления мозг-компьютер;designate control patterns corresponding to the stimuli from among the selected stimuli to the control commands of the brain-computer control system;

регистрируют электрическую активность мозга с возможностью выявления паттернов электрической активности головного мозга; иregister the electrical activity of the brain with the ability to identify patterns of electrical activity of the brain; and

формируют системой управления мозг-компьютер команды управления, соответствующие управляющим паттернам, при выявлении управляющих паттернов.form the control system of the brain-computer control team corresponding to the control patterns, when identifying control patterns.

В качестве экранных объектов или стимулов используются разного рода изобразительные элементы, например, символы в виде буквы и цифр, так называемые смайлики, другие пиктограммы, а также представления элементов управления. Символы, используемые для стимулов, могут быть семантически связаны с командами управления, либо, при ограниченном наборе стимулов, могут быть назначены для команд управления случайным образом.As display objects or stimuli, various graphic elements are used, for example, symbols in the form of letters and numbers, so-called emoticons, other pictograms, as well as representations of controls. The symbols used for stimuli can be semantically associated with control commands, or, with a limited set of stimuli, can be assigned to control commands randomly.

Система содержит и использует электроды, сконфигурированные так, чтобы обеспечивался контакт с кожей головы пользователя для передачи соответствующих потенциалов на блок обработки аналоговых данных. Электроды могут быть закреплены в средстве фиксации электродов на голове пользователя.The system contains and uses electrodes configured to provide contact with the scalp of the user to transmit the corresponding potentials to the analog data processing unit. The electrodes can be fixed in a means of fixing the electrodes on the user's head.

Для предварительного определения параметров системы используется изображенный на ФИГ. 13 шлем с 128 электродами, после настройки, число электродов, предназначенных для закрепления на голове пользователя, а также их расположение выбирается с учетом индивидуальных особенностей пользователя. Например, по результатам проведенных хирургических операций при поражениях головного мозга, либо в результате травм головы, участки скальпа могут отсутствовать или не могут быть использованы для установки электродов. В таком случае используется средство крепления электродов, в котором количество электродов, а также места их установки задаются с учетом выявленных особенностей. В частном случае, могут быть использованы дополнительные электроды, установленные в максимально возможной близости к месту травмы. В случае существенного изменения картины распределения потенциалов на коже головы пользователя, для обеспечения функционирования системы, используется дополнительное обучение системы.For a preliminary determination of system parameters, the one shown in FIG. 13 helmet with 128 electrodes, after setting, the number of electrodes intended for fastening on the user's head, as well as their location is selected taking into account the individual characteristics of the user. For example, according to the results of surgical operations for brain lesions, or as a result of head injuries, scalp sites may be absent or cannot be used to install electrodes. In this case, an electrode fastener is used, in which the number of electrodes, as well as their installation location, are set taking into account the identified features. In the particular case, additional electrodes can be used, installed as close as possible to the site of injury. In the event of a significant change in the pattern of potential distribution on the scalp of the user, to ensure the functioning of the system, additional training of the system is used.

Специфическими компонентами может являться отклонение усредненных по целевым стимулам данных электроэнцефалограммы в динамике, в частности, в течение определенного предустановленного временного интервала, например, в течение 600-1000 миллисекунд, после предъявления целевого стимула от аналогичного усреднения при предъявлении нецелевого стимула, а при утрате функций отдельных участков коры головного мозга, используется дополнительное уточнение, заключающееся в том, что в частном случае, анализируются данные полученные от измененного, сниженного или увеличенного количества электродов, а анализ динамики распределения потенциалов осуществляется для всех электродов совместно с использованием методов машинного обучения или с применением искусственного интеллекта. При этом, на этапе обучения, информацию о выбранном пользователем объекте получают без использования вычислительных средств и передают системе дополнительно, либо задают последовательность стимулов, на которых должен сосредоточиться пользователь и данную последовательность используют как обучающую при сопоставлении паттернов и стимулов.Specific components may be the deviation of the dynamics of the data of the electroencephalogram averaged over the target stimuli, in particular, during a certain predefined time interval, for example, within 600-1000 milliseconds, after the presentation of the target stimulus from a similar averaging upon presentation of a non-target stimulus, and in case of loss of functions of individual sections of the cerebral cortex, an additional refinement is used, which consists in the fact that in a particular case, the data obtained from the changed lower or increased number of electrodes, and the analysis of the dynamics of the distribution of potentials is carried out for all electrodes in conjunction with the use of machine learning methods or with the use of artificial intelligence. At the same time, at the training stage, information about the object selected by the user is obtained without using computer tools and transmitted to the system additionally, or the sequence of stimuli that the user should focus on is set and this sequence is used as a training one when comparing patterns and stimuli.

ПЕРЕЧЕНЬ ПРИНЯТЫХ СОКРАЩЕНИЙLIST OF ACCEPTED ABBREVIATIONS

БОС - биологическая обратная связь;BOS - biofeedback;

ИМК - интерфейс мозг-компьютер;IMC - brain-computer interface;

ПО - программное обеспечение;Software - software;

ЭКГ - электрокардиограмма;ECG - electrocardiogram;

ЭМГ - электромиограмма;EMG - electromyogram;

ЭОГ - электроокулограмма;EOG - electrooculogram;

ЭЭГ - электроэнцефалограмма;EEG - electroencephalogram;

BEM - boundaryelementmethod (метод граничных элементов);BEM - boundaryelementmethod (boundary element method);

CNN - convolutional neural network (сверточная нейронная сеть);CNN - convolutional neural network (convolutional neural network);

CSP - commonspatialpatterns (метод общих пространственных структур);CSP - commonspatialpatterns (method of general spatial structures);

ERD - event related desynchronization (вызванная десинхронизация);ERD - event related desynchronization (called desynchronization);

ERS - event related synchronization (вызванная синхронизация);ERS - event related synchronization;

FEM - finite element method (метод конечных элементов);FEM - finite element method;

FIR - finite impulse response (конечная импульсная характеристика);FIR - finite impulse response (finite impulse response);

FFT - fast Fourier transform (быстрое преобразование Фурье);FFT - fast Fourier transform (fast Fourier transform);

ICA - independent component analysis (метод независимых компонент);ICA - independent component analysis (independent component method);

IIR - infinite impulse response (бесконечная импульсная характеристика);IIR - infinite impulse response (infinite impulse response);

KNN - k nearest neighbors (метод k ближайших соседей);KNN - k nearest neighbors (k nearest neighbors method);

LDA - linear discriminant analysis (линейный дискриминантный анализ);LDA - linear discriminant analysis (linear discriminant analysis);

PCA - principal component analysis (метод главных компонент);PCA - principal component analysis (principal component analysis);

RNN - recurrent neural network (рекуррентная нейронная сеть);RNN - recurrent neural network (recurrent neural network);

SVM - support vector machine (метод опорных векторов).SVM - support vector machine (support vector method).

Claims (19)

1. Способ формирования системы управления мозг-компьютер, содержащей шлем с гнездами для установки системы электродов, усилитель биосигналов, формируемых на электродах, блок обработки биосигналов и блок формирования сигналов управления, где в способе формирования сигналов управления:1. A method of forming a brain-computer control system comprising a helmet with sockets for installing an electrode system, an amplifier for biosignals generated on electrodes, a biosignals processing unit and a control signal generation unit, where in the method of generating control signals: размещают на голове пользователя пробную систему контактных электродов с повышенной плотностью расположения электродов для измерения потенциалов головного мозга, используемых в качестве биосигналов;place on the user's head a test system of contact electrodes with an increased density of electrodes for measuring the potentials of the brain used as biosignals; предъявляют пользователю зрительные стимулы из заранее заданного набора стимулов и одновременно регистрируют потенциалы, наводимые на электродах;present visual stimuli to the user from a predetermined set of stimuli and simultaneously record potentials induced on the electrodes; выявляют специфические паттерны потенциалов головного мозга, возникающие при предъявлении стимулов;identify specific patterns of brain potentials that occur when stimuli are presented; из заранее заданного набора стимулов выбирают специфические стимулы, при предъявлении которых формируются специфические паттерны потенциалов головного мозга;from a predetermined set of stimuli, specific stimuli are selected, upon presentation of which specific patterns of brain potentials are formed; для специфических паттернов определяют места расположения специфических электродов, потенциалы которых обеспечивают возможность выявления специфических паттернов;for specific patterns determine the location of specific electrodes, the potentials of which provide the ability to identify specific patterns; заменяют пробную систему контактных электродов на шлем с гнездами для установки электродов с пониженной плотностью электродов, в котором по крайней мере часть электродов расположена в местах расположения специфических электродов;replace the test system of contact electrodes with a helmet with sockets for installing electrodes with a reduced density of electrodes, in which at least part of the electrodes is located at the locations of specific electrodes; при использовании шлема, обеспечивающего установку электродов в местах расположения специфических электродов, предъявляют пользователю специфические стимулы и отбирают уточненные специфические стимулы, при предъявлении пользователю которых формируются повторяющиеся для каждого стимула и отличающиеся от других стимулов паттерны потенциалов головного мозга;when using a helmet that provides the installation of electrodes at specific electrode locations, specific stimuli are presented to the user and specified specific stimuli are selected, when presented to the user, patterns of brain potentials repeating for each stimulus and different from other stimuli are formed; предъявляют пользователю понятийные стимулы, соответствующие уточненным специфическим стимулам, с возможностью представления пользователем образа специфического стимула и регистрируют электрическую активность мозга при предъявлении пользователю понятийного стимула;present to the user conceptual stimuli corresponding to the specified specific stimuli, with the possibility of presenting the user with an image of a specific stimulus and register the electrical activity of the brain when a conceptual stimulus is presented to the user; отбирают управляющие стимулы, соответствующие понятийным стимулам, такие, что при предъявлении пользователю понятийного стимула формируется управляющий паттерн, тождественный паттерну электрической активности мозга, соответствующий специфическому стимулу, соответствующему понятийному стимулу;selecting control stimuli corresponding to conceptual stimuli, such that upon presentation of a conceptual stimulus to the user, a control pattern is generated that is identical to the pattern of brain electrical activity corresponding to a specific stimulus corresponding to the conceptual stimulus; для отобранных управляющих стимулов формируют обучающую последовательность операций, заключающуюся в том, что регистрируют электрическую активность мозга, при выявлении паттерна потенциала головного мозга формируют образ стимула, соответствующего отобранному управляющему стимулу, предъявляют пользователю сформированный образ стимула, соответствующий паттерну потенциала головного мозга;a training sequence of operations is formed for the selected control stimuli, which consists in registering the electrical activity of the brain; when a pattern of the potential of the brain is detected, a stimulus image corresponding to the selected control stimulus is generated, the user is presented with a generated stimulus image corresponding to the brain potential pattern; повторяют обучающую последовательность операций по крайней мере двукратного выявления паттернов электрической активности головного мозга для каждого из отобранных стимулов;repeating the training sequence of operations of at least two-fold detection of patterns of electrical activity of the brain for each of the selected stimuli; назначают управляющие паттерны, соответствующие стимулам из числа отобранных стимулов командам управления системы управления мозг-компьютер;designate control patterns corresponding to the stimuli from among the selected stimuli to the control commands of the brain-computer control system; регистрируют электрическую активность мозга с возможностью выявления паттернов электрической активности головного мозга; иregister the electrical activity of the brain with the ability to identify patterns of electrical activity of the brain; and формируют системой управления мозг-компьютер команды управления, соответствующие управляющим паттернам, при выявлении управляющих паттернов.form the control system of the brain-computer control team corresponding to the control patterns, when identifying control patterns. 2. Способ по п. 1, отличающийся тем, что обучают систему управления мозг-компьютер путем получения от пользователя указаний о соответствии команды управления образу специфического управляющего стимула.2. The method according to p. 1, characterized in that the brain-computer control system is trained by receiving instructions from the user about the correspondence of the control command to the image of a specific control stimulus. 3. Способ по п. 2, отличающийся тем, что для количества управляющих стимулов, превышающего количество команд управления, исключают из совокупности управляющих стимулов стимулы с максимальным количеством ошибок.3. The method according to p. 2, characterized in that for the number of control stimuli in excess of the number of control commands, exclude from the set of control stimuli incentives with a maximum number of errors. 4. Способ по п. 1, в котором задают минимальное расстояние между гнездами для электродов в шлеме с пониженной плотностью электродов.4. The method according to p. 1, which set the minimum distance between the sockets for the electrodes in the helmet with a reduced density of electrodes. 5. Способ по п. 2, отличающийся тем, что команды управления используются для управления конечностями пользователя с использованием внешнего протеза.5. The method according to claim 2, characterized in that the control commands are used to control the limbs of the user using an external prosthesis.

Images