JP7390610B2 - Brain-computer interface system suitable for synchronizing one or more nonlinear dynamical systems with human brain activity - Google Patents
Brain-computer interface system suitable for synchronizing one or more nonlinear dynamical systems with human brain activity Download PDFInfo
- Publication number
- JP7390610B2 JP7390610B2 JP2022504528A JP2022504528A JP7390610B2 JP 7390610 B2 JP7390610 B2 JP 7390610B2 JP 2022504528 A JP2022504528 A JP 2022504528A JP 2022504528 A JP2022504528 A JP 2022504528A JP 7390610 B2 JP7390610 B2 JP 7390610B2
- Authority
- JP
- Japan
- Prior art keywords
- nonlinear
- nonlinear dynamical
- signal
- network
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005183 dynamical system Methods 0.000 title claims description 212
- 230000007177 brain activity Effects 0.000 title claims description 27
- 210000004556 brain Anatomy 0.000 claims description 66
- 239000011159 matrix material Substances 0.000 claims description 56
- 230000009471 action Effects 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 37
- 238000005312 nonlinear dynamic Methods 0.000 claims description 32
- 238000011156 evaluation Methods 0.000 claims description 25
- 238000012544 monitoring process Methods 0.000 claims description 23
- 230000000704 physical effect Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 17
- 230000006399 behavior Effects 0.000 claims description 12
- 230000000739 chaotic effect Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 11
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 230000001419 dependent effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 210000003710 cerebral cortex Anatomy 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 230000008878 coupling Effects 0.000 description 16
- 238000010168 coupling process Methods 0.000 description 16
- 238000005859 coupling reaction Methods 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000008925 spontaneous activity Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000000537 electroencephalography Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000004497 NIR spectroscopy Methods 0.000 description 3
- 230000006996 mental state Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000010355 oscillation Effects 0.000 description 3
- 230000000284 resting effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000001766 physiological effect Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010010904 Convulsion Diseases 0.000 description 1
- 101500023984 Drosophila melanogaster Synapsin-1 Proteins 0.000 description 1
- 101500023985 Drosophila melanogaster Synapsin-2 Proteins 0.000 description 1
- 208000027534 Emotional disease Diseases 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 208000030251 communication disease Diseases 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000001320 near-infrared absorption spectroscopy Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009257 reactivity Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Fuzzy Systems (AREA)
- Neurosurgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本発明は、所謂「ブレイン・コンピュータ・インタフェースシステム」又は「ブレイン・マシンインタフェースシステム」、即ち、人の脳活動に関連した生理的信号（脳波や近赤外線分光信号のような）を入力として受信し、前記信号を処理してそれら信号から他の作動デバイス（例えばロボットアーム）のための１つ以上のコマンドを抽出するのに適したシステムの分野に応用される。 The present invention is a so-called "brain-computer interface system" or "brain-machine interface system", that is, a system that receives as input physiological signals related to human brain activity (such as brain waves or near-infrared spectroscopic signals). , in the field of systems suitable for processing said signals and extracting from them one or more commands for other actuating devices (e.g. a robotic arm).
この種のシステムは、典型的には運動障害及び／又はコミュニケーション障害をもつ人々が外部と交流するのを支援するのに用いられる。特に、ブレイン・コンピュータ・インタフェースシステムは、適切なデバイスと組み合わせることで、これらの人々が、さもなければ（例えば脳や脊髄の損傷のために）排除されるであろう１つ以上のアクションを実行することで、それらの運動及び／又はコミュニケーションの限界を少なくとも部分的に克服することができる。 Systems of this type are typically used to help people with motor and/or communication disabilities interact with the outside world. In particular, brain-computer interface systems, in combination with appropriate devices, allow these people to perform one or more actions that they would otherwise be excluded from (e.g. due to brain or spinal cord injuries). By doing so, these movement and/or communication limitations can be at least partially overcome.
またこの種のシステムは、車両を運転している人の突然の眠気の始まりを検出するために、車両を運転している人の注意力と反応性のレベルを決定するためにも用いることができる。 This type of system can also be used to determine the level of alertness and reactivity of the person driving the vehicle, in order to detect the sudden onset of drowsiness in the person driving the vehicle. can.
現在のブレイン・コンピュータ・インタフェースシステムには、まず、脳波計の電極のような人の脳活動に関連する生理的信号を取得するのに適した１つ以上のデバイスが含まれる。脳波信号は増幅され、適切にフィルタリングされた後、適切な抽出器に送られ、生理的信号を取得した人の脳の状態の分類に関連する同じ特性から抽出するようにされる。前記特性は、例えば、ある特定の周波数帯における振幅等の単変量パラメータ及び／又は２つの信号間の同期性のような二変量パラメータで構成され得る。前述の抽出器によって抽出される特徴は、特定の「想像上の」アクション、即ち、システムの適用される人が思いついたアクションからなる脳の状態を認識するように予め訓練された数値分類器（通常はニューラルネットワーク）に入力される。分類器が前述の想像上のアクションからなる脳の状態を認識すると、前記想像上のアクションに対応した（即ち、「具体化する」）「物理的な」アクションを実行するコマンドを発生する。このコマンドは、前述の物理的アクション（情報の伝達のみでも良い）を効果的に実行するために適当な作動デバイスに送られる。 Current brain-computer interface systems first include one or more devices suitable for acquiring physiological signals related to a person's brain activity, such as electroencephalograph electrodes. The brain wave signal is amplified and suitably filtered before being sent to a suitable extractor so as to extract from the same characteristics relevant to the classification of the brain state of the person from whom the physiological signals were acquired. Said characteristics may, for example, consist of univariate parameters, such as the amplitude in a certain frequency band, and/or bivariate parameters, such as the synchrony between two signals. The features extracted by the aforementioned extractor are generated by a numerical classifier ( usually input into a neural network). Once the classifier recognizes a brain state consisting of the aforementioned imaginary action, it generates a command to perform a "physical" action that corresponds to (ie, "materializes") the imaginary action. This command is sent to the appropriate actuating device to effectively carry out the aforementioned physical action (which may just be information transfer).
公知のブレイン・コンピュータ・インタフェースシステムは、応答時間が相対的に長く、即ち、人は、分類器が学習して認識できるように（そして対応する物理的アクションを実行するコマンドを発生できるようにするために）、（想像上の）アクションについて長い時間考えなければならない。これに加えて、認識の精度はあまりにも低いままである。 Known brain-computer interface systems have relatively long response times, i.e., a person can generate commands that allow the classifier to learn and recognize (and perform corresponding physical actions). ), one has to think about the (imaginary) action for a long time. In addition to this, recognition accuracy remains too low.
本発明の目的は、同種の公知のシステムより高速でそしてより正確なブレイン・コンピュータ・インタフェースシステムを指し示すことにより前述の欠点を解決することにある。 The object of the present invention is to overcome the aforementioned drawbacks by pointing to a brain-computer interface system that is faster and more accurate than similar known systems.
本発明の目的は、
・人の脳の活動に関連する少なくとも１つの生理的信号を取得するため人に適用可能な手段である。例として脳波測定用の少なくとも１つの電極又は近赤外分光法のオプトード（「ＮＩＲＳ」として良く知られている）を含む取得手段と、
・（前記取得手段から取得した）前記生理的信号を増幅する増幅手段と、
・（前記増幅手段からの）前記増幅した信号をフィルタリングし、好ましくはバンドパス・フィルタを備えたフィルタリング手段と、
・（前記フィルタリング手段からの）前記フィルタリングされた信号から、（生理的信号を取得された）前記人の脳の状態の分類に関連した特徴を抽出する抽出手段と、
・前記抽出手段から抽出された前記特徴の少なくとも１つの数値分類器（好ましくは、ニューラルネットワーク）と、
を有し、
前記数値分類器が、前記抽出手段から抽出された前記特徴から想像上のアクションを含む前記人の脳の状態を認識するように訓練され（即ち、前記特徴が抽出された生理的信号に関連する脳の活動における後者の存在を認識するか否かのため、前記人の脳の状態が前記想像上のアクションを含んでいるか否かを確立するために前記特徴を調べるのに適している）、
前記数値分類器が、前記想像上のアクションを含む脳の状態を認識した際に、例えば前記想像上のアクションに対応する（即ち「具体化する」）物理的アクションの少なくとも１つの実行コマンドを発生するのに適している、
ブレイン・コンピュータ・インタフェースシステムにある。
The purpose of the present invention is to
- A means applicable to humans for obtaining at least one physiological signal related to the activity of the human brain. acquisition means comprising, for example, at least one electrode for electroencephalogram measurements or an optode for near-infrared spectroscopy (better known as "NIRS");
- amplification means for amplifying the physiological signal (obtained from the acquisition means);
- filtering means for filtering said amplified signal (from said amplification means), preferably comprising a bandpass filter;
- extraction means for extracting, from the filtered signal (from the filtering means), features relevant to the classification of the brain state of the person (from which the physiological signal was obtained);
- at least one numerical classifier (preferably a neural network) of the features extracted from the extraction means;
has
The numerical classifier is trained to recognize the state of the person's brain, including imaginary actions, from the features extracted from the extraction means (i.e., the features are related to the extracted physiological signals). recognizing the presence of the latter in brain activity or not, suitable for examining said characteristics in order to establish whether said person's brain state includes said imaginary action);
When the numerical classifier recognizes a brain state that includes the imaginary action, the numerical classifier generates, for example, a command to execute at least one physical action that corresponds to (i.e., "materializes") the imaginary action. suitable for
In the Brain Computer Interface System.
便宜上、本発明のこの説明及び以下の説明において、「想像上のアクション」という文言は、取得手段の適用された人が考えたアクションだけでなく、この人の心で実行され、そして、例えば突然の眠気として分類できる覚醒状態から睡眠状態へ突然移行するアクションも意味する。この場合、数値分類器が実行コマンドを発生する物理的なアクションは、想像上のアクションの具体的なアクションではなく、例えば当該人を起こす（覚醒状態に戻す）のに適した警報音信号を発生することである。 For convenience, in this and the following description of the invention, the phrase "imaginary action" refers not only to an action that is thought of by the person to whom the acquisition means is applied, but also is performed in this person's mind and that is, for example, suddenly It also refers to the action of suddenly transitioning from a wakeful state to a sleeping state, which can be classified as drowsiness. In this case, the physical action for which the numerical classifier generates an execution command is not a concrete action of the imaginary action, but for example generates an alarm signal suitable for waking up the person (returning them to an alert state). It is to be.
本発明によれば、前記ブレイン・コンピュータ・インタフェースシステムはまた、
・前記フィルタリングされた信号を処理し、処理された信号を前記抽出手段に送る少なくとも１つの非線形力学システム
を有し、
前記抽出手段が前記非線形力学システムによって処理された後に、前記フィルタリングされた信号から前記特徴を抽出する手段であり、
前記非線形力学システムが少なくとも２つの微分方程式を備え、
前記微分方程式の各々が、変数の時間経過を、該変数及び／又は前記微分方程式の別のものに含まれる少なくとも別の変数の関数として特定して、前記微分方程式の各々が前記微分方程式の少なくとも１つと相互依存するようにされ、また、
（前記非線形力学システムによって入力として受信した）前記フィルタリングされた信号が前記微分方程式の前記変数の少なくとも１つに対応し、
前記微分方程式の少なくとも１つが、（脳の活動と非線形力学システムとの間の結合の）第１の係数を乗じた前記フィルタリングされた信号に対応した前記変数を備え、
前記微分方程式の各々が、（前記非線形力学システムの変数間の結合の）第２の係数を乗じた前記フィルタリングされた信号に対応しない前記変数の少なくとも１つを備え、
前記方程式の１つ以上の前記変数に応じて前記信号が処理され抽出手段に送られ、また、
・前記第１の係数で仮定した少なくとも１つの値を記憶する第１のメモリと、
・前記第２の係数の各々について、前記第２の係数で仮定した少なくとも１つの値を記憶する第２のメモリと、
を有し、
前記第１の係数の値及び前記第２の係数各々の値は、前記非線形力学システムが、
・好ましくは固有の力学系を有し（即ち、自発的な活動を発生し）、そして、
・前記抽出手段に送られた前記信号において、前記人の脳の状態の分類に関連した前記特徴の１つ以上を明らかにし及び／又は強めるようにして前記フィルタリングされた信号を処理する、
ことを特徴とする。
According to the invention, the brain-computer interface system also comprises:
- at least one nonlinear dynamics system for processing the filtered signal and sending the processed signal to the extraction means;
means for extracting the features from the filtered signal after the extraction means has been processed by the nonlinear dynamics system;
the nonlinear dynamical system comprises at least two differential equations;
Each of said differential equations specifies the time course of a variable as a function of said variable and/or at least another variable included in another of said differential equations; made interdependent with one, and
the filtered signal (received as input by the nonlinear dynamics system) corresponds to at least one of the variables of the differential equation;
at least one of the differential equations comprises the variable corresponding to the filtered signal multiplied by a first coefficient (of the coupling between brain activity and a nonlinear dynamical system);
each of said differential equations comprises at least one of said variables that does not correspond to said filtered signal multiplied by a second coefficient (of a coupling between variables of said nonlinear dynamical system);
the signal is processed and sent to extraction means according to one or more of the variables of the equation, and
- a first memory that stores at least one value assumed for the first coefficient;
- a second memory that stores, for each of the second coefficients, at least one value assumed for the second coefficients;
has
The value of the first coefficient and the value of each of the second coefficient are such that the nonlinear dynamics system
- preferably has an inherent dynamical system (i.e. generates spontaneous activity), and
- processing the filtered signal in such a way as to reveal and/or enhance, in the signal sent to the extraction means, one or more of the features associated with the classification of the brain state of the person;
It is characterized by
非線形力学系は、互いに通信すると、互いに同期する傾向がある。２つの非線形力学系が互いに同期している場合、相互に関連した出力信号を発生する。脳の活動は、幾つかの点で、非線形力学系の挙動と同様であるので、発明の対象であるブレイン・コンピュータ・インタフェースシステムの非線形力学系は、脳に取得手段が適用される人の脳の活動と同期する傾向があり、こうして本発明のブレイン・コンピュータ・インタフェースシステムの非線形力学系からの信号は、取得手段によって取得された生理的信号と相関する。 Nonlinear dynamical systems tend to synchronize with each other when they communicate with each other. When two nonlinear dynamical systems are synchronized with each other, they produce output signals that are related to each other. Since the activity of the brain is similar in some respects to the behavior of a nonlinear dynamical system, the nonlinear dynamical system of the brain-computer interface system that is the subject of the invention is similar to the behavior of a human brain to which the acquisition means are applied. and thus the signals from the nonlinear dynamical system of the brain-computer interface system of the invention correlate with the physiological signals acquired by the acquisition means.
適切にフィルタリングされ、そして増幅された生理的信号は、非線形力学系の固有の力学を克服することなく前記系の挙動に影響を与えるように十分な強さで非線形力学系に注入される。前記第１の係数の値及び前記第２の各係数の値は、抽出手段に入る非線形力学系からの出力信号が、数値分類器の作業を容易にするために、入力信号の特定の特性を区別するのを「助ける」ように選択される。 A suitably filtered and amplified physiological signal is injected into the nonlinear dynamical system with sufficient strength to influence the behavior of the system without overcoming its inherent dynamics. The value of said first coefficient and the value of each of said second coefficients are such that the output signal from the nonlinear dynamical system entering the extraction means has certain characteristics of the input signal to facilitate the work of the numerical classifier. Selected to "help" distinguish.
因みに、非線形力学系には、少なくとも２つの微分方程式を含まねばならない。１つしか含まれていなければ、振動することができない、つまり、本質的なダイナミクスを持たないからである。換言すると、このシステムは自発的な活動をしないということである。 Incidentally, a nonlinear dynamical system must include at least two differential equations. If it contains only one, it cannot vibrate, that is, it has no essential dynamics. In other words, the system does not take spontaneous action.
因みに、非線形力学系は、数値的又は電子的に実現可能である。この第２のケースでは、システムの微分方程式の変数は、回路の量（即ち、電圧と電流）に対応する。 Incidentally, the nonlinear dynamical system can be realized numerically or electronically. In this second case, the variables of the system's differential equations correspond to circuit quantities (ie, voltages and currents).
例えば、複数のインバータリングを組み合わせることにより、非線形で無秩序な動的システムを集積回路の形で構築できることは知られている。有利には、この応用の場合、インバータリングの電流を変化させることにより、振動の動的特性を容易に制御することができ、脳波の痕跡に質的に非常に似た信号を生成することができる（Ｌ． Ｍｉｎａｔｉ、 Ｍ． Ｆｒａｓｃａ、 Ｎ． Ｙｏｓｈｉｍｕｒａ、 Ｌ． Ｒｉｃｃｉ、 Ｐ． Ｏｓｗｉｅｃｉｍｋａ、 Ｙ． Ｋｏｉｋｅ、 Ｋ． Ｍａｓｕ、 Ｈ． Ｉｔｏ、 Ｃｕｒｒｅｎｔ－Ｓｔａｒｖｅｄ Ｃｒｏｓｓ－Ｃｏｕｐｌｅｄ ＣＭＯＳ Ｉｎｖｅｒｔｅｒ Ｒｉｎｇｓ ａｓ Ｖｅｒｓａｔｉｌｅ Ｇｅｎｅｒａｔｏｒｓ ｏｆ Ｃｈａｏｔｉｃ ａｎｄ Ｎｅｕｒａｌ－Ｌｉｋｅ Ｄｙｎａｍｉｃｓ Ｏｖｅｒ Ｍｕｌｔｉｐｌｅ Ｆｒｅｑｕｅｎｃｙ Ｄｅｃａｄｅｓ、ＩＥＥＥ Ａｃｃｅｓｓ ７（２０１９） ５４６３８－５４６５７）。 For example, it is known that by combining multiple inverters, nonlinear and chaotic dynamical systems can be constructed in the form of integrated circuits. Advantageously, for this application, by varying the current in the inverter ring, the dynamic characteristics of the oscillations can be easily controlled, producing signals qualitatively very similar to brain wave traces. (L. Minati, M. Frasca, N. Yoshimura, L. Ricci, P. Oswiecimka , Y. Koike, K. Masu, H. Ito, Current-Starved Cross-Coupled CMOS Inverter Rings as Versatile Generators of Chaotic and Neural-Like Dynamics Over Multiple Frequency Decades, IEEE Access 7 (2019) 54638-54657).
非線形力学系は十分に知られている。より正確には、外部システムによる非線形力学系の同期の概念は確立されている（例えば、Ｓ． Ｂｏｃｃａｌｅｔｔｉ、 Ｔｈｅ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ ｏｆ ｃｈａｏｔｉｃ ｓｙｓｔｅｍｓ、 Ｐｈｙｓ． Ｒｅｐ． ３６６ （２００２）、 １－１０１）。同様に、脳波等の生理的信号の非線形性やカオス性も良く知られている。（例えば、Ｃ．Ｊ． Ｓｔａｍ、 Ｎｏｎｌｉｎｅａｒ ｄｙｎａｍｉｃａｌ ａｎａｌｙｓｉｓ ｏｆ ＥＥＧ ａｎｄ ＭＥＧ： ｒｅｖｉｅｗ ｏｆ ａｎ ｅｍｅｒｇｉｎｇ ｆｉｅｌｄ、 Ｃｌｉｎ Ｎｅｕｒｏｐｈｙｓｉｏｌ． １１６（２０５）、 ２２６６－３０１）しかし、我々の知る限り、人工的な非線形力学系やネットワークを生理的信号に同期させるという概念は、特にリアルタイムでは全く新しいものであり、学術文献や特許文献にも見当たらない。 Nonlinear dynamical systems are well known. More precisely, the concept of synchronization of nonlinear dynamical systems by external systems is established (eg, S. Boccaletti, The synchronization of chaotic systems, Phys. Rep. 366 (2002), 1-101). Similarly, the nonlinearity and chaotic nature of physiological signals such as brain waves are well known. (For example, C.J. Stam, Nonlinear dynamic analysis of EEG and MEG: review of an emerging field, Clin Neurophysiol. 116 (205), 2266- 301) However, as far as we know, artificial nonlinear dynamical systems and networks The concept of synchronizing signals to physiological signals is completely new, especially in real time, and is not found in academic or patent literature.
例えば、米国特許文献 ２００７ ０２１３７８６ Ａ１には、脳波のリアルタイム分析に基づいて、てんかん発作を防止するための閉ループシステムが記載されている。非線形力学や同期の概念が含まれているにもかかわらず、測定された信号を人工的な非線形力学系やネットワークに同期させるという基本的な概念をまったく欠いている。それどころか、本発明の中心的な概念とは対照的に、測定された信号から線形及び非線形の特徴が明示的に抽出されている。 For example, US patent document 2007 0213786 A1 describes a closed-loop system for preventing epileptic seizures based on real-time analysis of brain waves. Although it includes concepts of nonlinear dynamics and synchronization, it completely lacks the fundamental concept of synchronizing measured signals to artificial nonlinear dynamical systems or networks. On the contrary, in contrast to the central idea of the invention, linear and nonlinear features are explicitly extracted from the measured signal.
同様のシステムを記載している米国特許文献２０１０ ０１９８０９８ Ａ１にも同様の議論が当てはまる。この場合も、非線形力学は、測定信号の特徴を測定する方法に関してのみ記載されている。測定された信号を人工的な非線形力学系又はネットワークに同期させるというアイデアには一切言及されていない。 Similar arguments apply to US patent document 2010 0198098 A1, which describes a similar system. Again, nonlinear mechanics is only described in terms of how to measure the characteristics of the measurement signal. There is no mention of the idea of synchronizing the measured signal to an artificial nonlinear dynamical system or network.
ＷＯ ２０１１ １２３０５９ Ａ１には、脳波と想像上の動きに基づくブレイン・コンピュータ・インタフェースが記載されている。この場合も、非線形性は非線形回帰の文脈でしか言及されていない。測定された信号を人工的な非線形力学系又はネットワークに同期させるというアイデアには一切言及されていない。 WO 2011 123059 A1 describes a brain-computer interface based on brain waves and imaginary movements. Again, nonlinearity is only mentioned in the context of nonlinear regression. There is no mention of the idea of synchronizing the measured signal to an artificial nonlinear dynamical system or network.
最後に、米国特許文献 ２０１０ ０２９２７５２ Ａ１には、神経性信号を分析及び生成するためのシステム及び方法が提示されている。本発明は、信号の位相と振幅を分離し、所謂動的モードへの分解を行うという概念に基づいている。ここでも、測定された信号を人工的な非線形力学系やネットワークに同期させるという考え方には言及されていない。 Finally, in US Patent Document 2010 0292752 A1 a system and method for analyzing and generating neural signals is presented. The invention is based on the concept of separating the phase and amplitude of a signal and decomposing it into so-called dynamic modes. Again, the idea of synchronizing the measured signal to an artificial nonlinear dynamical system or network is not mentioned.
本発明の他の画期的な特徴は、以下の説明に例示され、従属請求項において参照される。 Other innovative features of the invention are illustrated in the following description and referenced in the dependent claims.
本発明の一態様によれば、ブレイン・コンピュータ・インタフェースシステムは、
・前記人の脳活動に関連する複数の生理的信号をそれぞれ取得する複数の前記取得手段と、
・（それぞれ前記複数の取得手段によって取得された）前記複数の生理的信号をそれぞれ増幅する複数の前記増幅手段と、
・（それぞれ前記複数の増幅手段からの）前記増幅された信号をそれぞれフィルタリングする複数の前記フィルタリング手段と、
・それぞれ前記フィルタリングされた信号を処理し、処理された信号を前記抽出手段に送る複数の前記非線形力学系からなる非線形力学ネットワーク（即ち、前記ネットワークの各非線形力学系は、それぞれのフィルタリングされた信号を入力として受け、それを処理し、処理された信号を前記抽出手段に送るのに適している。換言すると、前記複数のフィルタリング手段の１つによってフィルタリングされた各信号は、前記ネットワークのそれぞれの非線形力学系に入力として送られる）と、
を有し、
前記抽出手段は、前記ネットワークの非線形力学系で処理された後の前記フィルタリングされた信号から前記特徴を抽出する手段であり、
前記ネットワークの各非線形力学系は、
変数の時間経過を関数として指定する少なくとも１つの微分方程式を含み、
－前記変数
及び／又は
－前記系の別の前記微分方程式に含まれる、少なくとも１つの他の変数
及び／又は
－前記ネットワークの他の非線形力学系の前記微分方程式の１つに含まれる少なくとも１つの他の変数を含み、
前記ネットワークの各非線形力学系が、前記ネットワークの少なくとも１つの他の非線形力学系と相互依存するようにされ、
（前記複数の非線形力学系が入力として受けた）前記フィルタリングされた信号のそれぞれは、前記ネットワークの非線形力学系の前記微分方程式の前記変数の少なくとも１つに対応しており、
前記ネットワークの各非線形力学系において、前記微分方程式の少なくとも１つは、前記第１の係数を乗じた前記フィルタリングされた信号の１つに対応する前記変数からなり、
前記ネットワークの各非線形力学系において、前記フィルタリングされた信号の１つに対応していなく、且つ、前記ネットワークの他の非線形力学系の前記微分方程式の１つに含まれていなく、前記第２の係数を乗じた前記変数の少なくとも１つからなり、
前記ネットワークの各非線形力学系において、前記微分方程式の少なくとも１つは、前記フィルタリングされた信号の１つに対応しておらず、且つ、前記ネットワークの別の非線形力学系の前記微分方程式の１つにも含まれている前記変数の少なくとも１つからなり、（前記ネットワークの非線形力学系間の相互結合の）第３の係数を乗じたものであり、
前記抽出手段に送られる前記信号は、前記非線形方程式の前記変数に対応し、
前記ネットワークの各非線形力学系について、
－前記第１のメモリは、前記第１の係数により想定される少なくとも１つの値を記憶するのに適しており、
－前記第２のメモリは、前記第２の係数のそれぞれについて、前記第２の係数により想定される少なくとも１つの値を記憶するのに適し、
また、
・前記第３の係数の各々について、前記第３の係数が仮定する少なくとも１つの値を記憶するための第３のメモリ
を有し、
前記ネットワークの各非線形力学系について、前記第１の係数の値、前記第２の係数のそれぞれの値及び前記第３の係数のそれぞれの値は、前記非線形力学系が
・好ましくは、本質的なダイナミクスを有し、
そして
・前記抽出手段に送られた前記信号において、前記人の脳の状態の分類に関連する１つ以上の前記特徴が明らかにされるか、又は強められるように、前記フィルタリングされた信号を処理する
ことを特徴とする。
According to one aspect of the invention, a brain computer interface system includes:
- a plurality of said acquisition means each acquiring a plurality of physiological signals related to said person's brain activity;
- a plurality of said amplification means each amplifying said plurality of physiological signals (each acquired by said plurality of acquisition means);
- a plurality of said filtering means for respectively filtering said amplified signals (each from said plurality of amplification means);
- a nonlinear dynamical network consisting of a plurality of said nonlinear dynamical systems each processing said filtered signal and sending the processed signal to said extraction means (i.e. each nonlinear dynamical system of said network processes a respective filtered signal) is suitable for receiving as input, processing it and sending a processed signal to said extraction means.In other words, each signal filtered by one of said plurality of filtering means is adapted to receive a signal from each of said networks. sent as input to the nonlinear dynamical system) and
has
The extraction means is means for extracting the feature from the filtered signal after being processed by the nonlinear dynamical system of the network,
Each nonlinear dynamical system of the network is
at least one differential equation specifying the passage of a variable over time as a function;
- said variable; and/or - at least one other variable included in another said differential equation of said system; and/or - at least one other variable included in one of said differential equations of another nonlinear dynamical system of said network. Contains other variables,
each nonlinear dynamical system of the network is made interdependent with at least one other nonlinear dynamical system of the network;
each of the filtered signals (received as input by the plurality of nonlinear dynamical systems) corresponds to at least one of the variables of the differential equation of the nonlinear dynamical system of the network;
in each nonlinear dynamical system of the network, at least one of the differential equations consists of the variable corresponding to one of the filtered signals multiplied by the first coefficient;
In each nonlinear dynamical system of the network, one of the filtered signals does not correspond to one of the differential equations of another nonlinear dynamical system of the network, consisting of at least one of said variables multiplied by a coefficient;
In each nonlinear dynamical system of the network, at least one of the differential equations does not correspond to one of the filtered signals, and one of the differential equations of another nonlinear dynamical system of the network consisting of at least one of the variables included in the network, multiplied by a third coefficient (of the mutual coupling between the nonlinear dynamical systems of the network),
the signal sent to the extraction means corresponds to the variable of the nonlinear equation;
For each nonlinear dynamical system of the network,
- said first memory is suitable for storing at least one value assumed by said first coefficient;
- said second memory is suitable for storing, for each of said second coefficients, at least one value assumed by said second coefficients;
Also,
- a third memory for storing, for each of the third coefficients, at least one value assumed by the third coefficients;
For each nonlinear dynamical system of the network, the value of the first coefficient, the value of each of the second coefficients, and the value of each of the third coefficients are such that the nonlinear dynamical system is Has dynamics,
and - processing the filtered signal such that in the signal sent to the extraction means, one or more of the features relevant to the classification of the brain state of the person are revealed or enhanced. It is characterized by:
本発明のこの態様によれば、ブレイン・コンピュータ・インタフェースシステムは、複数の非線形力学系を備え、各非線形力学系は、有利には、前記非線形力学系の少なくとも別のものと結合されている。換言すると、非線形力学系は、相互に作用する、即ち、相互に同期するレベルを有している。この結果、非線形力学系から出てきて抽出手段に入る信号は、後者が入力信号の特定の特徴を区別するのに一層役立ち、数値分類器のタスクを容易にする。 According to this aspect of the invention, the brain-computer interface system comprises a plurality of nonlinear dynamical systems, each nonlinear dynamical system advantageously coupled to at least another of said nonlinear dynamical systems. In other words, a nonlinear dynamical system has levels that interact, ie, synchronize with each other. As a result of this, the signal emerging from the nonlinear dynamical system and entering the extraction means is more useful for the latter to distinguish particular features of the input signal, facilitating the task of the numerical classifier.
因みに、カップリングの強度が増すにつれ、前述の同期は、最初は位相変動のコヒーレンスの形で現れ、最終的には振幅変動のオーバラップの形でも現れる。一例として、この現象の始まりは、生体学的信号や非線形システムからくる信号において、「位相歪同期」として知られる指標を通じて特に有利な方法で定量化することができる（Ｌ． Ｍｉｎａｔｉ、 Ｎ． Ｙｏｓｈｉｍｕｒａ、 Ｍ． Ｆｒａｓｃａ、 Ｓ． Ｄｒｏｚｄｚ、 Ｙ． Ｋｏｉｋｅ、 Ｗａｒｐｅｄ ｐｈａｓｅ ｃｏｈｅｒｅｎｃｅ： Ａｎ ｅｍｐｉｒｉｃａｌ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ ｍｅａｓｕｒｅ ｃｏｍｂｉｎｉｎｇ ｐｈａｓｅ ａｎｄ ａｍｐｌｉｔｕｄｅ ｉｎｆｏｒｍａｔｉｏｎ、 Ｃｈａｏｓ ２９（２０１９）、 ０２１１０２）。 Incidentally, as the strength of the coupling increases, the aforementioned synchronization appears first in the form of coherence of phase fluctuations and eventually also in the form of overlap of amplitude fluctuations. As an example, the onset of this phenomenon can be quantified in a particularly advantageous way in biological signals and signals coming from nonlinear systems through an index known as "phase distortion synchronization" (L. Minati, N. Yoshimura , M. Frasca, S. Drozdz , Y. Koike, Warped phase coherence: An empirical synchronization measurement combining phases and amplitude information, Chaos 29 (2019), 021102).
一例として、脳の活動から記録された信号をリアルタイムに解析することからスタートするロボットアームを制御するために、ニューラルネットワーク（多層パーセプトロン）形式の数値分類器に基づくブレイン・コンピュータ・インタフェースシステムを適用することが知られている（Ｌ． Ｍｉｎａｔｉ、 Ａ． Ｎｉｇｒｉ、 Ｃ． Ｒｏｓａｚｚａ、 Ｍ．Ｇ． Ｂｒｕｚｚｏｎｅ、 Ｔｈｏｕｇｈｔｓ ｔｕｒｎｅｄ ｉｎｔｏ ｈｉｇｈ－ｌｅｖｅｌ ｃｏｍｍａｎｄｓ： Ｐｒｏｏｆ－ｏｆ－ｃｏｎｃｅｐｔ ｓｔｕｄｙ ｏｆ ａ ｖｉｓｉｏｎ－ｇｕｉｄｅｄ ｒｏｂｏｔ ａｒｍ ｄｒｉｖｅｎ ｂｙ ｆｕｎｃｔｉｏｎａｌ ＭＲＩ （ｆＭＲＩ） ｓｉｇｎａｌｓ、 Ｍｅｄ Ｅｎｇ Ｐｈｙｓ． ３４（２０１２）、 ６５０－８）。 As an example, we apply a brain-computer interface system based on a numerical classifier in the form of a neural network (multilayer perceptron) to control a robotic arm, starting from real-time analysis of signals recorded from brain activity. (L. Minati, A. Nigri, C. Rosazza, M.G. Bruzzone, Thoughts turned into high-level commands: Proof-of-concept s) study of a vision-guided robot arm driven by functional MRI (fMRI) signals, Med Eng Phys. 34 (2012), 650-8).
同様に、ニューラルネットワークではなく、脳の活動からの特定の特徴の抽出に基づく一連の関係と動作ルールを含むハイブリッドコントローラからなる分類器に基づくブレイン・コンピュータ・インタフェースシステムの同様の応用例が知られている（Ｌ． Ｍｉｎａｔｉ、 Ｎ． Ｙｏｓｈｉｍｕｒａ、 Ｙ． Ｋｏｉｋｅ、 Ｈｙｂｒｉｄ Ｃｏｎｔｒｏｌ ｏｆ ａ Ｖｉｓｉｏｎ－Ｇｕｉｄｅｄ Ｒｏｂｏｔ Ａｒｍ ｂｙ ＥＯＧ、 ＥＭＧ、 ＥＥＧ Ｂｉｏｓｉｇｎａｌｓ ａｎｄ Ｈｅａｄ Ｍｏｖｅｍｅｎｔ Ａｃｑｕｉｒｅｄ ｖｉａ ａ Ｃｏｎｓｕｍｅｒ－Ｇｒａｄｅ Ｗｅａｒａｂｌｅ Ｄｅｖｉｃｅ、 ＩＥＥＥ Ａｃｃｅｓｓ ４（２０１６）、 ９５２８－９５４１）。 Similarly, similar applications of brain-computer interface systems based on classifiers consisting not of neural networks but of hybrid controllers containing a set of relations and behavioral rules based on the extraction of specific features from brain activity are known. (L. Minati, N. Yoshimura, Y. Koike, Hybrid Control of a Vision-Guided Robot Arm by EOG, EMG, EEG Biosignals and Head Mov element Acquired via a Consumer-Grade Wearable Device, IEEE Access 4 (2016), 9528-9541).
本発明の一態様によれば、前記抽出手段は、
・前記非線形力学系で処理された後の前記フィルタリングされた信号から、
又は
・前記非線形力学系が１つ以上である場合には、前記ネットワークの非線形力学系で処理された後の前記フィルタリングされた複数の信号から、だけでなく
・前記非線形力学系で処理されずにフィルタリングされた前記信号から
又は
・前記非線形力学系が１つ以上である場合に、前記ネットワークの非線形力学系で処理されずにフィルタリングされた前記複数の信号から
の前記特徴を抽出する手段である。
According to one aspect of the invention, the extraction means comprises:
- From the filtered signal after being processed by the nonlinear dynamical system,
or - if said nonlinear dynamical system is one or more, from said filtered signals after being processed by said nonlinear dynamical system of said network, but also - not processed by said nonlinear dynamical system. or - if there is one or more nonlinear dynamical systems, from the plurality of signals filtered without being processed by the nonlinear dynamical system of the network; be.
本発明の別の態様によれば、ブレイン・コンピュータ・インタフェースシステムは、
・非線形変換器（例えば、シグモイド関数）を有し、
前記非線形変換器が、
－前記信号のダイナミクスの特定の間隔を明らかにし、及び／又は強化するように、前記フィルタリングされた信号を変換するため（ブレイン・コンピュータ・インタフェーシングの目的に最も関連する信号コンポーネント、例えば、ゼロ－クロスイベントを強調するように）、及び
－前記非線形変換器によって変換された後の前記フィルタリングされた信号を処理するのに適している前記非線形力学系に変換された信号を送るため
に設けられ、
又は、前記非線形力学系が複数の場合には、
・複数の非線形変換器（例えば、シグモイド関数）を有し、
前記複数の非線形変換器がそれぞれ
－前記フィルタリングされた信号を変換して、前記信号のダイナミクスの特定の間隔を明らかにし、及び／又は強化するように（例えば、ゼロ－クロスイベント等、ブレイン・コンピュータ・インタフェーシングの目的に最も関連する信号成分を強調するように）、及び
－変換された信号を、前記ネットワークの非線形力学系に送るため
に設けられ、
前記ネットワークの非線形力学系は、前記非線形変換器によって変換された後の前記フィルタリングされた信号を処理するのにそれぞれ適している。
According to another aspect of the invention, a brain computer interface system includes:
- has a nonlinear transformer (e.g. sigmoid function),
The nonlinear converter is
- to transform the filtered signal so as to reveal and/or enhance specific intervals of the signal dynamics (signal components most relevant for brain-computer interfacing purposes, e.g. zero); (so as to emphasize cross-events), and - provided for transmitting the transformed signal to the nonlinear dynamical system, which is suitable for processing the filtered signal after being transformed by the nonlinear transformer,
Or, if there are multiple nonlinear dynamical systems,
・Has multiple nonlinear transformers (e.g., sigmoid functions),
Each of the plurality of non-linear transformers - transforms the filtered signal to reveal and/or enhance particular intervals of the dynamics of the signal (e.g. zero-crossing events, etc.) - so as to emphasize the signal components most relevant to the purpose of interfacing), and - provided for sending the transformed signal to the nonlinear dynamical system of said network,
The nonlinear dynamical system of the network is each suitable for processing the filtered signal after being transformed by the nonlinear transformer.
本発明の別の態様によれば、前記抽出手段は、
・前記非線形力学系で処理された後の前記変換された信号から
又は
・前記非線形力学系が１つ以上である場合に、前記ネットワークの複数の非線形力学系によって処理された後の前記複数の変換信号から
だけでなく
・前記非線形力学系で処理されずに変換された前記信号から
又は
・前記非線形力学系が１つ以上である場合に、前記ネットワークの複数の非線形力学系から処理されずに変換された前記複数の信号から
の前記特徴を抽出する手段である。
According to another aspect of the invention, the extraction means comprises:
- from the transformed signal after being processed by the nonlinear dynamical system; or - if there is more than one nonlinear dynamical system, from the plurality of nonlinear dynamical systems after being processed by the plurality of nonlinear dynamical systems of the network. not only from a transformed signal; - from said signal transformed without being processed by said nonlinear dynamical system; or - from a plurality of nonlinear dynamical systems of said network, if said nonlinear dynamical system is one or more. means for extracting the feature from the plurality of signals converted into .
本発明の別の態様によれば、前記ブレイン・コンピュータ・インタフェースシステムは、第１の評価手段を有し、
前記第１の評価手段が、
・前記ネットワークの非線形力学系で処理された前記信号を受信するため、
・前記入力信号の各々が、受信した前記入力信号の他の各々とどの程度同期しているかを評価するため、及び
・前記入力されて受け取った信号に関する第１の同期マトリクス（より一般的には統計的相互依存関係）を発生するため
に設けられ、
前記抽出手段は、前記第１の同期マトリクスに挿入された（即ち、前記第１の評価手段によって評価された後の）前記ネットワークの非線形力学系によって処理された前記信号から前記特徴を抽出する手段である。
According to another aspect of the invention, the brain computer interface system comprises first evaluation means,
The first evaluation means is
- to receive the signal processed by the nonlinear dynamical system of the network;
- to assess how synchronized each of said input signals is with each other of said input signals received; statistical interdependence).
The extraction means extracts the feature from the signal processed by the nonlinear dynamical system of the network inserted into the first synchronization matrix (i.e. after being evaluated by the first evaluation means). It is.
本発明の別の態様によれば、前記ブレイン・コンピュータ・インタフェースシステムは、第２の評価手段を有し、
前記第２の評価手段が
・前記非線形変換器が存在するが、前記ネットワークの非線形力学系によって処理されていない場合に、前記フィルタリングされ、場合により変換された信号を入力として受信するため、
・前記入力信号の各々が、受信した前記入力信号の他の各々とどの程度同期しているかを評価するため、及び
・前記受信した入力信号に関する第２の同期マトリクスを発生するため
に設けられ、
前記抽出手段は、前記第１の同期マトリクスに挿入された前記ネットワークの非線形力学系によって処理された前記信号だけでなく、前記第２の同期マトリクスに挿入された前記ネットワークの非線形力学系によって処理されていないが、前記非線形変換器が存在する場合にはフィルタリングされ、場合により変換された前記信号からも、前記特徴を抽出する手段である。
According to another aspect of the invention, the brain computer interface system comprises second evaluation means,
said second evaluation means: - receive as input said filtered and optionally transformed signal, if said nonlinear transformer is present but not processed by the nonlinear dynamical system of said network;
- for evaluating how synchronized each of said input signals is with each other of said received input signals; and - for generating a second synchronization matrix for said received input signals;
The extraction means extracts not only the signal processed by the nonlinear dynamical system of the network inserted into the first synchronization matrix, but also the signal processed by the nonlinear dynamical system of the network inserted into the second synchronization matrix. means for extracting the features from the signal which has not been converted, but has been filtered and optionally transformed if the non-linear transformer is present.
本発明の別の態様によれば、前記抽出手段は、
・前記第１同期マトリクスに挿入された、前記ネットワークの非線形力学系によって処理された前記信号から、及び
・前記第２同期マトリクスに挿入された前記ネットワークの非線形力学系によって処理されていないが、前記非線形変換器が存在する場合には、前記フィルタリングされ、場合により変換された信号から、
だけでなく、
・前記ネットワークの非線形力学系によって処理されたが、前記第１の評価手段によって評価されていない前記信号から、
及び／又は
・前記ネットワークの非線形力学系によって処理されず、前記第２の評価手段によって評価もされていないが、前記非線形変換器が存在する場合には、前記フィルタリングされ、場合により変換された信号から、
前記特徴を抽出する手段である。
According to another aspect of the invention, the extraction means comprises:
- from the signal processed by the nonlinear dynamical system of the network inserted into the first synchronization matrix; and - from the signal not processed by the nonlinear dynamical system of the network inserted into the second synchronization matrix. If a non-linear transformer is present, from said filtered and optionally transformed signal:
but also
- from the signal processed by the nonlinear dynamical system of the network but not evaluated by the first evaluation means;
and/or - not processed by the nonlinear dynamical system of said network and not evaluated by said second evaluation means, but if said nonlinear transformer is present, said filtered and optionally transformed signal; from,
It is means for extracting the features.
本発明の別の態様によれば、前記非線形力学系が１つ以上である場合において、前記複数の取得手段は、脳波記録のための複数の電極を有し、
前記ブレイン・コンピュータ・インタフェースシステムは、前記フィルタリングされた信号から、前記電極が前記人の大脳皮質に配置された場合に取得されるであろう複数の生理的信号を再構築するのに適した少なくとも１つの空間フィルタを含む別のフィルタリング手段を有し、
前記ネットワークの非線形力学系は、前記空間フィルタで処理された後の前記フィルタリングされた信号を処理するのにそれぞれ適しており、そして前記非線形変換器が存在する場合にはおそらく変換される。
According to another aspect of the present invention, in the case where there is one or more nonlinear dynamical systems, the plurality of acquisition means have a plurality of electrodes for electroencephalogram recording,
The brain-computer interface system comprises at least one suitable for reconstructing from the filtered signals a plurality of physiological signals that would be obtained if the electrodes were placed in the cerebral cortex of the person. further filtering means including one spatial filter;
The nonlinear dynamical system of the network is each suitable for processing the filtered signal after processing with the spatial filter and possibly transforming the nonlinear transformer if present.
本発明の別の態様によれば、前記非線形力学系、又は、前記非線形力学系が１つ以上である場合の前記ネットワークの非線形力学系の少なくとも１つは、少なくとも３つの前記微分方程式からなる。 According to another aspect of the invention, the nonlinear dynamical system, or at least one of the nonlinear dynamical systems of the network when there is one or more nonlinear dynamical systems, consists of at least three of the differential equations. .
ところで、非線形力学系が少なくとも３つの微分方程式を含む場合は、所謂カオス的な振る舞いをする可能性がある。非線形力学系は、前記系に含まれる微分方程式に関連するパラメータが僅かに変化するだけで大幅に変化する可能性がある場合にカオス的な振る舞いをするが、出力信号はノイズとして分類される。非線形力学系がカオス的な振る舞いをする場合、その系は相転移を示すことができる、つまり、その系は非常に幅広い動作のレパートリーへの手段を有する。 By the way, when a nonlinear dynamical system includes at least three differential equations, it may exhibit so-called chaotic behavior. A nonlinear dynamical system behaves chaotically when a small change in the parameters associated with the differential equations contained in the system can change significantly, but the output signal is classified as noise. When a nonlinear dynamical system behaves chaotically, it can exhibit phase transitions, ie, it has access to a very wide repertoire of behaviors.
非線形力学系がカオス的な振る舞いをするという事実は知られている。したがって、これ以上の詳細を提供することにこだわるつもりはない。 It is known that nonlinear dynamical systems behave chaotically. Therefore, I will not bother providing further details.
本発明の別の態様によれば、少なくとも３つの前記微分方程式からなる前記ネットワークの前記非線形力学系、又は、１つ以上の前記非線形力学系において、前記非線形力学系が１つ以上である場合には、前記第１の係数の値、前記第２の係数の値、及び存在する場合には前記第３の係数の値は、これらの非線形力学系が１つ以上である場合には、少なくとも３つの前記微分方程式からなる前記非線形力学系、又は、前記１つ以上の非線形力学系がカオス的な振る舞いをするようなものである。 According to another aspect of the invention, in the nonlinear dynamical system of the network consisting of at least three differential equations, or one or more of the nonlinear dynamical systems, there is one or more nonlinear dynamical systems. In this case, the value of the first coefficient, the value of the second coefficient, and the value of the third coefficient, if present, are such that when there is one or more of these nonlinear dynamical systems, , the nonlinear dynamical system consisting of at least three differential equations, or the one or more nonlinear dynamical systems exhibiting chaotic behavior.
非線形力学系が少なくとも３つの微分方程式を含む場合、非線形力学系がカオス的な振る舞いをするように、そのパラメータを選択することが有利な場合がある。公知のように、脳の活動は、特定の態様において、非線形力学系の挙動に似ていることに加えて、カオス的な要素を有し得る。したがって、本発明のこの態様によれば、非線形力学系又は複数の非線形力学系のネットワークと、取得手段が適用される人の脳の活動との間の同期性はさらに向上する。 If the nonlinear dynamical system contains at least three differential equations, it may be advantageous to choose its parameters such that the nonlinear dynamical system behaves chaotically. As is known, brain activity, in addition to resembling the behavior of a nonlinear dynamical system, can have chaotic elements in certain aspects. According to this aspect of the invention, therefore, the synchrony between the nonlinear dynamical system or network of nonlinear dynamical systems and the brain activity of the person to whom the acquisition means are applied is further improved.
本発明の別の態様によれば、前記非線形力学系、又は、前記非線形力学系が１つ以上である場合には、前記ネットワークの非線形力学系の少なくとも１つにおいて、前記第１の係数の値、前記第２の係数の値、及び、存在する場合には前記第３の係数の値は、前記非線形力学系、又は、前記非線形力学系が１つ以上である場合には、前記ネットワークの非線形力学系の少なくとも１つにおいて、創発現象が顕在化するようなものである。 According to another aspect of the present invention, in the nonlinear dynamical system, or when there is one or more nonlinear dynamical systems, in at least one of the nonlinear dynamical systems of the network, the first coefficient is value, the value of the second coefficient, and the value of the third coefficient, if present, of the nonlinear dynamical system or, if there is one or more nonlinear dynamical systems, the network In at least one of the nonlinear dynamical systems, an emergent phenomenon appears.
本発明の別の態様によれば、前記ブレイン・コンピュータ・インタフェースシステムは、
・前記デジタル分類器からの前記コマンドを受信し、例えば前記想像上のアクションに対応する前記物理的アクション（前記数値分類器が学習された認識時の前記人の脳の状態で構成される）を実行するマシン、
・前記非線形力学系、又は前記非線形力学系が複数の場合、前記ネットワークの各非線形力学系において、前記第１の係数の値、前記第２の係数の各々の値、及び存在する場合には、前記第３の係数の各々の値を更新する監視ユニット
を有する。
According to another aspect of the invention, the brain computer interface system comprises:
- receiving said commands from said digital classifier, and e.g. machine to run,
- When the nonlinear dynamical system or the nonlinear dynamical system is plural, in each nonlinear dynamical system of the network, the value of the first coefficient, the value of each of the second coefficient, and if it exists, , a monitoring unit that updates the value of each of the third coefficients.
本発明の別の態様によれば、前記ブレイン・コンピュータ・インタフェースシステムは、前記想像上のアクションと（前記マシンによって実行される）前記物理的なアクションとの間の対応関係についての自身の評価を前記監視ユニットに伝達するために、ユーザ（前記獲得手段が適用される人であり得る）によって操作可能なフィードバック手段を有し、
前記監視ユニットは、
・入力として、
－前記フィルタリングされた信号であって、前記非線形変換器が存在する場合には、変換される可能性があるが、前記非線形力学系によって処理されない信号
又は、
前記非線形力学系が複数の場合には、
－前記非線形変換器は存在するが、前記ネットワークの非線形力学系によって処理されず、存在する場合には前記第２の評価手段によって評価されない場合には、前記フィルタリングされ、場合により変換された信号
を受信し、
・前記非線形力学系、又は、前記非線形力学系が複数の場合は、前記ネットワークの各非線形力学系において、前記第１の係数の値、前記第２の係数の各々の値、及び、存在する場合は前記第３の係数の各々の値を、前記ユーザによって伝えられた評価に従って更新する
のに適している。
According to another aspect of the invention, the brain-computer interface system develops its assessment of the correspondence between the imaginary action and the physical action (performed by the machine). comprising feedback means operable by a user (which may be the person to whom the acquisition means is applied) to communicate to the monitoring unit;
The monitoring unit includes:
・As input,
- said filtered signal, which, if said nonlinear transformer is present, may be transformed but not processed by said nonlinear dynamical system; or
When there are multiple nonlinear dynamical systems,
- if said nonlinear transformer is present but not processed by the nonlinear dynamical system of said network and, if present, evaluated by said second evaluation means, said filtered and optionally transformed signal; receive,
- If the nonlinear dynamical system or the nonlinear dynamical system is plural, in each nonlinear dynamical system of the network, the value of the first coefficient, the value of each of the second coefficient, and If so, it is suitable to update the value of each of said third coefficients according to the rating conveyed by said user.
本発明の別の態様によれば、ブレイン・コンピュータ・インタフェースシステムは、
・前記人の脳活動に直接関連しない少なくとも１つのさらなる生理的信号（例えば、心拍等）を取得するための、前記人に適用可能な別の取得手段と、
・前記マシンによる前記物理的アクションの実行を検出するために、前記マシンを監視する手段と
を有し、
前記監視ユニットは、
・前記更なる生理的信号の検査から、前記想像上のアクションと前記物理的アクションとの間の対応関係を評価し、
・前記非線形力学系、又は前記非線形力学系が１つ以上である場合には前記ネットワークの各非線形力学系において、前記監視ユニットによって行われた評価に従って、前記第１の係数の値、前記第２の係数のそれぞれの値、及び存在する場合には前記第３の係数のそれぞれの値を更新する
のに適している。
According to another aspect of the invention, a brain computer interface system includes:
- another acquisition means applicable to said person for acquiring at least one further physiological signal (e.g. heartbeat, etc.) not directly related to said person's brain activity;
- means for monitoring the machine to detect execution of the physical action by the machine;
The monitoring unit includes:
- assessing the correspondence between the imaginary action and the physical action from the examination of the further physiological signals;
- in the nonlinear dynamical system, or in each nonlinear dynamical system of the network if there is one or more nonlinear dynamical systems, the value of the first coefficient, the value of the first coefficient, according to the evaluation performed by the monitoring unit; 2 and, if present, of said third coefficient.
監視ユニットが行う評価は間接的なものであり、ユーザ（即ち、取得手段が適用される人）による感情的な反応、特にフラストレーションの認識に基づいている。一例として、誤った操作を行った場合には、一過性の心拍の加速と皮膚コンダクタンスの増加が予想される。 The evaluation carried out by the monitoring unit is indirect and is based on the perception of emotional reactions, especially frustration, by the user (i.e. the person to whom the acquisition means are applied). For example, if an incorrect operation is performed, a temporary acceleration of the heartbeat and an increase in skin conductance are expected.
本発明の別の態様によれば、前記監視ユニットは以下のために適している。
・入力として
－ 前記非線形力学系によって処理された前記信号
又は
－前記非線形力学系が１つ以上である場合、前記ネットワークの非線形力学系によって処理された前記信号
を受信し、
・前記非線形力学系、又は前記非線形力学系が複数の場合は、前記ネットワークの各非線形力学系において、前記非線形力学系で処理された前記信号、又は前記非線形力学系が複数の場合は前記ネットワークの非線形力学系で処理された前記信号の関数として、前記第１の係数の値、前記第２の係数のそれぞれの値、及び存在する場合は前記第３の係数のそれぞれの値を更新する
のに適している。
According to another aspect of the invention, the monitoring unit is suitable for:
- receiving as input - the signal processed by the nonlinear dynamical system; or - if there is one or more of the nonlinear dynamical systems, the signal processed by the nonlinear dynamical system of the network;
- In the nonlinear dynamical system, or in each nonlinear dynamical system of the network if there is a plurality of nonlinear dynamical systems, the signal processed by the nonlinear dynamical system, or the signal processed in the nonlinear dynamical system if there is a plurality of nonlinear dynamical systems. updating the value of the first coefficient, the respective value of the second coefficient, and the respective value of the third coefficient, if present, as a function of the signal processed with a nonlinear dynamical system of a network; suitable for.
本発明のさらなる目的及び利点は、その例示的な実施形態について以下に記載した詳細な説明、及び単に非限定的な例として与えられた添付図面から明らかになる。
本明細書の以下の説明において、ある図面には明示されていないが、他の図面にある要素を参照して示されることもある。描かれた異なる要素のスケールや比率は、必ずしも実際のものと一致しない。 In the following description of this specification, reference may be made to elements that are not explicitly shown in one drawing but are located in other drawings. The scale and proportions of the different elements depicted do not necessarily correspond to the actual ones.
図１は、人２が考えた、あるいは人の心が行った想像上のアクションを認識し、当該想像上のアクションを認識した上で、マシン３に対して物理的なアクション（当該想像上のアクションを実現する可能性のあるもの）の実行を命令するために、人２に適用されるブレイン・コンピュータ・インタフェースシステム１を示している。
Figure 1 shows an example in which a
本発明の対象であるシステム１は、人２の脳活動に関連する生理的信号を取得するのに適したデバイスを含んでいる。既に「取得手段」という表現で識別されたこのデバイスは、一例として、脳波用の電極又は近赤外線分光法用のオプトードを含むことができる。脳波計用の電極４（図１では人２の頭皮に付されている）によって生理的信号が取得されるとすると、当該信号は脳波計の信号に相当する。
The
電極４によって取得された信号は、増幅器５に送られ、この増幅器は、前記信号を増幅することに加えて、デジタル・ドメインに変換することができる。このように増幅された信号は、人２の非関連活動に対応する信号の成分を減衰させるために、好ましくはバンドパス・タイプのフィルタ６に送られる。より正確には、フィルタ６は、低すぎる周波数（人２の運動のアーチファクトであるため）と、高すぎる周波数（人２の筋肉運動のアーチファクトであるため）との両方を減衰させることが好ましい。フィルタリングされた信号は、非線形変換器７（例えば、シグモイド関数）に送られ、その分布を便利良く再形成する。特に、フィルタリングされた信号は、前記信号のダイナミクスの特定範囲を強調するように変換される。つまり、想像上のアクション（例えば、ゼロクロッシングイベント）を含む大脳の状態を認識する目的で、ブレイン・コンピュータのインタフェーシングに最も関連する信号成分を強調するためである。
The signal acquired by the
このように変換された信号は、少なくとも２つ、好ましくは少なくとも３つの微分方程式９からなる非線形力学系８に送られる（図１では、例として、「ｄ１、ｄ２、ｄ３」に等しい数で示されている）。各方程式９は、ある変数の時間経過を、当該変数及び／又は別の方程式９にも含まれる少なくとも別の変数の関数として明記しており、各方程式９が少なくとも別の方程式と相互依存するようになっている。（システム８が入力として受けた）変換された信号は、例えば、文字「ｓ」で識別可能な方程式９の少なくとも１つの変数に対応する。方程式９の少なくとも１つは、前記変数「ｓ」に、例えば文字「ｋ」で識別可能な（人２の脳活動とシステム８との間の結合の）第１の係数を乗じたものである。方程式９の各々は、変換された信号に対応していない（つまり、「ｓ」ではない）少なくとも１つの変数に、（方程式９の変数間、即ち、システム８の変数間の相互結合の）第２の係数を乗じたものをさらに含んでいる。第２の係数は、例えば３つであり、それぞれ文字「ａ」、「ｂ」、「ｃ」で識別可能である。
The signals transformed in this way are sent to a nonlinear
因みに、疑念を避けるために、変換された信号「ｓ」は、すべての方程式９と同様に、システム８の方程式９の１つ又は複数に入力することができる。これに加えて、ある方程式９は、すべての方程式９と同様に、システム８の他の方程式９の１つ又は複数と相互依存することができる。
Incidentally, for the avoidance of doubt, the transformed signal "s" may be input into one or more of
図１で気付くことができるように、システム１は、係数「ｋ」により想定される少なくとも１つの値を記憶できる第１のメモリ１０と、係数「ａ」、「ｂ」、「ｃ」のそれぞれについて、当該係数「ａ」、「ｂ」、「ｃ」により想定される少なくとも１つの値を記憶できる第２のメモリ１１とを備えている。
As can be noticed in FIG. 1, the
このように（システム８によって）処理された信号は、処理された信号から、人２の１つの脳の状態の分類に関連する後者の特徴を抽出するのに適した特徴抽出器１３（「抽出手段」という表現で先に識別されている）に送られる。因みに、特徴抽出器１３に送られる信号は、方程式９の変数の１つ又は複数に対応している。
The signal processed in this way (by the system 8) is passed through a feature extractor 13 ("extraction (identified earlier by the expression "means"). Incidentally, the signal sent to feature
特徴抽出器１３は、特徴抽出器１３から抽出された前記特徴から、想像上のアクションを含む人２の脳の状態を認識するために予め学習された数値分類器１４（好ましくはニューラルネットワークであるが、必ずしもそうでなくても良い）に入力される特徴ベクトルを生成する。換言すると、分類器１４は、前記特徴が抽出された生理的信号に関連する脳の活動における後者の存在を認識するか否かを確認するために、（前記特徴に対応する）人２の脳の状態が前記想像上のアクションを含んでいるか否かを確定するために前記特徴を調べるのに適している。
The
分類器１４は、前記想像上のアクションを構成する脳の状態を認識すると、例えば前記想像上のアクションを「具体化」する等、物理的なアクションを実行するコマンドを発する。前記コマンドは、好ましくは、前記物理的アクションを実行するのに適したマシン３に送られる（おそらく、分類器１４が学習した認識対象の人２の脳の状態で構成される想像上のアクションに対応する）。マシン３は、分類器１４から前記コマンドを受け取ると、前記物理的アクションを実行する。マシン３は、例えば、ロボットアームや、メッセージを表示するスクリーン等で構成されている。
例えば、人工視覚システムの誘導により、「赤い物体をつかめ」といった単純な高レベルの命令を受け取り、実行することができるロボットアームが作られていることは知られている（Ｌ． Ｍｉｎａｔｉ、 Ｎ． Ｙｏｓｈｉｍｕｒａ、 Ｙ． Ｋｏｉｋｅ、 Ｈｙｂｒｉｄ Ｃｏｎｔｒｏｌ ｏｆ ａ Ｖｉｓｉｏｎ－Ｇｕｉｄｅｄ Ｒｏｂｏｔ Ａｒｍ ｂｙ ＥＯＧ、 ＥＭＧ、 ＥＥＧ Ｂｉｏｓｉｇｎａｌｓ ａｎｄ Ｈｅａｄ Ｍｏｖｅｍｅｎｔ Ａｃｑｕｉｒｅｄ ｖｉａ ａ Ｃｏｎｓｕｍｅｒ－Ｇｒａｄｅ Ｗｅａｒａｂｌｅ Ｄｅｖｉｃｅ、 ＩＥＥＥ Ａｃｃｅｓｓ ４（２０１６）、 ９５２８－９５４１）。
When the
For example, it is known that robotic arms have been created that can receive and execute simple high-level commands such as "grasp the red object" under the guidance of artificial vision systems (L. Minati, N. Yoshimura, Y. Koike, Hybrid Control of a Vision-Guided Robot Arm by EOG, EMG, EEG Biosignals and Head Movement Acquired via a Consumer-Grade Wearable Device, IEEE Access 4 (2016), 9528-9541).
同様に、パターンジェネレータのおかげで、多重の速度や歩調で歩行できるロボットを作るための方法は知られており、因みに、非線形力学系に基づき、数値分類器の出力に基づいて設定できる変数の制御下に置かれている（Ｌ． Ｍｉｎａｔｉ、 Ｍ． Ｆｒａｓｃａ、 Ｎ． Ｙｏｓｈｉｍｕｒａ、 Ｙ． Ｋｏｉｋｅ、 Ｖｅｒｓａｔｉｌｅ ｌｏｃｏｍｏｔｉｏｎ ｃｏｎｔｒｏｌ ｏｆ ａ ｈｅｘａｐｏｄ ｒｏｂｏｔ ｕｓｉｎｇ ａ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅｔｗｏｒｋ ｏｆ ｎｏｎｌｉｎｅａｒ ｏｓｃｉｌｌａｔｏｒ ｃｉｒｃｕｉｔｓ． ＩＥＥＥ Ａｃｃｅｓｓ ６（２０１８）、 ８０４２－８０６５）。 Similarly, thanks to pattern generators, methods are known for creating robots that can walk with multiple speeds and gaits, and, incidentally, are based on nonlinear dynamical systems and control variables that can be set based on the output of numerical classifiers. (L. Minati, M. Frasca, N. Yoshimura, Y. Koike, Versatile locomotion control of a hexapod robot using a hierarchical network of nonlinear oscillator circuits. IEEE Access 6 (2018), 8042-8065) .
同様に、脳の活動によって制御可能な仮想キーボードを映像上に表示し、麻痺した被験者が言葉や文章を表現できるようにする方法も知られている（Ｌ．Ａ．Ｆａｒｗｅｌｌ、 Ｅ．Ｄｏｎｃｈｉｎ、 Ｔａｌｋｉｎｇ ｏｆｆ ｔｈｅ ｔｏｐ ｏｆ ｙｏｕｒ ｈｅａｄ： ｔｏｗａｒｄ ａ ｍｅｎｔａｌ ｐｒｏｓｔｈｅｓｉｓ ｕｔｉｌｉｚｉｎｇ ｅｖｅｎｔ－ｒｅｌａｔｅｄ ｂｒａｉｎ ｐｏｔｅｎｔｉａｌｓ、 Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒ Ｃｌｉｎ Ｎｅｕｒｏｐｈｙｓｉｏｌ ７０（１９８８）、 ５１０－２３）。 Similarly, a method is known in which a virtual keyboard that can be controlled by brain activity is displayed on video, allowing paralyzed subjects to express words and sentences (L.A. Farwell, E. Donchin, Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials, Electroencephalogr Clin Neurophysiol 70 (1988), 510-23).
システム８は、システム８が出力する（そして特徴抽出器１３に送られる）信号が、電極４によって取得された生理的信号と相関するように、人２の脳活動と同期する傾向がある。係数 「ｋ」の値と、係数 「ａ」、「ｂ」、「ｃ」の各値は、システム８が
・好ましくは、必ずではないが、内在的なダイナミクスを有する（即ち、自発的な活動を生成する）、
そして
・（システム８が入力として受け取った）信号「ｓ」を、特徴抽出器１３に送られる信号において、人２の脳の状態の分類に関連する前記特徴の１つ以上が明らかにされるか、又は強化されるように処理する
ようなものである。
The
and - whether one or more of said features relevant to the classification of the brain state of the
換言すると、係数「ｋ」の値と、係数「ａ」、「ｂ」、「ｃ」のそれぞれの値は、システム８によって出力され、特徴抽出器１３に送られた信号が、後者が入力信号の特定の特徴を区別するのを「助ける」ような仕方で選択され、分類器１４のタスクを容易にする。
In other words, the value of the coefficient "k" and the respective values of the coefficients "a", "b" and "c" are output by the
例示に過ぎないが、２つの微分方程式からなる最初の既知の非線形力学系は、以下の形式を有するＳｔｕａｒｔ－Ｌａｎｄａｕ系である。
ｄｘ（ｔ）／ｄｔ＝α・ｘ（ｔ）－ω・ｙ（ｔ）－ｘ（ｔ）・（ｘ（ｔ）２＋ｙ（ｔ）２）
ｄｙ（ｔ）／ｄｔ ＝ ω・ｘ（ｔ）＋α・ｙ（ｔ）－ｙ（ｔ）・（ｘ（ｔ）２＋ｙ（ｔ）２）
ここで 「α」は分岐パラメータを表わし、「ω」は発振器の固有振動数を表わす。
By way of example only, the first known nonlinear dynamical system consisting of two differential equations is the Stuart-Landau system, which has the form:
dx(t)/dt=α・x(t)−ω・y(t)−x(t)・(x(t) 2 +y(t) 2 )
dy(t)/dt = ω・x(t)+α・y(t)−y(t)・(x(t) 2 +y(t) 2 )
Here "α" represents the bifurcation parameter and "ω" represents the natural frequency of the oscillator.
再び例を挙げると、２つの微分方程式からなる第２の既知の非線形力学系は、以下の形式を持つレスラー系である。
ｄｘ（ｔ）／ｄｔ＝－ｙ（ｔ）－ｚ（ｔ）
ｄｙ（ｔ）／ｄｔ ＝ ｘ（ｔ）＋ａ・ｙ（ｔ）
ｄｚ（ｔ）／ｄｔ ＝ ｂ＋ｚ（ｔ）・（ｘ（ｔ）－ｃ）
ここで 「ａ」はシステムのカオス性レベルを制御するパラメータであり、「ｂ」 と 「ｃ」 は通常、一定値に設定される。
Taking the example again, a second known nonlinear dynamical system consisting of two differential equations is a Wrestler system of the form:
dx(t)/dt=-y(t)-z(t)
dy(t)/dt = x(t)+a・y(t)
dz(t)/dt = b+z(t)・(x(t)-c)
Here, "a" is a parameter that controls the chaotic level of the system, and "b" and "c" are usually set to constant values.
さらなる例として、変数「ｘ（ｔ）」に結合された信号「ｓ（ｔ）」を入力として受け取るレスラー系は、下記の形式を有する。
ｄｘ（ｔ）／ｄｔ＝－ｙ（ｔ）－ｚ（ｔ）＋ｋ・（ｓ（ｔ）－ｘ（ｔ））
ｄｙ（ｔ）／ｄｔ ＝ ｘ（ｔ）＋ａ・ｙ（ｔ）
ｄｚ（ｔ）／ｄｔ ＝ ｂ＋ｚ（ｔ）・（ｘ（ｔ）－ｃ）
As a further example, a wrestler system that receives as input a signal "s(t)" coupled to a variable "x(t)" has the form:
dx(t)/dt=-y(t)-z(t)+k・(s(t)-x(t))
dy(t)/dt = x(t)+a・y(t)
dz(t)/dt = b+z(t)・(x(t)-c)
好ましくは、必ずではないが、システム８が少なくとも３つの微分方程式９を含む場合、係数「ｋ」の値と、係数「ａ」、「ｂ」、「ｃ」のそれぞれの値は、システム８がカオス性の挙動を持つように選択される。
Preferably, but not necessarily, when the
好ましくは、必ずではないが、係数「ｋ」の値及び係数「ａ」、「ｂ」及び「ｃ」の各値は、システム８において、例えば、周期的なダイナミクスとカオス性のダイナミクスとの間の遷移、及び、内在的なダイナミクス（外部からの刺激がない場合でも持続的な振動として理解される）の存在と不在との間の遷移、即ち、所謂「臨界点」付近で優位に観察されるような創発現象が生じるように選択される。非線形力学系の臨界点や、その内在的なダイナミクスは、実質的に公知である。したがって、ここでは詳細な説明はしない。
Preferably, but not necessarily, the value of the coefficient "k" and each value of the coefficients "a", "b" and "c" are determined in the
好ましくは、必ずではないが、特徴抽出器１３は、システム８によって処理された信号を受信することに加えて、非線形変換器７によって変換されたがシステム８によって処理されていない信号も受信する。したがって、特徴抽出器１３は、システム８によって処理された後の非線形変換器７によって変換された信号からだけでなく、非線形変換器７によって変換され、システム８によって処理されていない信号からも、人２の脳の状態の分類に関連する特徴を抽出するのに適しているのが好ましい。
Preferably, but not necessarily, the
システム１は、好ましくは、必ずではないが、分類器１４によって認識された想像上のアクションと、マシン３によって実行された物理的なアクションとの間の対応関係について、ユーザが自己評価を表明するために操作可能なデバイス１５（例えば、マイクロスイッチ）を備える。当該ユーザは、人２に対応することができる。この場合、デバイス１５は、最終的に自分が考えた想像上のアクションと、マシン３によって実行された物理的アクションとの間の対応関係について自己評価を表明するために、人２によって起動される。先に「フィードバック手段」という表現で確認したデバイス１５は、人２によって表現された評価を、非線形変換器７によって変換されたがシステム８によって処理されていない信号も受信する監視ユニット１６に伝達する。ユニット１６は、人２によって伝達されたそのような対応関係の評価に応じて、係数「ｋ」の値と、係数「ａ」、「ｂ」、「ｃ」のそれぞれの値を更新するのに適している。
The
システム１の変形例によれば、システム１は非線形変換器７を含んでいない。この変形例によれば
・システム８は、フィルタ６によってフィルタリングされた信号を処理する。
・特徴抽出器１３は、システム８によって処理された信号を入力として受け取ることに加えて、フィルタ６によってフィルタリングされたがシステム８によって処理されていない信号も受け取ることが好ましい（ただし、必ずしもそうではない）。システム１のこの変形例による特徴抽出器１３は、したがって、好ましくは、システム８によって処理された後にフィルタ６によってフィルタリングされた信号からだけでなく、フィルタ６によってフィルタリングされ、システム８によって処理されていない信号からも、人２の脳の状態の分類に関連する特徴を抽出するのに適している。
・ユニット１６は、存在する場合、フィルタ６によってフィルタリングされたがシステム８によって処理されていない信号も受信する。
According to a variant of the
The
-
システム１の変形例によれば、監視ユニット１６は、システム８によって処理されたような信号も入力で受け取り、システム８によって処理されたような前述した信号の関数としても、係数「ｋ」の値と、係数「ａ」、「ｂ」、「ｃ」それぞれの値を更新するのに適している。
According to a variant of the
図２は、電極４を用いて人２が取得した脳波信号２０の一例を示している。より正確には、図２に示した信号は、増幅器５によって増幅され、フィルタ６によってフィルタリングされ、非線形変換器７によって変換された後にシステム８に送られた前述の信号に対応する。符号２１で示された点線は、分類器１４が以前に学習した認識対象となる（即ち、構成される脳状態の認識対象となる）想像上のアクションを、人２が考え始めた瞬間に対応している。図２に示すように、信号２０の軌跡は、符号２１の前と後では視覚的に異なっている。符号２１の前の信号２０は、実際には大きな振幅の振動で特徴付けられ、比較的周期的である。符号２１の後では、むしろ信号２０はより不規則な時間経過を提示している。しかし、この違いは非常にわずかであり、これらの違いのもろい性質こそが、本発明の対象のようなシステムを開発する必要性をもたらすものである。
FIG. 2 shows an example of an
図３は、信号２０の周波数スペクトル２２を示している。
FIG. 3 shows the
図４は、信号２０の入力受信後にシステム８から特徴抽出器１３に送られる信号２５の第１の例の時間経過を示している。換言すると、信号２５は、システム８による信号処理２０の結果である。図４の例では、パラメータ「ｋ」はゼロに等しい。これは、この例では、人２の脳活動とシステム８との間には結合がないことを意味している。したがって、信号２５は、信号２０との相関関係はなく、専らシステム８の自発的な活動によるものである。
FIG. 4 shows the time course of a first example of a
図５は、信号２５の周波数スペクトル２６を示している。
FIG. 5 shows the
図６は、信号２０と信号２５の間のＸＹプロット２７を示している。ＸＹプロット２７が、実質的に大きな長方形に対応しているのは、信号２０と信号２５の間には同期がないという事実の結果である。それでも、図２と図４のグラフを比較すると、信号２５は、信号２０とは相関がないものの、信号２０と大部分が重なる周波数成分を持っていることがわかる。このことは、周波数スペクトル２２と周波数スペクトル２６を比較することで、部分的に重なっていることが確認できる。これは、システム８を構成する微分方程式９の適切な選択方法と、そのパラメータ「ａ」、「ｂ」、「ｃ」に割り当てられた値によるものである。
FIG. 6 shows an
因みに、図４の例とは逆に、パラメータ「ｋ」が無限大に傾いた場合、人２の脳活動とシステム８の間には、システム８の自発的な活動を圧倒するほどの強い結合が生じることになる。この場合、システム８から出力される信号は、信号２０のレプリカとなり、前記信号間のＸＹプロットは、対角線に沿って非常に平坦になる（両者の間には略完全な同期があるため）。
Incidentally, contrary to the example in Fig. 4, if the parameter "k" tilts to infinity, there will be a strong coupling between the brain activity of
図７は、信号２０の入力受信に続いて、システム８が特徴抽出器１３に送る信号３０の第２の例の時間経過を示している。図４の信号２５について述べたことと同様に、信号３０は、システム８による信号２０の処理の結果である。図７の例では、パラメータ「ｋ」は、ゼロよりも大きいが、システム８の自発的な活動を圧倒するほど大きくないように選択された。この例は、システム１の好ましい使用形態に対応している。換言すると、信号２０は、システム８の挙動に影響を与えるほど十分に強くシステム８に注入されるが、しかし、その固有のダイナミクスを克服することはない。また、パラメータ「ａ」、「ｂ」、「ｃ」の値は、システム８から出る信号が、分類器１４の作業を容易にするために、特徴抽出器１３が信号２０の特定の特徴を区別するのに役立つように、（好ましくは初期のトレーニング段階を通じて）適切に選択される。
FIG. 7 shows the time course of a second example of a
図８は、信号３０の周波数スペクトル３１を示している。
FIG. 8 shows a
図９は、信号２０と信号３０の間のＸＹプロット３２を示す。ＸＹプロット３２が、正の傾斜を有する直線に似た平坦化された傾斜楕円体に実質的に対応していることは、信号２０と信号２５との間に部分的な同期があるという事実の結果である。これに加えて、周波数スペクトルの振幅の分布は、重ねることができるが非常に異なる形状の周波数範囲で特徴付けられるヌル結合の場合と比較して、開始時の脳波信号に一層近い形状を成している。
FIG. 9 shows an
因みに、システム８が固有のダイナミクスを持つことが好ましいが、パラメータ「ａ」、「ｂ」、「ｃ」に割り当てられた値は、システム８が固有のダイナミクスを持たないか、固有のダイナミクスを持たないが、それに非常に近い状態であっても良い。システム８がこの最後の状態にあるとき、それは所謂臨界点に近い、即ち、外部刺激に最大限に反応する状態であると言われる。
Incidentally, although it is preferable that
図１０は、人の脳活動２に関連するそれぞれの生理的信号を取得するのに適した複数のデバイスを備える点で、システム１とは異なるブレイン・コンピュータ・インタフェースシステム３３を示している。前述の「取得手段」と呼ばれるデバイスには、例えば、それぞれ脳波測定用の電極、又は近赤外線分光法用のオプトード等が含まれ得る。生理的信号が、脳波計用のそれぞれの電極３４（図１０では、人２の頭皮に適用されている）によって取得されると仮定すると、前記信号はそれぞれの脳波計信号に対応する。図１０において、電極３４は、一例として、３に等しい数で示されている。
Figure 10 shows a brain-
電極３４によって取得された信号の各々は、増幅器３５に送られ、増幅器３５は、増幅器５と同様に、当該信号を変換する以外に、デジタル・ドメインに変換することができる。こうして増幅された信号の各々は、人２の非該当の活動に対応する信号成分を減衰させるために、好ましくはバンドパス・タイプのフィルタ３６に送信される。より正確には、フィルタ６と同様に、フィルタ３６は、低すぎる周波数（人２の動きのアーチファクト、又はむしろ非神経性の生理的活性のアーチファクトであるため）と、高すぎる周波数（人２の人工的な筋肉運動であるため）の両方を減衰させることが好ましい。こうしてフィルタリングされた信号の各々は、非線形変換器３７（例えば、シグモイド関数）に送られ、その分布を便利に再形成する。特に、システム１で生じるのと同様に、フィルタリングされた信号の各々は、当該信号のダイナミクスの特定範囲を強調するように、つまり、想像上のアクションを含む脳の状態を認識するために、ゼロクロッシング・イベント等、ブレイン・コンピュータ・インタフェーシングに最も関連する信号成分を強調するように変換される。
Each of the signals acquired by the
こうして変換された信号は、複数の非線形力学系８（図１０では、例として、３つの電極３４である、３に等しい数の「Ｓｙｓ１」、「Ｓｙｓ２」及び「Ｓｙｓ３」で示される）からなる非線形力学ネットワーク３８に供給される。換言すると、このように変換された信号の各々は、ネットワーク３８のそれぞれのシステム８（それぞれが、少なくとも２つ、好ましくは少なくとも３つの方程式９を含む）に供給される。したがって、ネットワーク３８のシステム８は、非線形変換器３７によって変換された信号を処理するのにそれぞれ適している。したがって、非線形変換器３７の１つによって変換された各信号は、ネットワーク３８のそれぞれのシステム８に入力として送られる。ネットワーク３８の各システム８は、変数の時間経過を、当該変数及び／又は（システム１と同様に）当該システム８の別の方程式９に含まれる少なくとも別の変数の関数として規定する少なくとも１つの方程式９を含んでいる。これにより、ネットワーク３８のシステム８の各方程式９が、当該システム８の少なくとも別の方程式９と相互依存するだけでなく、ネットワーク３８の各システム８も、ネットワーク３８の少なくとも別のシステム８と相互依存することになる。
The signal thus transformed consists of a plurality of nonlinear dynamical systems 8 (denoted in FIG. 10 by a number "Sys1", "Sys2" and "Sys3" equal to three, which are three
ネットワーク３８のシステム８が入力として受け取った変換信号の各々は、当該システム８の方程式９の少なくとも１つの変数に対応する。ｉ番目の変換信号の変数は、例えば、「ｓｉ」で識別することができる。
Each of the transformed signals received as input by
ネットワーク３８の各システム８において、方程式９の少なくとも１つは、前記変数「ｓ ｉ 」に前述の「第１の係数」を乗じて構成される。より正確には、ネットワーク３８のｉ番目のシステム８において、変数「ｓｉｊ
」に乗算された第１の係数は、（ｉ番目の変換信号に関連付けられた人２の脳活動とネットワーク３８のｉ番目のシステム８との間の結合係数に対応する）。
In each
ネットワーク３８の各システム８において、方程式９の各々は、さらに、変換された信号に対応しておらず（つまり、「ｓｉ」ではないということ）、ネットワーク３８の別のシステム８の方程式９に含まない少なくとも１つの変数に、先に述べた「第２の係数」を乗算したものを含んでいる。より正確には、ネットワーク３８のｉ番目のシステム８では、第２の係数は例えば３つであり、それぞれ文字「ａｉ」、「ｂｉ」及び「ｃｉ」（ネットワーク３８のｉ番目のシステム８の方程式９の変数間の相互結合係数に対応する）で識別可能である。
In each
ネットワーク３８の各システム８において、方程式９の少なくとも１つは、変換された信号に対応してなく（つまり、「ｓｉ」ではないということ）、そしてまた、ネットワーク３８の別のシステム８の方程式９に含まれた少なくとも１つの変数に、（ネットワーク３８のシステム８間の相互結合の）第３の係数を乗じて構成されている。より正確には、ネットワーク３８のｉ番目のシステム８において、ネットワーク３８のｊ番目のシステム８の変数に掛けられた係数は、例えば、「ｇｉ、ｊ」で識別することができる。
In each
ネットワーク３８の各システム８において、メモリ１０は、係数「ｋｉ」により想定される少なくとも１つの値を記憶するのに適しており、メモリ１１は、係数「ａｉ」、「ｂｉ」及び「ｃｉ」の各々について、当該係数「ａｉ」、「ｂｉ」又は「ｃｉ」により想定される少なくとも１つの値を記憶するのに適している。
In each
図１０に注目できるように、システム３３は、係数「ｇｉ、ｊ」の各々について、当該係数「ｇｉ、ｊ」により想定される少なくとも１つの値を記憶できる第３のメモリ３９も含んでいる。
As can be noted in FIG. 10, the
このように処理された（ネットワーク３８のシステム８からの）信号は、受け取った入力信号（したがって、ネットワーク３８のシステム８によって処理された信号）のそれぞれが、受け取った他の入力信号の各々とどれだけ同期しているかを評価するのに適したユニット４０（図１０では、「Ｓｙｎ１」で示されている）に送られる。因みに、ユニット４０に送られる信号は、方程式９の変数の１つ以上に対応している。
The signals thus processed (from
先に「第１の評価手段」という表現で識別したユニット４０は、入力で受信した信号に関する同期（又は、より一般的には統計的相互依存性）マトリクスを生成する。前記同期マトリクスは、ネットワーク３８のシステム８によって処理された信号から、即ち、前記同期マトリクスに挿入された（即ち、ユニット４０によって評価された後の）信号から、人２の脳の状態の分類に関連する特徴を抽出するのに適した特徴抽出器１３に送られる。
The
システム１について述べたことと同様に、システム３３において、特徴抽出器１３は、特徴抽出器１３から抽出された前記特徴から、想像上のアクションを含む人２の脳の状態を認識するために予め学習された数値分類器１４に入力される特徴ベクトルを生成する。換言すると、分類器１４は、人２の脳の状態（前記特徴に対応する）が前記想像上のアクションを構成するか否かを確定するために、前記特徴を調べ、前記特徴が抽出された生理的信号が関連付けられた脳活動における後者の存在を認識するか否かを決定するのに適している。分類器１４は、前記想像上のアクションを構成する脳の状態を認識すると、前記想像上のアクションを「具体化」する可能性のある物理的アクションを実行するコマンドを発する。前記コマンドは、前記物理的アクションを実行するマシン３に送られることが好ましい。
Similar to what has been said about the
ネットワーク３８のシステム８は、特徴抽出器１３に送られる信号が、電極３４によって取得された生理的信号と相関するように、人２の脳活動と同期する傾向がある。ネットワーク３８の各システム８において、係数「ｋｉ」の値、係数「ａｉ」、「ｂｉ」及び「ｃｉ」の各値、及び係数「ｇｉ、ｊ」の各々の値は、当該システム８が、
・好ましくは、必ずではないが、固有のダイナミクスを有するように、
及び
・（前記システム８が入力として受け取った）信号「ｓｉ」を、ユニット４０に（及び、ユニット４０を介して特徴抽出器１３に）送られる信号において、人２の脳の状態を分類する目的に関連する１つ又は複数の前記特徴が明らかにされ、及び／又は強化されて処理するように、
される。
The
- preferably, but not necessarily, have unique dynamics;
and classifying the brain state of the
be done.
つまり、ネットワーク３８の各システム８において、係数「ｋ ｉ 」の値、及び係数「ｇｉ、ｊ」の各値は、当該システム８から出てユニット４０に送られる信号が、特徴抽出器１３が入力信号の特定の特徴を区別するのを「助ける」ように選択され、分類器１４のタスクを容易にするようになっている。
That is, in each
単に例として、変数「ｘ（ｔ）」で双方向に（即ち、対称に）結合され、変数「ｘ１（ｔ）」及び「ｘ２（ｔ）」にそれぞれ結合された信号「ｓ１（ｔ）」及び「ｓ２（ｔ）」を受信する２つのレスラーシステムは、下記の形式を有する。
ｄｘ１（ｔ）／ｄｔ ＝ －ｙ１（ｔ）－ ｚ１（ｔ）＋ｋ１・（ｓ１（ｔ）－ ｘ１（ｔ））＋ｇ・（ｘ２（ｔ）－ ｘ１（ｔ））
ｄｙ１（ｔ）／ｄｔ ＝ ｘ１（ｔ）＋ａ１・ｙ１（ｔ）
ｄｚ１ （ｔ）／ｄｔ ＝ ｂ１＋ ｚ１（ｔ）・（ｘ１（ｔ）－ｃ１）
ｄｘ２（ｔ）／ｄｔ ＝ －ｙ２（ｔ）－ｚ２（ｔ）＋ｋ２・（ｓ２（ｔ）－ｘ２（ｔ））＋ｇ・（ｘ１（ｔ）－ｘ２（ｔ））
ｄｙ２（ｔ）／ｄｔ ＝ ｘ２（ｔ）＋ａ２・ｙ２（ｔ）
ｄｚ２（ｔ）／ｄｔ ＝ ｂ２＋ｚ２（ｔ）・（ｘ２（ｔ）－ｃ２）
Merely by way of example, a signal "s 1 ( The two wrestler systems receiving ``t)'' and ``s 2 (t)'' have the following format.
dx 1 (t)/dt = -y 1 (t) - z 1 (t) + k 1・(s 1 (t) - x 1 (t)) + g・(x 2 (t) - x 1 (t) )
dy 1 (t)/dt = x 1 (t) + a 1・y 1 (t)
dz 1 (t)/dt = b 1 + z 1 (t)・(x 1 (t) - c 1 )
dx 2 (t)/dt = -y 2 (t) - z 2 (t) + k 2・(s 2 (t) − x 2 (t)) + g・(x 1 (t) − x 2 (t) )
dy 2 (t)/dt = x 2 (t) + a 2・y 2 (t)
dz 2 (t)/dt = b 2 +z 2 (t)・(x 2 (t) - c 2 )
好ましくは、必ずではないが、ネットワーク３８のシステム８の少なくとも１つが少なくとも３つの微分方程式９からなる場合、当該システム８における係数「ｋｉ」の値、係数「ａｉ」、「ｂｉ」及び「ｃｉ」のそれぞれの値、及び係数「ｇｉ、ｊ」のそれぞれの値は、少なくとも３つの微分方程式９からなる当該システム８がカオス性の挙動を持つように選択される。
Preferably, but not necessarily, if at least one of the
好ましくは、必ずではないが、ネットワーク３８の１つ以上のシステム８において、係数「ｋｉ」の値、係数「ａｉ」、「ｂｉ」及び「ｃｉ」のそれぞれの値、及び係数「ｇｉ、ｊ」のそれぞれの値は、ネットワーク３８の１つ以上の前記システム８において、創発現象が生じるように選択される。
Preferably, but not necessarily, in one or
好ましくは、必ずではないが、非線形変換器３７によって変換された信号は、ネットワーク３８のシステム８に送られることに加えて、受信した入力信号（非線形変換器３７によって変換されたが、ネットワーク３８のシステム８によって処理されていない）の各々が、入力で受信した他の信号の各々とどれだけ同期しているかを評価するのに適したユニット４１（図１０では、「Ｓｙｎ２」で示されている）に送られる。ユニット４１は、先に「第２の評価手段」と表現、識別したように、入力で受信した信号に関する第２の同期マトリクスを生成する。当該第２の同期マトリクスは、ユニット４０によって生成された同期マトリクスと共に、特徴抽出器１３に送られる。したがって、特徴抽出器１３は、ユニット４０によって生成された同期マトリクスに挿入された、ネットワーク３８のシステム８によって処理された信号からだけでなく、前記第２の同期マトリクスに挿入された（即ち、ユニット４１によって評価された後の）、非線形変換器３７によって変換され、ネットワーク３８のシステム８によって処理されていない信号からも、人２の脳の状態の分類に関連する特徴を抽出するのに好適である。
Preferably, but not necessarily, the signal transformed by the
システム３３の変形例によれば、特徴抽出器１３は、ユニット４０によって生成された同期マトリクスに挿入されたネットワーク３８のシステム８によって処理された信号及びユニット４１によって生成された同期マトリクスに挿入された非線形変換器３７によって変換された信号であってネットワーク３８のシステム８によって処理されていない信号だけでなく、ネットワーク３８のシステム８によって処理されているが、ユニット４０によって評価されていない信号、及び／又は、非線形変換器３７によって変換されているが、ネットワーク３８のシステム８によって処理されておらず、ユニット４１によって評価されていない信号も入力として受け取る（したがって、人２の脳の状態の分類に関連する特徴をそこから抽出するのに好適である）。
According to a variant of the
システム３３の別の変形例によれば、システム３３は、ユニット４０及び／又はユニット４１を含んでいない。この変形例によれば、特徴抽出器１３は、ネットワーク３８のシステム８によって処理された信号、及び好ましくは非線形変換器３７によって変換され、ネットワーク３８のシステム８によって処理されていない信号も入力として受け取る（したがって、好ましくは、人２の脳の状態の分類に関連する特徴を抽出するのに適している）。
According to another variant of the
システム３３の別の変形例によれば、特徴抽出器１３は、ユニット４１によって評価されたか否かに関わらず、ネットワーク３８のシステム８によって処理されていない入力信号を受信しない。
According to another variant of the
システム１と同様に、システム３３は、好ましくは、必ずではないが、デバイス１５と、非線形変換器３７によって変換されたがネットワーク３８のシステム８によって処理されていない信号も受信する監視ユニット１６とを備える。ユニット１６は、ネットワーク３８のシステム８の各々において、係数「ｋｉ」の値、係数「ａｉ」、「ｂｉ」及び「ｃｉ」の各々の値、及び係数「ｇｉ、ｊ」の各々の値を、人２によって伝えられた対応関係（想像上のアクションと物理的なアクションとの間）の評価に応じて更新するのに適している。
Similar to
システム３３の別の変形例によれば、システム３３は、非線形変換器３７を含まない。この変形例によれば、
・ネットワーク３８のシステム８は、フィルタ３６によってフィルタリングされた信号を処理する。
・特徴抽出器１３は、ネットワーク３８のシステム８によって処理された信号（存在する場合は、ユニット４０によって任意に評価される）を入力として受け取ることに加えて、好ましくは（必ずではないが）、フィルタ３６によってフィルタリングされたがネットワーク３８のシステム８によって処理されていなく、存在する場合は、ユニット４１によって任意に評価される信号も入力として受け取る。したがって、システム３３のこの変形例による特徴抽出器１３は、ネットワーク３８のシステム８によって処理され、存在するならばユニット４０によって評価された後にフィルタ３６によってフィルタリングされた信号からだけでなく、フィルタ３６によってフィルタリングされ、ネットワーク３８のシステム８によって処理されず、存在するならばユニット４１によって評価された信号からも、人２の脳の状態の分類に関連する特徴を抽出するのに好適である。
・ユニット１６は、もし存在するならば、フィルタ３６によってフィルタリングされ、ネットワーク３８のシステム８によって処理されない信号も受け取る。
According to another variant of the
- The
- the
-
人２の脳活動に関連したそれぞれの生理的信号を取得するのに適した前記デバイスが電極３４（脳波用）からなるシステム３３の別の変形例によれば、システム３３は、フィルタ３６によってフィルタリングされた信号から、電極３４が人２の大脳皮質に配置された場合に取得されるであろう複数の生理的信号を再構築するのに適した少なくとも１つの空間フィルタを備える。この変形例によれば、ネットワーク３８のシステム８は、前記空間フィルタによって処理された後にフィルタ３６によってフィルタリングされ、非線形変換器が存在する場合には変換される可能性がある信号を処理する。
According to another variant of the
システム３３は、好ましくは、必ずではないが、デバイス１５に加えて、又はデバイス１５の代わりとして、人２の脳活動に直接関連しない少なくとも１つのさらなる生理的信号を取得するために、人２に適用可能なデバイス４２（「さらなる取得手段」という表現で以前に識別されている）を含む。システム３３は、好ましくは、必ずではないが、マシン３による既述の物理的アクションの実行を自律的に検出するのに適したデバイス４３（「監視手段」という表現で以前に識別された）を備える。デバイス４２は、一例として、人２の心拍を検出するための電極を含む。デバイス４３は、例えば、コンピュータ化されたビデオカメラを含む。デバイス４２及びデバイス４３は両方とも、監視ユニット１６と通信し、監視ユニット１６が、前述のさらなる生理的信号の検査から、人２が考えた、又は人２のマインドが行った想像上のアクションと、マシン３が行った物理的アクションとの間の対応関係を評価できるようになっている。ユニット１６は、ネットワーク３８のシステム８の各々において、係数「ｋｉ」の値、係数「ａｉ」、「ｂｉ」及び「ｃｉ」のそれぞれの値、及び係数「ｇｉ、ｊ」の各々の値を、ユニット１６によって行われるこの対応関係の評価の関数として更新するのに適している。
The
また、システム１は、システム３３のように、デバイス１５に加えて、又はデバイス１５の代わりに、監視ユニット１６と接続されたデバイス４２及びデバイス４３を含むことができる。
Also, the
システム３３の変形例によれば、監視ユニット１６は、ネットワーク３８のシステム８によって処理されたような信号も入力として受け取り、ネットワーク３８のシステム８のそれぞれにおいて、係数「ｋｉ」の値、係数「ａｉ」、「ｂｉ」及び「ｃｉ」のそれぞれの値、及び係数「ｇｉ、ｊ」のそれぞれの値を、ネットワーク３８のシステム８によって処理されたような前述の信号の関数としても更新するのに適している。
According to a variant of the
図１１は、２１個の電極３４を用いて人２がそれぞれ取得した２１個の脳波信号間の平均同期値を表す要素（即ち、前記２１個の脳波信号のそれぞれと、前記２１個の脳波信号のうちの他の２０個の脳波信号のそれぞれとの間の平均同期値を表す要素）を有する２次元アレイ４５の一例を示す。より正確には、図１１のマトリクスが平均同期値を表している信号は、２１個の増幅器３５でそれぞれ増幅され、２１個のフィルタ３６でそれぞれフィルタリングされ、２１個の非線形変換器３７でそれぞれ変換された後に、ネットワーク３８の２１個のシステム８にそれぞれ送られた２１個の前記信号に対応している。
FIG. 11 shows an element representing the average synchronization value between 21 brain wave signals obtained by
疑念を避けるために、この例によれば、システム３３は、それぞれ２１個の脳波信号を取得するための２１個の電極３４から成り、これらの信号はそれぞれ２１個の増幅器３５によって増幅され、２１個のフィルタ３６によってフィルタリングされ、２１個の非線形変換器３７によって変換され、ネットワーク３８に属する２１個の非線形力学系８に送られる。
For the avoidance of doubt, according to this example, the
図１２は、マトリクス４５が平均同期値を表している２１個の信号の間の同期差（関心のある２つの精神状態、この場合、静止状態と手の開閉を繰り返す想像上の実行を比較することによって計算される）を表現した２次元マトリクス４６を示している（即ち、その要素は、前記２１個の脳波信号のそれぞれと前記２１個の脳波信号の他の２０個のそれぞれとの間の同期差を表現している）。
FIG. 12 shows the synchronization difference between the 21 signals, for which the
図１３は、マトリクス４５が平均同期値を表す２１個の信号のそれぞれの入力受信後に、ネットワーク３８の２１個のシステム８からユニット４０にそれぞれ送信される２１個の信号間の平均同期値を要素が表す２次元アレイ４７の例を示している。つまり、マトリクス４７が平均同期値を表す２１個の信号は、それぞれ、マトリクス４５が平均同期値を表す２１個の信号を、ネットワーク３８の２１個のシステム８で処理した結果である。図１３の例では、パラメータ「ｇｉ、ｊ」はゼロに設定されている。これは、この例では、ネットワーク３８のシステム８の間には結合がないことを意味する。したがって、電極３４によって取得されたすべての脳波信号は、システム８の１つによって処理され、この１つのシステム８はネットワーク３８の他の２０個のシステム８（他の２０の脳波信号を処理する）と何らかの形で相関関係を持つことはない。
FIG. 13 shows the average synchronization value between the 21 signals respectively transmitted to the
図１３の例では、ネットワーク３８の各システム８において、パラメータ「ｋｉ」は、ゼロよりも大きいが、システム８の自発的な活動を圧倒するほど大きくはないように選ばれた。この事実の結果として、出力信号間の同期の分布は、図１１の入力信号について観察されたものとむしろ類似している。先に述べたように、これはシステム８の好ましい使用方法に対応するものである。換言すると、ネットワーク３８のシステム８に送信される信号は、それぞれ、システム８の挙動に影響を与えるのに十分な強さで当該システム８に供給されるが、しかし、システム８の固有のダイナミクスを克服することはない。さらに、ネットワーク３８の各システム８において、パラメータ「ａｉ」、「ｂｉ」及び「ｃｉ」に割り当てられた値は、システム８から出る信号が、特徴抽出器１３がネットワーク３８に導入された特定の特徴を区別するのに役立つように（好ましくは、初期のトレーニング段階によって）適切に選択され、分類器１４によって行われる作業を容易にする。
In the example of FIG. 13, for each
図１４は、マトリクス４７が平均同期値を表している２１個の信号の間の同期差（関心のある２つの精神状態、この場合は、静止状態と手の開閉を繰り返す想像上の実行とを比較して算出）を要素が表す２次元マトリクス４８を示している。
FIG. 14 shows that the
この例では、ネットワーク３８のシステム８の間には同期がないが、マトリクス４５とマトリクス４７との間、及びマトリクス４６とマトリクス４８との間には、ある種の類似性があることに気付くことができる。この類似性は、ネットワーク３８のシステム８が、入力信号に個別に結合されているが、それらの間には結合されていないという事実によるものである。
Note that in this example, although there is no synchronization between
図１５は、マトリクス４５が平均同期値を表している２１個の信号のそれぞれの入力としての受信に続いて、ネットワーク３８の２１個のシステム８からユニット４０にそれぞれ送信された２１個の信号の間の平均同期値を要素が表している２次元アレイ４９の第２の例を示している。マトリクス４７について述べたのと同様に、マトリクス４９が平均同期値を表す２１個の信号は、マトリクス４５が平均同期値を表す２１個の信号を、ネットワーク３８の２１個の各システム８が処理した結果である。図１５の例では、パラメータ「ｇｉ、ｊ」は、ゼロよりも大きく選択されているが、ネットワーク３８のシステム８の活動がネットワーク３８の他のシステム８の活動を圧倒するほど大きくはないので、ネットワーク３８のシステム８の間に結合が存在する。この例は、システム３３の好ましい使用形態に対応している。さらに、図１３の例で述べたのと同様に、ネットワーク３８の各システム８では、パラメータ「ｋｉ」はゼロよりも大きく、しかしシステム８の自発的な活動を圧倒するほど大きくないものが選択されている（換言すると、ネットワーク３８のシステム８に送られる信号は、十分に強い方法で当該システム８に導入され、その固有のダイナミクスを圧倒することなく、後者の動作に影響を与える）。さらに、ネットワーク３８の各システム８において、パラメータ「ａｉ」、「ｂｉ」及び「ｃｉ」に割り当てられた値も適切に（好ましくは、初期のトレーニング段階を通じて）選択され、システム８から出る信号は、特徴抽出器１３がネットワーク３８に導入された特定の特徴を区別するのに役立ち、分類器１４によって行われる作業を容易にするようにされる。この場合、システム８が互いに結合されているため、マトリクス４９の平均的な同期レベルが高くなっていることに留意すべきである。これに加えて、同期分布がマトリクス４５とマトリクス４７とに関して著しく異なることに注目することができる。これはまさに、システム８が互いに相互に作用し、入力として個別に受信した信号を魅力的なタイプと反発的なタイプの両方の相互作用を介して結合しているためである。
FIG. 15 shows that each of the 21 signals transmitted from the 21
図１６は、マトリクス４９が平均同期値を表している２１個の信号の間の同期差（関心のある２つの精神状態、この場合は静止状態と手の開閉を繰り返す想像上の実行とを比較して算出）を要素が表す２次元のマトリクス５０を示している。マトリクス４９に見られるように、マトリクス４６及びマトリクス４８に関して明らかに異なる分布を指摘しているが、これは上述の理由と同じである。因みに、この場合、２つの条件の違いは、より規則的な分布をしており、特に感覚運動大脳皮質の上に記録された信号に特に対応する幾つかの信号に焦点を合わせていることを指摘する。
FIG. 16 shows the synchronization difference between the 21 signals for which
因みに、システム１について述べたことと同様に、システム３３では、ネットワーク３８のシステム８が固有のダイナミクスを有することが好ましいが、パラメータ「ａｉ」、「ｂｉ」及び「ｃｉ」に割り当てられた値は、ネットワーク３８の１つ以上のシステム８が固有のダイナミクスを有さないか、固有のダイナミクスを有さないものの、それに非常に近い状態（つまり、所謂臨界点）となる。
Incidentally, similar to what was said for
好ましい例示の実施形態について提供された説明に基づいて、以下の請求の範囲によって定義される本発明の範囲から逸脱することなく、当業者が幾つかの変更を行うことができることは明らかである。 Based on the description provided of the preferred exemplary embodiments, it is clear that a person skilled in the art can make certain modifications without departing from the scope of the invention as defined by the following claims.
１ ブレイン・コンピュータ・インタフェースシステム
２ 人
３ マシン
４ 脳波計用の電極
５ 増幅器
６ フィルタ
７ 非線形変換器
８ システム
９ 微分方程式
１０ 第１のメモリ
１１ 第２のメモリ
１３ 特徴抽出器
１４ 数値分類器
１５ フィードバック手段（マイクロスイッチ）
１６ 監視ユニット
２０ 脳波信号
1 Brain-
16
Claims (17)
・前記生理的信号を増幅する手段（５、３５）と、
・前記増幅された信号をフィルタリングする手段（６、３６）と、
・前記フィルタリングされた信号から、前記人（２）の脳の状態の分類に関連する特徴を抽出する抽出手段（１３）と、
・前記抽出手段（１３）から抽出された前記特徴の少なくとも１つの数値分類器（１４）と
を有し、
前記分類器（１４）が、前記抽出手段（１３）から抽出された前記特徴から、想像上のアクションを含む前記人（２）の脳の状態を認識するように学習されており、
前記分類器（１４）が、前記想像上のアクションからなる脳の状態を認識した際に、物理的なアクションの少なくとも１つの実行コマンドを発するのに適しているブレイン・コンピュータ・インタフェースシステム（１、３３）であって、
さらに、
・前記フィルタリングされた信号を処理し、処理された信号（３０）を前記抽出手段（１３）に送るための少なくとも１つの非線形力学系（８）
を有し、
前記抽出手段（１３）が、前記非線形力学系（８）によって処理された後の前記フィルタリングされた信号から前記特徴を抽出する手段であり、
前記非線形力学系（８）が、少なくとも２つの微分方程式（９）を含んでおり、
前記方程式（９）の各々が、変数の時間パターンを、前記変数及び／又は前記方程式（９）の別の式にも含まれる少なくとも別の変数の関数として規定し、前記方程式（９）の各々が前記方程式（９）の少なくとも別の式と相互依存するようにし、
前記フィルタリングされた信号が、前記方程式（９）の前記変数の少なくとも１つに対応し、
前記方程式（９）の少なくとも１つが、前記フィルタリングされた信号に対応する前記変数を第１の係数（ｋ、ｋｉ）で乗算して構成され、
前記方程式（９）のそれぞれが、前記フィルタリングされた信号に対応しない前記変数の少なくとも１つを、第２の係数（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）で乗算して構成され、
処理され、前記抽出手段（１３）に送られる前記信号（３０）が、前記方程式（９）の前記変数の１つ以上に対応し、
さらに、
・前記第１の係数（ｋ、ｋｉ）により想定される少なくとも１つの値を記憶する第１のメモリ（１０）と、
・前記第２の係数（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）の各々について、当該第２の係数（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）により想定される少なくとも１つの値を記憶する第２のメモリ（１１）と
を有し、
前記第１の係数（ｋ、ｋｉ）の値及び前記第２の係数（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）のそれぞれの値は、前記非線形力学系（８）が、前記抽出手段（１３）に送られた前記信号（３０）において、前記人の脳の状態を分類する目的に関連する前記特徴の１つ以上を明らかにし及び／又は強化するようにして、前記フィルタリングされた信号を処理するようになっていること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 - means (4, 34) for acquiring at least one physiological signal applicable to a person (2) and related to brain activity of said person (2);
- means (5, 35) for amplifying said physiological signal;
- means (6, 36) for filtering said amplified signal;
- extraction means (13) for extracting features related to classification of the brain state of the person (2) from the filtered signal;
- at least one numerical classifier (14) of the features extracted from the extraction means (13);
The classifier (14) is trained to recognize the state of the brain of the person (2) including imaginary actions from the features extracted from the extraction means (13);
a brain-computer interface system (1, 33),
moreover,
- at least one nonlinear dynamical system (8) for processing said filtered signal and sending a processed signal (30) to said extraction means (13);
has
the extraction means (13) is means for extracting the features from the filtered signal after being processed by the nonlinear dynamical system (8);
the nonlinear dynamical system (8) includes at least two differential equations (9),
Each of said equations (9) defines a temporal pattern of a variable as a function of said variable and/or at least another variable that is also included in another expression of said equation (9), and each of said equations (9) is interdependent with at least another expression of equation (9),
the filtered signal corresponds to at least one of the variables of equation (9);
at least one of said equations (9) is constructed by multiplying said variable corresponding to said filtered signal by a first coefficient (k, k i );
Each of said equations (9) is constructed by multiplying at least one of said variables not corresponding to said filtered signal by a second coefficient (a, b, c, a i , b i , c i ). is,
said signal (30) processed and sent to said extraction means (13) corresponds to one or more of said variables of said equation (9);
moreover,
- a first memory (10) storing at least one value assumed by the first coefficient (k, k i );
- For each of the second coefficients (a, b, c, a i , b i , c i ), it is assumed that the second coefficient (a, b, c, a i , b i , c i ) a second memory (11) for storing at least one value;
The values of the first coefficients (k, k i ) and the respective values of the second coefficients (a, b, c, a i , b i , c i ) are such that the nonlinear dynamical system (8) is said filtering in said signal (30) sent to said extraction means (13) in such a way as to reveal and/or enhance said one or more of said features relevant for the purpose of classifying said person's brain state; A brain-computer interface system is characterized in that it is adapted to process signals generated by a computer.
・前記人（２）の脳活動に関連する複数の生理的信号をそれぞれ取得する複数の取得手段（３４）と、
・前記複数の生理的信号をそれぞれ増幅する複数の増幅手段（３５）と、
・前記増幅された信号をそれぞれフィルタリングする複数のフィルタリング手段（３６）と、
・前記フィルタリングされた信号をそれぞれ処理し、処理された信号を前記抽出手段（１３）に送るための、複数の前記非線形力学系（８）からなる非線形力学ネットワーク（３８）と
を有し、
前記抽出手段（１３）が、前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理された後の前記フィルタリングされた信号から前記特徴を抽出する手段であり、
前記非線形力学ネットワーク（３８）の各非線形力学系（８）が、変数の時間経過を
－ 前記変数
及び／又は
－ 前記非線形力学系（８）の別の方程式（９）に含まれる少なくとも１つの他の変数
及び／又は
－前記非線形力学ネットワーク（３８）の各非線形力学系（８）が、前記非線形力学ネットワーク（３８）の少なくとも１つの他の非線形力学系（８）と相互依存しているようにして前記非線形力学ネットワーク（３８）の別の非線形力学系（８）の前記方程式（９）の１つにも含まれる少なくとも１つの他の変数
の関数として時間経過を指定する少なくとも１つの微分方程式（９）を含み、
前記フィルタリングされた信号の各々が、前記非線形力学ネットワーク（３８）の非線形力学系（８）の前記方程式（９）の前記変数の少なくとも１つに対応し、
前記非線形力学ネットワーク（３８）の各非線形力学系（８）において
－ 前記方程式（９）の少なくとも１つが、前記フィルタリングされた信号の１つに前記第１の係数（ｋｉ）を乗算したものに対応する前記変数を備え、
－ 前記方程式（９）の各々が、前記フィルタリングされた信号の１つに対応しておらず、前記非線形力学ネットワーク（３８）の別の非線形力学系（８）の前記方程式（９）の１つに含まれてなく、前記第２の係数（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）を乗算した前記変数の少なくとも１つを備え、
－ 前記方程式（９）の少なくとも１つが、前記フィルタリングされた信号の１つに対応しておらず、前記非線形力学ネットワーク（３８）の別の非線形力学系（８）の前記方程式（９）の１つに含まれており、第３の係数（ｇｉ、ｊ）を乗算した前記変数の少なくとも１つを備え、
－ 前記第１のメモリ（１０）が、前記第１の係数（ｋｉ）により想定される少なくとも１つの値を記憶するのに適しており、
－ 前記第２のメモリ（１１）が、前記第２の係数（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）のそれぞれについて、当該第２の係数（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）により想定される少なくとも１つの値を記憶するのに適しており、
前記抽出手段（１３）に送られる前記信号が、前記方程式（９）の前記変数に対応し、
さらに、
・前記第３の係数（ｇｉ、ｊ）のそれぞれについて、当該第３の係数（ｇｉ、ｊ）により想定される少なくとも１つの値を記憶する第３のメモリ（３９）
を有し、
前記非線形力学ネットワーク（３８）の各非線形力学系（８）について、前記第１の係数（ｋｉ）の値、前記第２の係数（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）のそれぞれの値、及び前記第３の係数（ｇｉ、ｊ）のそれぞれの値が、前記抽出手段（１３）に送られた前記信号において、その人の脳の状態の分類に関連する前記特徴のうち１つ以上が明らかにされる及び／又は強化されるようにして、前記フィルタリングされた信号を前記非線形力学系（８）で処理するようになっていること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 A brain-computer interface system (33) according to claim 1, comprising:
- a plurality of acquisition means (34) for respectively acquiring a plurality of physiological signals related to the brain activity of the person (2);
- a plurality of amplification means (35) for amplifying each of the plurality of physiological signals;
- a plurality of filtering means (36) for filtering the amplified signals, respectively;
- a nonlinear dynamics network (38) made up of a plurality of the nonlinear dynamics systems (8) for processing each of the filtered signals and sending the processed signals to the extraction means (13);
the extraction means (13) is means for extracting the features from the filtered signal after being processed by the nonlinear dynamics system (8) of the nonlinear dynamics network (38);
Each nonlinear dynamical system (8) of said nonlinear dynamical system (38) determines the time course of a variable by - said variable and/or - at least one other included in another equation (9) of said nonlinear dynamical system (8). and/or - such that each nonlinear dynamical system (8) of said nonlinear dynamical network (38) is interdependent with at least one other nonlinear dynamical system (8) of said nonlinear dynamical network (38). at least one differential equation specifying the passage of time as a function of at least one other variable also included in one of said equations (9) of another nonlinear dynamical system (8) of said nonlinear dynamical network (38). (9) including;
each of the filtered signals corresponds to at least one of the variables of the equation (9) of the nonlinear dynamical system (8) of the nonlinear dynamical network (38);
In each nonlinear dynamical system (8) of said nonlinear dynamical network (38) - at least one of said equations (9) is one of said filtered signals multiplied by said first coefficient (k i ); corresponding said variables;
- each of said equations (9) does not correspond to one of said filtered signals and corresponds to one of said equations (9) of another nonlinear dynamical system (8) of said nonlinear dynamical network (38); and at least one of the variables multiplied by the second coefficient (a, b, c, a i , b i , c i );
- at least one of said equations (9) does not correspond to one of said filtered signals and one of said equations (9) of another nonlinear dynamics system (8) of said nonlinear dynamics network (38); comprising at least one of said variables contained in and multiplied by a third coefficient (g i,j );
- said first memory (10) is suitable for storing at least one value assumed by said first coefficient (k i );
- The second memory (11) stores the second coefficient (a, b, c, a i ) for each of the second coefficients (a, b, c , a i , b i , c i ). , b i , c i );
said signal sent to said extraction means (13) corresponds to said variable of said equation (9);
moreover,
- A third memory (39) for storing, for each of the third coefficients (g i, j ), at least one value assumed by the third coefficient (g i, j );
has
For each nonlinear dynamical system (8) of the nonlinear dynamical network (38), the value of the first coefficient (k i ), the second coefficient (a, b, c, a i , b i , c i ) and the respective values of the third coefficients (g i,j ) are determined in the signal sent to the extraction means (13) by the characteristics associated with the classification of the brain state of the person. The brain computer is characterized in that the filtered signal is processed by the nonlinear dynamical system (8) in such a way that one or more of the following are revealed and/or enhanced: interface system.
前記抽出手段（１３）は、
・前記非線形力学系（８）で処理された後の前記フィルタリングされた信号から、
又は
・前記非線形力学系（８）が１つ以上である場合に、前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理された後の前記フィルタリングされた信号から、
だけでなく
・前記非線形力学系（８）によって処理されていない前記フィルタリングされた信号から、
又は
・前記非線形力学系（８）が１つ以上である場合に、前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理されずにフィルタリングされた前記信号から、
前記特徴を抽出する手段であること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 Brain-computer interface system (1, 33) according to claim 2 , comprising:
The extraction means (13) includes:
- From the filtered signal after being processed by the nonlinear dynamical system (8),
or - if there is one or more nonlinear dynamical systems (8), from the filtered signal after being processed by the nonlinear dynamical system (8) of the nonlinear dynamical network (38);
as well as - from said filtered signal not processed by said nonlinear dynamical system (8);
or - if there is one or more nonlinear dynamical systems (8), from the signal filtered without being processed by the nonlinear dynamical system (8) of the nonlinear dynamical network (38);
A brain-computer interface system, characterized in that it is means for extracting the features.
・非線形変換器（７）を有し、
前記非線形変換器（７）が、
－ ダイナミクスの特定範囲を強調するように前記フィルタリングされた信号を変換し、そして
－ 変換された信号（２０）を前記非線形力学系（８）へ送るために設けられ、
前記非線形力学系（８）が前記非線形変換器（７）によって変換された後の前記フィルタリングされた信号を処理するのに適し、
又は、前記非線形力学系（８）が１つ以上である場合には
・複数の非線形変換器（３７）を有し、
前記複数の非線形変換器（３７）が、
－ 前記信号のダイナミクスの特定範囲を強調するように、前記フィルタリングされた信号を変換し、そして
－ 変換された信号を、前記非線形力学ネットワーク（３８）の非線形力学系（８）に送るために設けられ、
前記非線形力学ネットワーク（３８）の非線形力学系（８）が、前記非線形変換（３７）によって変換された後の前記フィルタリングされた信号を処理するのにそれぞれ適していること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 Brain-computer interface system (1, 33) according to claim 2 , comprising:
・It has a nonlinear converter (7),
The nonlinear converter (7)
- for transforming said filtered signal so as to emphasize a particular range of dynamics; and - for sending the transformed signal (20) to said nonlinear dynamical system (8);
suitable for processing the filtered signal after the nonlinear dynamical system (8) has been transformed by the nonlinear transformer (7);
Or, when the nonlinear dynamical system (8) is one or more, it has a plurality of nonlinear converters (37),
The plurality of nonlinear converters (37)
- transforming said filtered signal so as to emphasize a particular range of dynamics of said signal; and - providing for sending the transformed signal to a nonlinear dynamics system (8) of said nonlinear dynamics network (38). is,
Brain computer, characterized in that the nonlinear dynamical systems (8) of the nonlinear dynamical network (38) are each suitable for processing the filtered signal after it has been transformed by the nonlinear transformation (37).・Interface system.
前記抽出手段（１３）が、前記特徴を
・前記非線形力学系（８）で処理された後の前記変換された信号（２０）から、
又は
・前記非線形力学系（８）が１つ以上である場合に、前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理された後の前記変換された信号から、
だけでなく
・前記非線形力学系（８）によって処理されていない前記変換された信号（２０）から、
又は
前記非線形力学系（８）が複数の場合、前記非線形力学ネットワーク（３８）の非線形力学系（８）からの前記変換されたが処理されていない信号から
抽出するだけでないこと
を特徴とするブレイン・コンピュータ・インタフェースシステム。 Brain-computer interface system (1, 33) according to claim 4, comprising:
The extraction means (13) extracts the features from the transformed signal (20) after being processed by the nonlinear dynamical system (8);
or - if there is one or more nonlinear dynamical systems (8), from the transformed signal after being processed by the nonlinear dynamical system (8) of the nonlinear dynamical network (38);
as well as - from said transformed signal (20) which has not been processed by said nonlinear dynamical system (8);
or When there is a plurality of nonlinear dynamical systems (8), the nonlinear dynamical system (8) is not only extracted from the transformed but unprocessed signal from the nonlinear dynamical system (8) of the nonlinear dynamical network (38). Brain computer interface system.
・前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理された前記信号を入力信号として受信し、
・前記入力信号の各々が、受信した前記入力信号の他の各々とどの程度同期しているかを評価し、
・前記入力信号に関する第１の同期マトリクスを発生する
第１の評価手段（４０）を有し、
前記抽出手段（１３）が、前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理された前記信号から、前記第１の同期マトリクスに挿入された前記特徴を抽出する手段であること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 A brain-computer interface system (33 ),
- receiving the signal processed by the nonlinear dynamical system (8) of the nonlinear dynamical network (38) as an input signal ;
- assessing how synchronized each of said input signals is with each other of said input signals received;
- first evaluation means (40) for generating a first synchronization matrix for said input signal;
The extraction means (13) is means for extracting the feature inserted into the first synchronization matrix from the signal processed by the nonlinear dynamical system (8) of the nonlinear dynamical network (38). A featured brain-computer interface system.
・前記フィルタリングされ、そして前記非線形変換器（３７）が存在する場合には変換されるが、前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理されていない信号を入力信号として受信し、
・前記入力信号の各々が、受信した前記入力信号の他の各々とどの程度同期しているかを評価し、
・前記受信した入力信号に関する第２の同期マトリクスを発生する
第２の評価手段（４１）を有し、
前記抽出手段（１３）は、前記第１の同期マトリクスに挿入された前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理された前記信号からだけでなく、前記フィルタリングされた信号や、前記非線形変換器（３７）が存在する場合には変換される可能性があるが、前記第２の同期マトリクスに挿入された前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理されていない信号からも、前記特徴を抽出する手段であること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 Brain-computer interface system (33) according to claim 6 when dependent on claim 4 ,
- receiving as input signal a signal which has been filtered and, if present, transformed, but has not been processed by the nonlinear dynamics system (8) of the nonlinear dynamics network (38); ,
- assessing how synchronized each of said input signals is with each other of said input signals received;
- second evaluation means (41) for generating a second synchronization matrix for the received input signal;
The extraction means (13) extract from the filtered signal as well as from the signal processed by the nonlinear dynamics system (8) of the nonlinear dynamics network (38) inserted into the first synchronization matrix. If the nonlinear transformer (37) is present, it may be transformed, but it is not processed by the nonlinear dynamics system (8) of the nonlinear dynamics network (38) inserted into the second synchronization matrix. A brain-computer interface system, characterized in that it is a means for extracting the features even from a signal that does not exist.
・前記第１の同期マトリクスに挿入された、前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理された前記信号から、
及び
・前記フィルタリングされ、前記非線形変換器（３７）が存在する場合には変換されたが、前記第２の同期マトリクスに挿入された前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理されていない信号から
だけでなく
・非線形変換器（３７）が存在するが、前記第２の同期マトリクスに挿入された前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理されていない信号から、
及び／又は
・前記フィルタリングされ、そして前記非線形変換器（３７）が存在する場合には前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理されておらず、前記第２の評価手段（４１）によって評価されていない変換された信号から
前記特徴を抽出する手段であること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 Brain-computer interface system according to claim 7, wherein the extraction means (13) comprises:
- from the signal processed by the nonlinear dynamics system (8) of the nonlinear dynamics network (38) inserted into the first synchronization matrix;
and - processed by the nonlinear dynamics system (8) of the nonlinear dynamics network (38) inserted into the second synchronization matrix, filtered and transformed if present by the nonlinear transformer (37); as well as signals for which a nonlinear transformer (37) is present but not processed by the nonlinear dynamics system (8) of said nonlinear dynamics network (38) inserted into said second synchronization matrix from,
and/or - the filtered and, if present, the nonlinear transformer (37) is not processed by the nonlinear dynamics system (8) of the nonlinear dynamics network (38) and the second evaluation means ( 41) A brain-computer interface system, characterized in that it is means for extracting the feature from a transformed signal that has not been evaluated by.
前記複数の取得手段（３４）が、脳波記録用の複数の電極から成り、
さらに、前記フィルタリングされた信号から、前記電極が前記人の大脳皮質に配置された場合に取得されるであろう複数の生理的信号を再構成するのに適した少なくとも１つの空間フィルタを含むフィルタリング手段を有し、
前記非線形力学ネットワーク（３８）の非線形力学系（８）が、それぞれ、前記空間フィルタによって処理された後の前記フィルタリングされ、前記非線形変換器（３７）が存在する場合には、任意に変換される信号を処理するのに適していること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 as claimed in claim 4 depending on claim 2 , or as claimed in claim 5 where claim 4 is dependent on claim 2, or as claimed in claim 6 as dependent on claim 4; A brain-computer interface system according to claim 7 when 6 is dependent on claim 4 or according to claim 8 when claim 6 is dependent on claim 4 ,
The plurality of acquisition means (34) consist of a plurality of electrodes for electroencephalogram recording,
further comprising at least one spatial filter suitable for reconstructing from the filtered signal a plurality of physiological signals that would be obtained if the electrode were placed in the cerebral cortex of the person. have the means,
The nonlinear dynamical systems (8) of the nonlinear dynamical network (38) are each filtered after being processed by the spatial filter and optionally transformed if the nonlinear transformer (37) is present. A brain-computer interface system characterized in that it is suitable for processing signals.
前記非線形力学系（８）、又は前記非線形力学系（８）が１つ以上である場合には、前記非線形力学ネットワーク（３８）の少なくとも１つの非線形力学系（８）が、少なくとも３つの前記方程式（９）を含むこと
を特徴とするブレイン・コンピュータ・インタフェースシステム。 A brain computer interface system (1, 33) according to any one of claims 2 to 9,
The nonlinear dynamical system (8), or when there is one or more nonlinear dynamical systems (8), at least one nonlinear dynamical system (8) of the nonlinear dynamical network (38) A brain-computer interface system comprising equation (9).
前記非線形力学系（８）において、又は、前記非線形力学系（８）が１つ以上である場合には、少なくとも３つの前記方程式（９）を備える前記非線形力学ネットワーク（３８）の非線形力学系（８）のうちの少なくとも１つにおいて、前記第１の係数（ｋ、ｋｉ）の値、前記第２の係数（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）の値、及び、存在する場合には、前記第３の係数（ｇｉ、ｊ）の値は、前記非線形力学系（８）、又は、前記非線形力学系（８）が１つ以上である場合には、少なくとも３つの前記方程式（９）を備える前記非線形力学ネットワーク（３８）の前記非線形力学系（８）のうちの少なくとも１つが、カオス性の挙動を有するような値であること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 Brain-computer interface system (1, 33) according to claim 10, comprising:
in the nonlinear dynamical system (8) or, if there is one or more nonlinear dynamical systems (8), the nonlinear dynamical system of the nonlinear dynamical network (38) comprising at least three of the equations (9); In at least one of (8), the value of the first coefficient (k, k i ), the value of the second coefficient (a, b, c, a i , b i , c i ), and , if present, the value of the third coefficient (g i, j ) is the nonlinear dynamical system (8), or if there is one or more nonlinear dynamical systems (8), A brain system characterized in that at least one of the nonlinear dynamical systems (8) of the nonlinear dynamical network (38) comprising at least three of the equations (9) has a value such that it has chaotic behavior. computer interface system.
前記非線形力学系（８）において、又は、前記非線形力学系（８）が１つ以上である場合には、前記非線形力学ネットワーク（３８）の非線形力学系（８）の少なくとも１つにおいて、前記第１の係数（ｋ、ｋｉ）の値、前記第２の係数（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）の値、及び、存在する場合には、前記第３の係数（ｇｉ、ｊ）の値は、前記非線形力学系（８）において、又は、前記非線形力学系（８）が１つ以上である場合には、前記非線形力学ネットワーク（３８）の前記非線形力学系（８）の少なくとも１つにおいて、創発現象が生じるような値であること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 The brain computer interface system (1, 33) according to any one of claims 2 to 11,
In the nonlinear dynamical system (8), or if there is one or more nonlinear dynamical systems (8), in at least one of the nonlinear dynamical systems (8) of the nonlinear dynamical network (38), the the value of the first coefficient (k, k i ), the value of the second coefficient (a, b, c, a i , b i , c i ) and, if present, the third coefficient The value of (g i,j ) is determined in the nonlinear dynamical system (8) or, if there is one or more nonlinear dynamical systems (8), in the nonlinear dynamical network (38). A brain-computer interface system characterized in that at least one of system (8) has a value such that an emergent phenomenon occurs.
前記非線形力学系（８）において、又は、前記非線形力学系（８）が１つ以上である場合には前記非線形力学ネットワーク（３８）の非線形力学系（８）の少なくとも１つにおいて、前記第１の係数の値（ｋ、ｋｉ）、前記第２の係数の値（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）、及び存在する場合には、前記第３の係数の値（ｇｉ、ｊ）は、前記非線形力学系、又は前記非線形力学系が複数の場合には、前記非線形力学ネットワークの非線形力学系のうちの前記少なくとも１つの非線形力学系が固有のダイナミクスを有するような値であること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 A brain computer interface system (1, 33) according to any one of claims 2 to 12,
In the nonlinear dynamical system (8), or if there is one or more nonlinear dynamical systems (8), in at least one of the nonlinear dynamical systems (8) of the nonlinear dynamical network (38), 1 (k, k i ), the values of the second coefficients (a, b, c, a i , b i , c i ), and, if present, the values of the third coefficient. (g i, j ) is the nonlinear dynamical system, or in the case of a plurality of nonlinear dynamical systems, the at least one nonlinear dynamical system of the nonlinear dynamical systems of the nonlinear dynamical network has unique dynamics. A brain-computer interface system characterized by a value such that .
・前記数値分類器（１４）から前記実行コマンドを受け取り、前記物理的なアクションを実行するマシン（３）と、
・前記非線形力学系（８）において、又は前記非線形力学系（８）が複数の場合には、前記非線形力学ネットワーク（３８）の各非線形力学系（８）において、前記第１の係数（ｋ、ｋｉ）の値、前記第２の係数（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）のそれぞれの値、及び存在する場合には、前記第３の係数（ｇｉ、ｊ）のそれぞれの値を更新するための監視ユニット（１６）と
を有すること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 A brain computer interface system (1, 33) according to any one of claims 2 to 13,
- a machine (3) that receives the execution command from the numerical classifier (14) and executes the physical action;
- In the nonlinear dynamical system (8), or in the case where there is a plurality of nonlinear dynamical systems (8), in each nonlinear dynamical system (8) of the nonlinear dynamical network (38), the first coefficient (k , k i ), the respective values of said second coefficients (a, b, c, a i , b i , c i ) and, if present, said third coefficients (g i, j ) and a monitoring unit (16) for updating respective values of the brain-computer interface system.
前記想像上のアクションと前記物理的なアクションとの間の対応関係の適切な評価を前記監視ユニット（１６）に伝達するために、人（２）によって操作可能なフィードバック手段（１５）を有し、
前記監視ユニット（１６）は、
・入力として
－ 前記フィルタリングされ、そして前記非線形変換器（７）が存在する場合には、前記非線形力学系（８）で処理されず変換（２０）される可能性がある信号を
又は、
前記非線形力学系（８）が複数の場合には
－前記フィルタリングされ、前記非線形変換器（３７）が存在する場合には、変換されるが、前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理されてなく、また、存在する場合には、前記第２の評価手段（４１）によって評価されていない信号を受け取り、
・前記非線形力学系（８）において、又は、非線形力学系（８）が複数の場合には前記非線形力学ネットワーク（３８）の各非線形力学系（８）において、前記人（２）から伝達された評価にしたがって、前記第１の係数（ｋｉ）の値、前記第２の係数（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）のそれぞれの値、及び、存在する場合には、前記第３の係数（ｇｉ、ｊ）のそれぞれの値を更新する
のに適していること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 Brain-computer interface system (1) according to claim 14 when dependent on claim 7 ,
comprising feedback means (15) operable by the person (2) in order to communicate an appropriate assessment of the correspondence between said imaginary action and said physical action to said monitoring unit (16); ,
The monitoring unit (16) includes:
- as input - the signal that has been filtered and, if the nonlinear transformer (7) is present, may be transformed (20) without being processed in the nonlinear dynamical system (8);
In the case where there is a plurality of nonlinear dynamical systems (8), the nonlinear dynamical system (8) of the nonlinear dynamical network (38) is filtered, and if the nonlinear converter (37) is present, the nonlinear dynamical system (8) is transformed; 8) receiving a signal which has not been processed by said second evaluation means (41) and, if present, has not been evaluated by said second evaluation means (41);
- In the nonlinear dynamical system (8), or in the case of multiple nonlinear dynamical systems (8), in each nonlinear dynamical system (8) of the nonlinear dynamical network (38), the information transmitted from the person (2) According to the evaluation, the value of the first coefficient (k i ), the value of each of the second coefficients (a, b, c, a i , b i , c i ) and, if present, , the third coefficient (g i, j ).
・前記人（２）の脳活動に直接関連しない少なくとも１つのさらなる生理的信号を取得するために、前記人（２）に適用可能なさらなる取得手段（４２）と、
・前記マシン（３）による前記物理的なアクションの実行を検出するための、前記マシン（３）の監視手段（４３）と
を有し、
前記監視ユニット（１６）は、
・前記さらなる生理的信号の検査から、前記想像上のアクションと前記物理的なアクションとの間の対応関係を評価し、そして
・前記非線形力学系（８）において、又は前記非線形力学系（８）が複数の場合には、前記非線形力学ネットワーク（３８）の各非線形力学系（８）において、前記第１の係数（ｋｉ）の値、前記第２の係数（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）のそれぞれの値、及び存在する場合には、前記第３の係数（ｇｉ、ｊ）のそれぞれの値を、前記監視ユニット（１６）によって行われた評価に従って更新する
のに適していること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 Brain-computer interface system (33) according to claim 14, comprising:
- further acquisition means (42) applicable to said person (2) for acquiring at least one further physiological signal not directly related to the brain activity of said person (2);
- monitoring means (43) for the machine (3) for detecting execution of the physical action by the machine (3);
The monitoring unit (16) includes:
- from the examination of said further physiological signals, evaluate the correspondence between said imaginary action and said physical action, and - in said nonlinear dynamical system (8) or in said nonlinear dynamical system (8). ), in each nonlinear dynamical system (8) of the nonlinear dynamical network (38), the value of the first coefficient (k i ), the second coefficient (a, b, c, a i , b i , c i ) and, if present, of said third coefficient (g i, j ) according to the evaluation made by said monitoring unit (16); A brain-computer interface system characterized by being suitable for
前記監視ユニット（１６）が、
・入力としてまた
－ 前記非線形力学系（８）によって処理された前記信号
又は
－前記非線形力学系（８）が複数の場合には、前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理された前記信号を
受信し、
そして、
・前記非線形力学系（８）において、又は前記非線形力学系（８）が複数の場合には、前記非線形力学ネットワーク（３８）の非線形力学系（８）の各々において、前記第１の係数（ｋｉ）の値、前記第２の係数（ａ、ｂ、ｃ、ａｉ、ｂｉ、ｃｉ）のそれぞれの値、及び存在する場合は、前記第３の係数（ｇｉ、ｊ）のそれぞれの値を、前記非線形力学系（８）によって処理された前記信号の関数として、又は、前記非線形力学系（８）が１つ以上である場合には、前記非線形力学ネットワーク（３８）の非線形力学系（８）によって処理された前記信号の関数として、更新する
のに適していること
を特徴とするブレイン・コンピュータ・インタフェースシステム。 Brain computer interface system (1, 33) according to claim 15 or 16,
The monitoring unit (16)
- also as an input - the signal processed by the nonlinear dynamical system (8); or - in the case of a plurality of nonlinear dynamical systems (8), the signal processed by the nonlinear dynamical system (8) of the nonlinear dynamical network (38); receiving the processed signal;
and,
- In the nonlinear dynamical system (8), or in the case where there is a plurality of nonlinear dynamical systems (8), in each of the nonlinear dynamical systems (8) of the nonlinear dynamical network (38), the first coefficient ( k i ), the respective values of said second coefficients (a, b, c, a i , b i , c i ) and, if present, of said third coefficient (g i, j ). each value as a function of said signal processed by said nonlinear dynamics system (8) or, if there is more than one said nonlinear dynamics system (8), as a function of said nonlinear dynamics network (38). A brain-computer interface system, characterized in that it is suitable for updating as a function of said signals processed by a dynamical system (8).
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/030295 WO2021019776A1 (en) | 2019-08-01 | 2019-08-01 | "Brain-computer interface system suitable for synchronizing one or more nonlinear dynamical systems with the brain activity of a person" |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022551370A JP2022551370A (en) | 2022-12-09 |
| JP7390610B2 true JP7390610B2 (en) | 2023-12-04 |
Family
ID=67876050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022504528A Active JP7390610B2 (en) | 2019-08-01 | 2019-08-01 | Brain-computer interface system suitable for synchronizing one or more nonlinear dynamical systems with human brain activity |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7390610B2 (en) |
| WO (1) | WO2021019776A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115005842B (en) * | 2022-08-09 | 2022-11-15 | 之江实验室 | Frequency-modulated brain-computer interface chip input impedance enhancing method and system |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009149126A2 (en) | 2008-06-02 | 2009-12-10 | New York University | Method, system, and computer-accessible medium for classification of at least one ictal state |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7630757B2 (en) | 1997-01-06 | 2009-12-08 | Flint Hills Scientific Llc | System for the prediction, rapid detection, warning, prevention, or control of changes in activity states in the brain of a subject |
| US6732064B1 (en) * | 1997-07-02 | 2004-05-04 | Nonlinear Solutions, Inc. | Detection and classification system for analyzing deterministic properties of data using correlation parameters |
| WO2007075477A2 (en) | 2005-12-19 | 2007-07-05 | University Of Florida | Closed-loop state-dependent seizure prevention systems |
| WO2010094114A1 (en) | 2009-02-17 | 2010-08-26 | Neurochip Corporation | System and method for cognitive rhythm generation |
| CN102985002B (en) | 2010-03-31 | 2016-02-17 | 新加坡科技研究局 | Brain machine interface system and method |
-
2019
- 2019-08-01 JP JP2022504528A patent/JP7390610B2/en active Active
- 2019-08-01 WO PCT/JP2019/030295 patent/WO2021019776A1/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009149126A2 (en) | 2008-06-02 | 2009-12-10 | New York University | Method, system, and computer-accessible medium for classification of at least one ictal state |
Non-Patent Citations (1)
| Title |
|---|
| Vaibhav Gandhi et al.，EEG denoising with a Recurrent Quantum Neural Network for a Brain-Computer Interface，The 2011 International Joint Conference on Neural Networks，2021年10月03日，Page 1583-1590 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022551370A (en) | 2022-12-09 |
| WO2021019776A1 (en) | 2021-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Islam et al. | Wavelet analysis based classification of emotion from EEG signal | |
| Ko et al. | Emotion recognition using EEG signals with relative power values and Bayesian network | |
| KR20080074099A (en) | Detection of and interaction using mental states | |
| Joshi et al. | Deep BiLSTM neural network model for emotion detection using cross-dataset approach | |
| JP7336755B2 (en) | DATA GENERATION DEVICE, BIOLOGICAL DATA MEASUREMENT SYSTEM, CLASSIFIER GENERATION DEVICE, DATA GENERATION METHOD, CLASSIFIER GENERATION METHOD, AND PROGRAM | |
| Teo et al. | Classification of affective states via EEG and deep learning | |
| Bousseta et al. | EEG efficient classification of imagined hand movement using RBF kernel SVM | |
| Gjoreski et al. | An inter-domain study for arousal recognition from physiological signals | |
| Padmavathi et al. | A review on EEG based brain computer interface systems | |
| JP7390610B2 (en) | Brain-computer interface system suitable for synchronizing one or more nonlinear dynamical systems with human brain activity | |
| Shankhdhar et al. | Quality analysis for reliable complex multiclass neuroscience signal classification via electroencephalography | |
| Shepelev et al. | A novel neural network approach to creating a brain–computer interface based on the EEG patterns of voluntary muscle movements | |
| Singh et al. | Mining naturalistic human behaviors in long-term video and neural recordings | |
| Martinez-Leon et al. | Feature Selection Applying Statistical and Neurofuzzy Methods to EEG‐Based BCI | |
| Dzitac et al. | Identification of ERD using fuzzy inference systems for brain-computer interface | |
| Ogino et al. | An EEG-based robot arm control to express human emotions | |
| Arslan et al. | Subject-dependent and subject-independent classification of mental arithmetic and silent reading tasks | |
| Jain et al. | EEG signal classification for real-time neuro marketing applications | |
| Rathee et al. | Eeg-based emotion identification using general factor analysis | |
| Butsiy et al. | Comparative analysis of neurointerface technologies for the problem of their reasonable choice in human-machine information systems | |
| Elamir et al. | Emotion recognition via physiological signals using higher order crossing and Hjorth parameter | |
| Mezzina et al. | Local binary patterning approach for movement related potentials based brain computer interface | |
| Nazneen et al. | Towards the effective intrinsic mode functions for motor imagery EEG signal classification | |
| Thilagaraj et al. | Classification of Electroencephalogram Signal for Developing Brain‐Computer Interface Using Bioinspired Machine Learning Approach | |
| Djelloul et al. | EEG Classification-based Comparison Study of Motor-Imagery Brain-Computer Interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220124 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230920 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231108 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7390610 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |