JP6755507B2 - How to operate the brain activity training system and the brain activity training system - Google Patents
How to operate the brain activity training system and the brain activity training system Download PDFInfo
- Publication number
- JP6755507B2 JP6755507B2 JP2016009279A JP2016009279A JP6755507B2 JP 6755507 B2 JP6755507 B2 JP 6755507B2 JP 2016009279 A JP2016009279 A JP 2016009279A JP 2016009279 A JP2016009279 A JP 2016009279A JP 6755507 B2 JP6755507 B2 JP 6755507B2
- Authority
- JP
- Japan
- Prior art keywords
- activity
- brain
- signal
- user
- site
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
本発明は、脳活動を変化させる訓練をするためのシステム及び方法に関する。 The present invention relates to systems and methods for training to alter brain activity.
四肢切断後の患者の５０−８０％は、存在しないはずの患肢が存在するように感じ、さらにその患肢の激烈な痛みである幻肢痛を発症する（非特許文献１参照）。 50-80% of patients after limb amputation feel that there is an affected limb that should not be present, and further develop phantom limb pain, which is severe pain in the affected limb (see Non-Patent Document 1).
幻肢痛の原因としては、末梢神経から中枢神経系に関するものまで様々なものが論じられているが、特に大脳皮質感覚運動野において四肢切断後に生じる可塑的変化が大きな要因と考えられている（非特許文献１参照）。例えば、幻肢痛のある患者が口や幻肢を動かす運動課題を実施している時の皮質活動は、幻肢痛のない患者が同じ運動課題を実施している時の活動とパターンが大きく異なることを示す先行研究がある。 Various causes of phantom limb pain have been discussed, ranging from peripheral nerves to those related to the central nervous system, but plastic changes that occur after limb amputation are considered to be a major factor, especially in the sensorimotor cortex of the cerebral cortex. See Non-Patent Document 1). For example, cortical activity when a patient with phantom limb pain is performing an exercise task that moves the mouth or phantom limb has a large pattern with activity when a patient without phantom limb pain is performing the same exercise task. There are previous studies showing that they are different.
その一方で、脳活動の状態を示す生体信号（脳信号）を解読してその生体信号が示す脳活動のパターン（脳情報）を取得し、この脳情報を利用することで神経系に起因する難病の治療への応用のための研究が進められている。例えば、ある被験者で計測された脳信号に機械学習の手法を適用することでこの生体信号の解読が可能になる。例えば、生体信号から得られた脳情報が示す身体運動の種類が把握される（非特許文献２参照）。さらには、解読によって得られた脳情報を使ったニューロフィードバックによって、脳情報表現を操作することも可能である（非特許文献３参照）。例えばすでに低次の視覚認知については、ｆＭＲＩ（ｆｕｎｃｔｉｏｎａｌ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）を用いて計測された被験者の脳活動の信号から読み解かれた情報をニューロフィードバックの手法を用いてフィードバックすることで当該被験者の視覚認知に関する脳活動を修飾して、視覚認知における反応を変化させることが可能なことが示されている（非特許文献４参照）。また、幻肢の運動についても、脳磁計から得られる脳信号で運動内容を解読できることが示されている（非特許文献５参照）。 On the other hand, it is caused by the nervous system by decoding the biological signal (brain signal) indicating the state of brain activity, acquiring the pattern of brain activity (brain information) indicated by the biological signal, and using this brain information. Research is underway for its application to the treatment of intractable diseases. For example, by applying a machine learning method to a brain signal measured by a certain subject, it becomes possible to decipher this biological signal. For example, the type of physical exercise indicated by brain information obtained from a biological signal can be grasped (see Non-Patent Document 2). Furthermore, it is also possible to manipulate the brain information expression by neurofeedback using the brain information obtained by decoding (see Non-Patent Document 3). For example, for lower-order visual cognition, the information read from the subject's brain activity signal measured using fMRI (functional Magnetic Resonance Imaging) is fed back by using the neurofeedback method. It has been shown that it is possible to modify the brain activity related to visual cognition to change the response in visual cognition (see Non-Patent Document 4). In addition, it has been shown that the movement content of the phantom limb movement can be deciphered by the brain signal obtained from the magnetoencephalograph (see Non-Patent Document 5).
幻肢痛の患者においては、痛みの受容器や伝達経路が現実には存在しなかったり機能しなかったりするため、鎮痛剤や麻酔といった薬を用いても十分に鎮痛できず、患者のＱＯＬ（Ｑｕａｌｉｔｙ ｏｆ Ｌｉｆｅ）を著しく障害する。また、難治性の病状であることから治療が長期化しやすいため、医療負担の観点からも有効な治療手法の発見が望まれている。 In patients with phantom limb pain, pain receptors and transmission pathways do not actually exist or function, so even drugs such as analgesics and anesthesia cannot sufficiently relieve pain, and the patient's QOL ( It significantly impairs the Quality of Life). In addition, since it is an intractable medical condition, treatment tends to take a long time, so it is desired to discover an effective treatment method from the viewpoint of medical burden.
一方、上記のニューロフィードバックは薬とは異なるアプローチであり、幻肢痛に対する治療において薬で従来得られない効果が期待される。しかし従来のニューロフィードバックによる変化では、読み解かれた脳情報によって脳活動を強めるように訓練される。つまり、幻肢痛の治療に適用すれば幻肢痛を生じている脳活動を強めてしまい、かえって患者の痛みを増悪させる。 On the other hand, the above-mentioned neurofeedback is an approach different from that of a drug, and is expected to have an effect that cannot be obtained by a drug in the treatment of phantom limb pain. However, conventional neurofeedback changes are trained to enhance brain activity with the brain information that is read. In other words, when applied to the treatment of phantom limb pain, it strengthens the brain activity that causes phantom limb pain, and rather exacerbates the patient's pain.
本発明はこの問題点に鑑みてなされたものであり、幻肢痛の原因となる脳活動等の異常な脳活動を弱めるように変化させる訓練のためのシステム等を提供することを目的とする。 The present invention has been made in view of this problem, and an object of the present invention is to provide a training system or the like for changing abnormal brain activity such as brain activity that causes phantom limb pain so as to weaken it. ..
上記の課題を解決するために、本発明の一態様に係る脳活動訓練システムは、脳信号計測装置と、活動状態推定装置と、提示装置とを備え、前記脳信号計測装置は、身体の一部である第１部位において随意的な活動をしているユーザの脳活動の状態を示す第１脳信号を計測し、前記活動状態推定装置は、前記第１脳信号及び前記第１部位の活動を示す第１部位活動情報を複数取得し、前記第１脳信号及び前記複数の第１部位活動情報を用いて、前記ユーザの脳活動の状態を示す脳信号に対応する前記第１部位の活動を推定するための情報であるデコーダを生成し、前記第１部位とは異なる部位である第２部位の随意的な活動を想起している前記ユーザの脳活動の状態を示す、前記脳信号計測装置が計測する第２脳信号を取得しながら、前記デコーダを用いて前記第２脳信号に対応する前記第１部位の活動を推定し、かつ、推定された前記第１部位の活動を、前記第２部位の随意的な活動を想起している前記ユーザに、前記第２部位の活動として前記提示装置を介して視覚的に提示する。 In order to solve the above problems, the brain activity training system according to one aspect of the present invention includes a brain signal measuring device, an activity state estimating device, and a presenting device, and the brain signal measuring device is one of the bodies. The activity state estimator measures the first brain signal indicating the state of the brain activity of the user who is performing voluntary activity in the first part, which is a part, and the activity state estimation device uses the first brain signal and the activity of the first part. The activity of the first site corresponding to the brain signal indicating the state of the brain activity of the user by acquiring a plurality of first site activity information indicating the above and using the first brain signal and the plurality of first site activity information. The brain signal measurement that generates a decoder that is information for estimating the above and indicates the state of the brain activity of the user who recalls the voluntary activity of the second part, which is a part different from the first part. While acquiring the second brain signal measured by the device, the decoder is used to estimate the activity of the first part corresponding to the second brain signal, and the estimated activity of the first part is obtained. The user who recalls the voluntary activity of the second part is visually presented as the activity of the second part through the presenting device.
この構成により、ユーザは、第２部位の活動の意図で従来生じていた脳活動とは異なる脳活動、つまり第１部位の活動を第２部位の活動の意図と関連付けるような訓練をすることができる。これにより、第２部位の活動の意図で従来生じていた脳活動を弱めることができる。 With this configuration, the user can be trained to associate the brain activity different from the brain activity conventionally generated by the intention of the activity of the second part, that is, the activity of the first part with the intention of the activity of the second part. it can. This makes it possible to weaken the brain activity that has conventionally occurred due to the intention of the activity of the second site.
また、前記活動状態推定装置は、前記第１脳信号の特徴量を抽出し、前記特徴量と、前記複数の第１部位活動情報のそれぞれとを対応付けて複数のデータセットを生成し、前記複数のデータセットを用いて機械学習をすることで、前記デコーダを作成してもよい。例えば、前記特徴量は、第１脳信号の所定時間幅の時間平均、所定の周波数帯のパワー、及び所定の周波数帯の位相のうちの少なくとも１つであってもよい。また例えば、前記機械学習は、サポートベクターマシンとガウス過程回帰、スパースロジスティック回帰、線形判別関数、又はカルマンフィルタを用いて実施されてもよい。 Further, the activity state estimation device extracts the feature amount of the first brain signal, associates the feature amount with each of the plurality of first site activity information, and generates a plurality of data sets, and the said. The decoder may be created by performing machine learning using a plurality of data sets. For example, the feature amount may be at least one of a time average of a predetermined time width of the first brain signal, a power of a predetermined frequency band, and a phase of a predetermined frequency band. Further, for example, the machine learning may be performed using a support vector machine and a Gaussian process regression, a sparse logistic regression, a linear discriminant function, or a Kalman filter.
これにより、第１部位の活動の各種状態と脳信号との間の対応付けに基づくデコーダが生成される。このデコーダを用いて、活動状態推定装置は新たな計測によって得られた脳信号から、第１部位の活動の状態を推測することができる。 As a result, a decoder based on the correspondence between various states of activity of the first region and the brain signal is generated. Using this decoder, the activity state estimator can estimate the activity state of the first site from the brain signal obtained by the new measurement.
また、前記脳信号計測装置は、脳磁計、頭皮脳波計、頭蓋内脳波計、核磁気共鳴装置、又は近赤外光脳活動計測装置であり、前記活動状態推定装置は、プロセッサ、前記デコーダを記憶するための記憶部、前記脳信号計測装置から第１脳信号及び第２脳信号の入力を受ける信号入力部、及び前記提示装置へ前記第２部位の活動を示す第２部位活動信号を出力する信号出力部を備える電子計算機であり、前記提示装置は、前記第２部位活動信号に応じて機械的に動作する模擬装置、又は前記模擬装置の画像若しくは前記第２部位活動信号に応じて動く前記第２部位を模した画像を表示する表示装置であってもよい。 Further, the brain signal measuring device is a encephalogram, a scalp cerebral wave meter, an intracranial cerebral wave meter, a nuclear magnetic resonance device, or a near-infrared optical brain activity measuring device, and the activity state estimating device includes a processor and the decoder. A storage unit for storing, a signal input unit that receives inputs of a first brain signal and a second brain signal from the brain signal measuring device, and a second part activity signal indicating the activity of the second part are output to the presenting device. It is an electronic computer including a signal output unit, and the presenting device operates in response to a simulation device that mechanically operates in response to the second part activity signal, or an image of the simulation device or the second part activity signal. It may be a display device that displays an image imitating the second portion.
この構成により、ユーザは想起しているだけで現実にはしていない第２部位の活動を視覚的に捉えることができる。これにより、視覚的フィードバックを用いたニューロフィードバックの手法による脳活動の訓練を実現することができる。 With this configuration, the user can visually capture the activity of the second part that is only recalled but not realized. As a result, it is possible to realize training of brain activity by a neurofeedback method using visual feedback.
また、前記ユーザの活動は、運動、知覚による認知、又は想起であってもよい。 In addition, the user's activity may be motor, perceptual cognition, or recall.
つまりユーザは、第２部位における運動、知覚による認知、その他の想起に伴い生じる脳活動を弱める脳活動訓練をすることができる。 That is, the user can perform brain activity training that weakens the brain activity caused by movement, perceptual cognition, and other recalls in the second region.
また、前記第１部位は前記ユーザの健常肢であり、前記第２部位は前記健常肢の対側肢であって少なくとも一部が欠損しているか又は運動機能が不全であってもよい。 Further, the first site may be a healthy limb of the user, and the second site may be a contralateral limb of the healthy limb, and at least a part thereof may be missing or the motor function may be inadequate.
これにより、ユーザは、欠損していたり運動機能が不全であったりする上肢又は下肢（以下、患肢ともいう）の対側肢が健常であれば、患肢の活動に伴い生じる脳活動を弱める脳活動訓練を、この健常肢の動に伴い生じる脳活動を用いてすることができる。 As a result, the user weakens the brain activity that accompanies the activity of the affected limb if the contralateral limb of the upper limb or lower limb (hereinafter, also referred to as the affected limb) that is defective or has inadequate motor function is healthy. Brain activity training can be performed using the brain activity that accompanies the movement of this healthy limb.
また、前記模擬装置は、前記第２部位の動作を模擬することができる義肢であってもよい。 Further, the simulating device may be an artificial limb capable of simulating the operation of the second part.
これにより、例えばユーザが幻肢痛の患者である場合に、当該ユーザは義肢を用いた視覚的なフィードバックを受けることによって義肢を操作するための脳活動の訓練と幻肢痛の緩和のための脳活動の訓練とを同時にすることができる。 As a result, for example, when the user is a patient with phantom limb pain, the user receives visual feedback using the artificial limb to train brain activity for manipulating the artificial limb and to relieve the phantom limb pain. You can train your brain activity at the same time.
なお、本発明のこれらの包括的又は具体的な態様は、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現されてもよく、また、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 It should be noted that these comprehensive or specific embodiments of the present invention may be realized as a recording medium such as a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and also a method, an integrated circuit, a computer. It may be realized by any combination of a program and a recording medium.
本発明の一態様によれば、幻肢痛の原因となる脳活動等の異常な脳活動を弱めるように変化させる訓練が実現される。 According to one aspect of the present invention, training is realized in which abnormal brain activity such as brain activity that causes phantom limb pain is weakened.
（本発明の基礎となった知見）
上述したとおり、幻肢痛の原因としては、四肢切断に伴う求心路遮断後に生じる、大脳皮質感覚運動野における、可塑的変化である再構築が大きな要因として示唆されている。
(Knowledge that became the basis of the present invention)
As described above, it has been suggested that the major cause of phantom limb pain is reconstruction, which is a plastic change in the sensorimotor cortex of the cerebral cortex that occurs after afferent tract obstruction associated with limb amputation.
脳でのこのような変化を考慮した幻肢痛の治療方法として、鏡を用いた視覚的フィードバックによるリハビリテーション（鏡療法）や、断端部における触覚弁別訓練を通じての機能再建が挙げられる。これらの方法によって大脳皮質の可塑的変化が誘導され、痛みの原因となるような大脳皮質の異常な脳活動を健常化し、結果的に痛みを減弱させることができたという報告がある。 Treatment methods for phantom limb pain in consideration of such changes in the brain include rehabilitation (mirror therapy) by visual feedback using a mirror and functional reconstruction through tactile discrimination training at the stump. It has been reported that these methods induce plastic changes in the cerebral cortex, normalize abnormal brain activity in the cerebral cortex that causes pain, and as a result, reduce pain.
しかしながら、このような大脳皮質の再構築の根拠となる研究は主に患者群内での比較による相対的な評価によるものであり、特に運動機能については、患者毎の大脳皮質における脳活動の可塑的変化と痛みとの因果関係を示したものは無かった。また、鏡療法の効果には個人差があることがわかっている。 However, the studies on which such reconstruction of the cerebral cortex is based are mainly based on relative evaluation by comparison within the patient group, and especially for motor function, plasticity of brain activity in the cerebral cortex for each patient. None showed a causal relationship between target changes and pain. In addition, it is known that there are individual differences in the effects of mirror therapy.
一方で、近年、上肢に麻痺のある患者では、ＢＭＩ（Ｂｒａｉｎ−Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）を使用する訓練によって運動機能が再建されたばかりでなく、感覚運動野における皮質活動の可塑的変化が誘導されたことを示す報告があがっている。 On the other hand, in recent years, in patients with upper limb paralysis, training using BMI (Brain-Machine Interface) not only reconstructed motor function but also induced plastic changes in cortical activity in the sensorimotor cortex. There are reports showing.
このようなＢＭＩは、まず、麻痺のある手の運動を想起している患者の脳活動の程度又は有無等、脳の活動の状態が表れる生体信号（以下、脳信号ともいう）を解読して、患者が想起した運動を示す脳活動のパターン（脳情報）を取得する。そしてこの脳情報に基づく信号を人工神経制御が可能な義手に送信して、患者が想起した運動をこの義手に実行させる、というものである。また、ＭＥＧ（ｍａｇｎｅｔｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ、脳磁計測）やＥＥＧ（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ、脳波計測）といった非侵襲的な手法で取得可能な生体信号を用いるＢＭＩであっても、リアルタイムの解読によって十分な精度が得られている。 Such BMI first decodes biological signals (hereinafter, also referred to as brain signals) that indicate the state of brain activity, such as the degree or presence of brain activity of a patient who recalls the movement of a paralyzed hand. , Acquire a pattern of brain activity (brain information) indicating the movement recalled by the patient. Then, a signal based on this brain information is transmitted to a prosthetic hand capable of artificial nerve control, and the prosthetic hand is made to perform the movement recalled by the patient. Further, even a BMI using a biological signal that can be acquired by a non-invasive method such as MEG (magnetoencephalography) or EEG (electroencephalography) has obtained sufficient accuracy by real-time decoding. ..
そこで発明者らは、ＢＭＩによる運動機能の再建には、患者において求心路遮断後に生じた皮質での不適応な再構築を正常化し、患者の幻肢痛を和らげる効果があるのではないかという仮説を立て、ＭＥＧを利用したＢＭＩを用いて以下の試験を実施した。 Therefore, the inventors suggest that the reconstruction of motor function by BMI may have the effect of normalizing the maladapted reconstruction in the cortex that occurred after afferent blockage in the patient and relieving the patient's phantom limb pain. A hypothesis was made and the following tests were performed using BMI using MEG.
図１は、発明者らが実施した試験の概要を示す図である。 FIG. 1 is a diagram showing an outline of tests conducted by the inventors.
上肢の幻肢痛がある患者１０名を被験者として、画面と音による合図に合わせて幻肢側の手を開く又は握る運動を想起してもらう運動課題を実行してもらった。運動の想起の実行手順については以下のとおりである。 Ten patients with phantom limb pain in the upper limbs were asked to perform an exercise task to remind them of the movement of opening or holding the hand on the phantom limb side in response to a screen and sound signal. The procedure for executing exercise recall is as follows.
まず、手を開く又は握るという、想起する運動の内容を指示する画面Ｄ１０Ａ又は画面Ｄ１０Ｂを被験者に提示した（ステップＳ１０）。 First, the subject was presented with a screen D10A or a screen D10B instructing the content of the recalled movement of opening or grasping the hand (step S10).
想起する運動の内容を被験者に１秒間提示した後、ステップＳ１０で指示した運動の想起の実行２秒前であることを示す画面Ｄ２０に切り替え、この切り替えと同時に予告音を鳴らした（ステップＳ２０）。 After presenting the content of the exercise to be recalled to the subject for 1 second, the screen was switched to the screen D20 indicating that it was 2 seconds before the execution of the recall of the exercise instructed in step S10, and a warning sound was sounded at the same time as this switching (step S20). ..
ステップＳ２０の開始から１秒後、ステップＳ１０で指示した運動の実行１秒前であることを示す画面Ｄ３０に切り替え、この切り替えと同時に再び予告音を鳴らした（ステップＳ３０）。 One second after the start of step S20, the screen was switched to the screen D30 indicating that it was one second before the execution of the exercise instructed in step S10, and at the same time as this switching, the warning sound was sounded again (step S30).
ステップＳ３０の開始から１秒後、ステップＳ１０で指示した運動の想起の実行のタイミングであることを示す画面Ｄ４０に切り替え、この切り替えと同時に合図音を鳴らした（ステップＳ４０）。被験者は、画面Ｄ４０の表示及び合図音に合わせてステップＳ１０で指示された運動の想起を実行した。画面Ｄ４０の表示はステップＳ４０の開始の０．５秒後に停止し、固視点（十字の記号）を示す画面Ｄ５０に切り替えた（ステップＳ５０）。なお、被験者は、各運動の想起をできるだけ短い時間で終わるように指示されている。 One second after the start of step S30, the screen was switched to the screen D40 indicating that it was the timing of executing the recall of the movement instructed in step S10, and a signal sound was sounded at the same time as this switching (step S40). The subject performed the recall of the movement instructed in step S10 in accordance with the display on the screen D40 and the signal sound. The display of the screen D40 was stopped 0.5 seconds after the start of step S40, and was switched to the screen D50 showing the fixed viewpoint (symbol of the cross) (step S50). The subject is instructed to finish the recall of each exercise in the shortest possible time.
画面Ｄ５０が３秒間表示されるとステップＳ２０に戻って同じ指示内容で再びステップＳ５０が実行された。このようにして、同じ運動の想起を被験者に４回繰り返されて、運動課題が１回実行されたことになる。 When the screen D50 was displayed for 3 seconds, the process returned to step S20 and step S50 was executed again with the same instructions. In this way, the subject was repeatedly recalled the same exercise four times, and the exercise task was executed once.
上記のステップＳ１０からステップＳ５０からなるこの運動課題を全部で１０回、各回で無作為に選ばれたいずれかの運動で各被験者に実行してもらった。 This exercise task consisting of steps S10 to S50 was performed 10 times in total, and each subject was asked to perform one of the randomly selected exercises each time.
またさらに、各被検者に健常肢でもこの運動課題を同様に実行してもらった。ただし、健常肢では運動の想起ではなく、手を実際に動かしてもらった。 Furthermore, we asked each subject to perform this exercise task in the same way on healthy limbs. However, with healthy limbs, I had them actually move their hands instead of recalling exercise.
一方、幻肢及び健常肢それぞれでの上記の手順の実行と並行して、各被験者の脳磁界信号の計測を実施した。具体的には、各被験者の頭部の８４箇所で脳磁界信号を計測した。 On the other hand, in parallel with the execution of the above procedure in each of the phantom limb and the healthy limb, the magnetoencephalographic signal of each subject was measured. Specifically, the magnetoencephalographic signals were measured at 84 points on the head of each subject.
得られた各チャネルの脳磁界信号は、ＶＢＭＥＧ法（ｖａｒｉａｔｉｏｎａｌ ｂａｙｅｓｉａｎ ｍｕｌｔｉｍｏｄａｌ ｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）によって皮質電流に変換され、ステップＳ４０における運動開始から５００ミリ秒の時間幅で時間平均し、各被験者の安静時の皮質電位でｚ−ｎｏｒｍ化（規格化）した。最後にｚ−ｎｏｒｍ化した各被験者の皮質電位の平均を算出して、運動開始後の脳表の各部位での皮質電位の変化を分析した。また、手を開く運動の実行時の皮質電流と手を握る運動の実行時の皮質電流とを一元配置分散分析を用いて比較した。この試験の分析によって得られた知見を簡単にまとめると以下のとおりである。 The obtained electroencephalographic signals of each channel are converted into cortical currents by the VBMEG method (variational bayesian multimodal encephalography), time-averaged in a time width of 500 milliseconds from the start of exercise in step S40, and the cortex at rest of each subject. It was z-normized (normalized) at the potential. Finally, the average of the cortical potentials of each z-normized subject was calculated, and the changes in the cortical potentials at each part of the brain surface after the start of exercise were analyzed. In addition, the cortical current during the hand-opening exercise and the cortical current during the hand-holding exercise were compared using one-way ANOVA. The following is a brief summary of the findings obtained from the analysis of this study.
１．幻肢の運動想起時には幻肢の対側の感覚運動野で、健常肢での運動時には健常肢の対側の感覚運動野で皮質電位が増強した。 1. 1. Cortical potential was enhanced in the sensorimotor area contralateral to the phantom limb when recalling the movement of the phantom limb, and in the sensorimotor area contralateral to the healthy limb when exercising in the healthy limb.
２．皮質における脳活動は２種類の運動間で差異が見られた。この差異は、幻肢の運動想起時においても見られた。 2. 2. Brain activity in the cortex was different between the two types of exercise. This difference was also seen when recalling the movement of the phantom limbs.
３．健常肢の運動情報も幻肢の運動情報も、それぞれの対側の感覚運動野に多く保持された。 3. 3. A large amount of motor information on healthy limbs and phantom limbs was retained in the contralateral sensorimotor cortex.
次いで発明者らは、脳磁界信号から被験者が想起又は実行した運動の種類を推定するためのデコーダを作成した。この作成には、被験者が幻肢の運動を想起している状態の感覚運動野における皮質電流の時間平均をサポートベクターマシンの入力として用いた機械学習を実施した。これにより作成されたデコーダを、以下では幻肢デコーダという。また被験者が健常肢の運動を実行している状態の皮質電流についても同様に用いて機械学習を実施した。これにより作成されたデコーダを、以下では健常肢デコーダという。各デコーダは、１０分割交差検定をネストで実施して評価した。結果として、幻肢デコーダ及び健常肢デコーダのいずれでも同等の高い正答率（それぞれ６６．０±１０．５、７７．８±７．５９）が得られた。このようにして得られたデコーダを、発明者らは義手の操作に用いられるＢＭＩでの、脳磁界信号のリアルタイムの解読に用いることにした。 The inventors then created a decoder for estimating the type of movement the subject recalled or performed from the magnetoencephalogram signal. To create this, machine learning was performed using the time average of cortical currents in the sensorimotor cortex in which the subject recalled the movement of the phantom limb as the input of the support vector machine. The decoder created by this is referred to as a phantom limb decoder below. In addition, machine learning was also performed using the cortical current in the state where the subject was performing exercises of healthy limbs. The decoder created in this way is hereinafter referred to as a healthy limb decoder. Each decoder was evaluated by performing a 10-fold cross-validation in a nested manner. As a result, the same high correct answer rate (66.0 ± 10.5 and 77.8 ± 7.59, respectively) was obtained in both the phantom limb decoder and the healthy limb decoder. The inventors decided to use the decoder thus obtained for real-time decoding of the magnetoencephalogram signal by the BMI used for the operation of the artificial hand.
次に発明者らは、デコーダを含むＢＭＩを用いた義手の操作を訓練する訓練課題を含む試験を上記の運動課題と同じ被験者で実施した。図２はこの試験の流れを示すフロー図である。試験の詳細は次のとおりである。 Next, the inventors conducted a test including a training task for training the operation of a prosthetic hand using a BMI including a decoder with the same subjects as the above-mentioned exercise task. FIG. 2 is a flow chart showing the flow of this test. The details of the test are as follows.
まず各被験者に、上記で図１を参照して説明した運動課題と同様に、画面と合図音による指示に従って幻肢側の手の２種類の運動、つまり手を開く運動及び握る運動を想起してもらった（ステップＳ１１０）。この運動課題の実施時に脳磁界信号を計測した。次に、各被験者にはＶＡＳ（ｖｉｓｕａｌ ａｎａｌｏｇ ｓｃａｌｅ、視覚的評価スケール）による幻肢痛の評価をしてもらった（ステップＳ１２０）。 First, each subject was reminded of two types of hand movements on the phantom limb side, that is, hand opening movement and gripping movement, in the same manner as the exercise task explained with reference to FIG. 1 above, according to the instructions by the screen and the signal sound. I got it (step S110). The magnetoencephalogram signal was measured during the performance of this exercise task. Next, each subject was asked to evaluate phantom limb pain by VAS (visual analog scale) (step S120).
次に、各被験者は、幻肢側の手を開いたり握ったりするつもりで義手を１０分間操作して、できるだけその操作に習熟するよう指示が与えられた（ステップＳ１３０）。この義手は機械的に幻肢側の手の運動を模することができ、ＢＭＩから出力される信号に従って動作する。この訓練課題は、幻肢の運動の想起、及びこれに並行しての脳磁界信号の計測という点では運動課題と同じであるが、ＢＭＩを介して操作される義手の動きが視覚的なフィードバックとして被験者に与えられる点で運動課題とは異なる。なお、このステップＳ１３０の訓練は、ニューロフィードバックの一手法であるＤｅｃＮｅｆ（ｄｅｃｏｄｅｄ ｎｅｕｒｏｆｅｅｄｂａｃｋ）の原理を利用したものである。 Next, each subject was instructed to operate the prosthesis for 10 minutes with the intention of opening or grasping the hand on the phantom limb side, and to become as proficient in the operation as possible (step S130). This artificial hand can mechanically imitate the movement of the hand on the phantom limb side, and operates according to the signal output from the BMI. This training task is the same as the exercise task in that it recalls the movement of the phantom limb and measures the magnetoencephalographic signal in parallel with it, but the movement of the artificial hand operated via BMI gives visual feedback. It differs from the exercise task in that it is given to the subject as. The training in step S130 utilizes the principle of DecNef (decoded neurofedback), which is a method of neurofeedback.
ここで発明者らは、上記のＢＭＩに３種類のデコーダを用いた。ひとつは幻肢デコーダであり、もうひとつは健常肢デコーダである。つまりこれらは上記で作成したデコーダである。さらにもうひとつは、ランダムなデータから作成したデコーダである（以下、ランダムデコーダという）。各被験者には、これらのデコーダのいずれかを含むＢＭＩで上記の訓練課題を実施してもらった。なお、使用するデコーダに種類があることは被験者に知らされていない。また、各被験者には異なるデコーダを含むＢＭＩで日を変えて訓練課題を実施してもらった。デコーダの使用順序は、被験者間でランダムに変更した。 Here, the inventors used three types of decoders for the above BMI. One is a phantom limb decoder and the other is a healthy limb decoder. That is, these are the decoders created above. The other is a decoder created from random data (hereinafter referred to as a random decoder). Each subject was asked to perform the above training task on a BMI that included one of these decoders. The subject is not informed that there are different types of decoders to be used. In addition, each subject was asked to perform training tasks on different days with a BMI containing a different decoder. The order of use of the decoder was randomly changed among the subjects.
各デコーダでの訓練課題の終了後には、再びＶＡＳで幻肢痛の評価をしてもらい（ステップＳ１４０）、その後、フィードバックのない運動課題を再び幻肢で実施してもらった（ステップＳ１５０）。また、この運動課題の実施時にも脳磁界信号を計測した。なお、ステップＳ１１０とステップＳ１５０、及びステップＳ１２０とステップＳ１４０が、それぞれ同内容のステップであるため、ステップＳ１３０より前の各ステップに関してはＰｒｅ−ＢＭＩ、ステップＳ１３０より前のステップに関してはＰｏｓｔ−ＢＭＩと呼んで区別する。 After the training task in each decoder was completed, the phantom limb pain was evaluated again by VAS (step S140), and then the exercise task without feedback was performed again in the phantom limb (step S150). In addition, the magnetoencephalogram signal was measured during the performance of this exercise task. Since steps S110 and S150, and steps S120 and S140 have the same contents, Pre-BMI for each step before step S130 and Post-BMI for steps before step S130. Call and distinguish.
上述のとおり、各被験者には３種類のデコーダすべてで訓練課題を実行してもらうため、すべての種類のデコーダでステップＳ１３０を実行するまでこの流れを繰り返した（ステップＳ１６０）。 As described above, in order for each subject to perform the training task with all three types of decoders, this flow was repeated until step S130 was executed with all types of decoders (step S160).
発明者らは、ステップＳ１１０及びステップＳ１５０で取得した皮質電流に基づいて、Ｐｒｅ−ＢＭＩの運動課題の実施時の被験者の脳活動と及びＰｏｓｔ−ＢＭＩの運動課題の実施時の被験者の脳活動とを比較した。図３は、この試験によって得られた、脳活動の状態を皮質電流に基づいてデコーダの種類ごとに示す脳表図である。上２行は、幻肢の２種類の運動に関するＦ値の各被験者の平均を示す。２行のうち上段は、Ｐｒｅ−ＢＭＩ、下段はＰｏｓｔ−ＢＭＩのＦ値を濃淡で示す。また、３行目はＰｏｓｔ−ＢＭＩからＰｒｅ−ＢＭＩを減じて得た、上２行のＦ値の差を濃淡で示す。なお、各脳表図は左側が左脳を示し、左上の脳表図に付された破線は、左脳表上の感覚運動野のおおよその位置と範囲を示す。また、幻肢は右上肢で揃えている。 Based on the cortical currents acquired in steps S110 and S150, the inventors have found that the subject's brain activity during the Pre-BMI motor task and the subject's brain activity during the Post-BMI motor task. Was compared. FIG. 3 is a brain chart showing the state of brain activity obtained by this test for each type of decoder based on cortical current. The top two lines show the average of each subject with F-numbers for the two types of phantom limb movements. Of the two lines, the upper row shows the F value of Pre-BMI, and the lower row shows the F value of Post-BMI in shades. In addition, the third line shows the difference in F value between the upper two lines obtained by subtracting Pre-BMI from Post-BMI. In each brain chart, the left side shows the left brain, and the broken line attached to the upper left brain chart shows the approximate position and range of the sensorimotor area on the left brain chart. In addition, the phantom limbs are aligned with the upper right limb.
この訓練課題の実施前後の脳活動の比較から得られた知見を簡単にまとめると以下のとおりである。 The following is a brief summary of the findings obtained from the comparison of brain activity before and after the implementation of this training task.
１．幻肢デコーダを用いるＢＭＩでの訓練課題の実施後は、幻肢の対側の感覚運動野のＦ値が上昇した。これは、この訓練課題の実施によって幻肢の運動の想起に対応する脳活動が活性化されていることを示す。なお、ランダムデコーダを用いるＢＭＩでの訓練課題の実施後には、感覚運動野でのＦ値の上昇が見られなかった。 1. 1. After performing a BMI training task using a phantom limb decoder, the F-number of the sensorimotor cortex contralateral to the phantom limb increased. This indicates that the implementation of this training task activates the brain activity corresponding to the recall of the movement of the phantom limb. No increase in F-number was observed in the sensorimotor cortex after the training task in BMI using a random decoder.
２．健常肢デコーダを用いたＢＭＩでの訓練課題の実行後は、幻肢の対側の感覚運動野のＦ値が低下した。これは、この訓練課題の実施によって幻肢の想起に対応する従来の脳活動が弱まったことを示す。 2. 2. After performing the training task with BMI using the healthy limb decoder, the F value of the sensorimotor cortex contralateral to the phantom limb decreased. This indicates that the implementation of this training task weakened the conventional brain activity corresponding to the recall of the phantom limbs.
この上記２のような結果に至るのは、次の理由によるものと考えられる。すなわち、この訓練課題では、脳活動（を示す信号）から健常肢の運動を推定するデコーダが用いられている。ここで、幻肢を動かすつもりで義手を操作するようにとの指示に従う被験者は、幻肢を動かそうとする意図を持っている。しかし、義手をうまく操作するには健常肢を運動させるための脳活動がなされる必要がある。このため、被験者の脳では、幻肢を動かすつもりで健常肢を運動させるための脳活動がなされるという学習がなされ、これにより、幻肢を動かすために幻肢の運動を想起することで起こる従来の脳活動のパターンが弱められる。 It is considered that the reason for achieving the result as described in 2 above is as follows. That is, in this training task, a decoder that estimates the movement of a healthy limb from (a signal indicating) brain activity is used. Here, the subject who follows the instruction to operate the prosthesis with the intention of moving the phantom limb has an intention to move the phantom limb. However, in order to operate the artificial hand well, it is necessary to perform brain activity to exercise the healthy limb. For this reason, in the subject's brain, it is learned that brain activity is performed to move a healthy limb with the intention of moving the phantom limb, which occurs by recalling the movement of the phantom limb to move the phantom limb. Traditional patterns of brain activity are weakened.
このように、ＢＭＩを用いた訓練において、この訓練に用いるデコーダを患者には知らせずに変えることで、幻肢の運動の想起に対応する脳活動を弱めるよう変化させることができる。 In this way, in training using BMI, by changing the decoder used for this training without notifying the patient, it is possible to change the brain activity corresponding to the recall of the movement of the phantom limb so as to weaken it.
また、使用するデコーダによって、被験者の幻肢痛にも有意な差が見られた。 There was also a significant difference in the subject's phantom limb pain depending on the decoder used.
図４は、ＶＡＳで得られた痛みの評価値の、訓練課題の前後での変化を示すグラフである。この図から、幻肢デコーダを使用した訓練課題の実施の前後では幻肢痛は強まり、幻肢デコーダを使用した訓練課題の実施の前後では、幻肢痛が弱まったことがわかる。なお、ランダムデコーダを使用した訓練課題の実施の前後では痛みに大きな変化は見られなかった。 FIG. 4 is a graph showing changes in the evaluation values of pain obtained by VAS before and after the training task. From this figure, it can be seen that the phantom limb pain increased before and after the training task using the phantom limb decoder, and the phantom limb pain weakened before and after the training task using the phantom limb decoder. There was no significant change in pain before and after the training task using the random decoder.
図５は、訓練課題前後のＶＡＳによって得られた痛みの評価値の差分と脳表での上記のＦ値の差分との相関、及び当該訓練課題前後の痛みの評価値の差分と運動時の平均電流の差分との相関を示す脳表図である。色の濃いほうが正の相関を示す。この図から、幻肢の対側感覚運動野では、痛みの増加とＦ値の増加との間に正の相関が見られる。一方、痛みの増加と訓練課題前後での運動時の電流の差分との間には特に強い相関は見られない。 FIG. 5 shows the correlation between the difference in the evaluation value of pain obtained by VAS before and after the training task and the difference in the above F value on the brain table, and the difference in the evaluation value of pain before and after the training task and during exercise. It is a brain chart which shows the correlation with the difference of the average current. The darker the color, the more positive the correlation. From this figure, in the contralateral sensorimotor cortex of the phantom limb, a positive correlation is found between the increase in pain and the increase in F value. On the other hand, no particularly strong correlation was found between the increase in pain and the difference in current during exercise before and after the training task.
このように、幻肢痛の変化は、対側の感覚運動野における運動情報の変化と相関している。 Thus, changes in phantom limb pain correlate with changes in motor information in the contralateral sensorimotor cortex.
以上、上記の試験を通じて得た知見をもう一度簡単にまとめると以下のとおりである。 The above is a brief summary of the findings obtained through the above tests.
１．従来は脳活動において、目標とされる特定パターンを誘起、強化する訓練として用いられてきたニューロフィードバックの一手法であるＤｅｃＮｅｆにおいて、使用するデコーダを変えることで、脳活動に起こる可塑的変化を制御することができる。より具体的には、特定の脳活動パターンを弱めることができる。 1. 1. In DecNef, which is a neurofeedback method that has been used as training to induce and strengthen a specific target pattern in brain activity, the plastic changes that occur in brain activity are controlled by changing the decoder used. can do. More specifically, it can weaken certain brain activity patterns.
２．幻肢の運動意図に結びついていた幻肢の対側感覚運動野の活動を弱めるよう可塑的変化を誘導することで、幻肢痛の軽減が可能である。 2. 2. Phantom limb pain can be alleviated by inducing plastic changes to weaken the activity of the contralateral sensorimotor cortex of the phantom limb, which was linked to the motor intention of the phantom limb.
次に、これらの知見に基づいて至った本発明の実施の形態を、例を用いて説明する。 Next, an embodiment of the present invention based on these findings will be described with reference to examples.
（実施の形態）
［脳活動訓練システムの構成］
図６は、本発明の一実施の形態における脳活動訓練システムの構成を示すブロック図である。本実施の形態における脳活動訓練システム１０は、脳信号計測装置１００と、活動状態推定装置２００と、提示装置３００とを備える。
(Embodiment)
[Structure of brain activity training system]
FIG. 6 is a block diagram showing a configuration of a brain activity training system according to an embodiment of the present invention. The brain activity training system 10 in the present embodiment includes a brain signal measuring device 100, an activity state estimation device 200, and a presentation device 300.
脳信号計測装置１００は、脳活動訓練システム１０のユーザの脳活動の状態を示す脳信号を測定する。ここでいうユーザとは、脳活動訓練システム１０を用いて脳活動の訓練を受ける者であり、例えば被験者として上述された幻肢痛の患者等、脳活動に起因する病気の患者であってもよい。 The brain signal measuring device 100 measures a brain signal indicating the state of the brain activity of the user of the brain activity training system 10. The user referred to here is a person who receives training in brain activity using the brain activity training system 10, and even a patient with a disease caused by brain activity, such as a patient with phantom limb pain described above as a subject. Good.
このような脳信号計測装置１００としては、例えば脳磁計を用いることができる。脳磁計は、複数の超電導量子干渉計（ＳＱＵＩＤ：ｓｕｐｅｒｃｏｎｄｕｃｔｉｎｇ ｑｕａｎｔｕｍ ｉｎｔｅｒｆｅｒｅｎｃｅ ｄｅｖｉｃｅ）を備え、複数の位置における脳磁界信号を上記の脳信号として測定し取得するものであることが好ましい。また、脳信号計測装置１００としては、頭皮上に複数の電極を貼付して脳波を計測する頭皮脳波計が用いられてもよい。また、電極を脳表上へ直接留置して皮質脳波を計測する頭蓋内脳波計が用いられてもよい。さらに別の例としては、機能的核磁気共鳴装置又はＮＩＲＳ（ｎｅａｒ−ｉｎｆｒａｒｅｄ ｓｐｅｃｔｒｏｓｃｏｐｙ）脳計測装置が用いられてもよい。 As such a brain signal measuring device 100, for example, a magnetoencephalograph can be used. It is preferable that the magnetoencephalograph is provided with a plurality of superconducting quantum interferometers (SQUID: superconducting quantitum interference device), and measures and acquires brain magnetic field signals at a plurality of positions as the above-mentioned brain signals. Further, as the brain signal measuring device 100, a scalp electroencephalograph in which a plurality of electrodes are attached on the scalp to measure an electroencephalogram may be used. In addition, an intracranial electroencephalograph that measures cortical electroencephalogram by placing electrodes directly on the brain surface may be used. As yet another example, a functional nuclear magnetic resonance apparatus or a NIRS (near-infrared spectroscopy) brain measuring apparatus may be used.
脳信号計測装置１００は、例えば計測部１１０、増幅部１２０、及びアナログ−デジタル（ａｎａｌｏｇ−ｄｅｇｉｔａｌ、以下、及び図ではＡ／Ｄと表記）変換器１３０を備える。 The brain signal measuring device 100 includes, for example, a measuring unit 110, an amplification unit 120, and an analog-digital (analog-digital, hereinafter referred to as A / D in the figure) converter 130.
計測部１１０は、脳信号を生体から読み取るセンサであり、上記に例示した装置によって異なる。例えば脳磁計であればＳＱＵＩＤであるし、脳波計であれば電極である。 The measuring unit 110 is a sensor that reads a brain signal from a living body, and differs depending on the device exemplified above. For example, in the case of a magnetoencephalograph, it is SQUID, and in the case of an electroencephalograph, it is an electrode.
増幅部１２０は、計測部１１０が出力する信号を増幅する。例えばオペアンプを備える増幅回路などで実現される。 The amplification unit 120 amplifies the signal output by the measurement unit 110. For example, it is realized by an amplifier circuit provided with an operational amplifier.
Ａ／Ｄ変換器１３０は、信号が示すアナログ量のデジタル値への変換を行う。例えばアナログ−デジタル変換回路等の電子回路で実現される。 The A / D converter 130 converts the analog amount indicated by the signal into a digital value. For example, it is realized by an electronic circuit such as an analog-digital conversion circuit.
脳信号計測装置１００が計測した脳信号は、活動状態推定装置２００へ出力される。なお、活動状態推定装置２００へ出力される前に必要に応じて脳信号計測装置１００において信号処理がなされてもよい。例えばノイズフィルタを用いてノイズが低減されてもよいし、バンドパスフィルタを用いて特定の周波数帯域の信号のみに絞られてもよい。 The brain signal measured by the brain signal measuring device 100 is output to the activity state estimating device 200. Note that signal processing may be performed in the brain signal measuring device 100 as necessary before being output to the activity state estimating device 200. For example, a noise filter may be used to reduce noise, or a bandpass filter may be used to narrow down the signal to a specific frequency band.
活動状態推定装置２００は、信号入力部２１０、プロセッサ２２０、記憶部２３０、及び信号出力部２４０を備える電子計算機を用いて実現される。信号入力部２１０を通じて脳信号計測装置１００からの脳信号の入力を受け、プロセッサ２２０が、記憶部２３０に記憶されたプログラムを実行してこの脳信号に所定の処理をする。この所定の処理を実行するのが特徴量抽出部２２３、及び推定部２２５である。この処理の結果は、記憶部２３０に保存されたり、信号出力部２４０を介して後述の提示装置３００へ出力される。所定の処理の内容については、後述する脳活動訓練システム１０の動作の説明の中で述べる。プロセッサ２２０はさらに制御部２２１を含み、記憶部２３０の読み書きや活動状態推定装置２００の信号の入出力等、活動状態推定装置２００の動作全体を制御する。その他、例えば図１に示される運動課題の実施時に、後述の提示装置３００を用いて画面Ｄ１０Ａ、１０Ｂ〜Ｄ５０をユーザに提示してもよい。 The activity state estimation device 200 is realized by using a computer including a signal input unit 210, a processor 220, a storage unit 230, and a signal output unit 240. Upon receiving the input of the brain signal from the brain signal measuring device 100 through the signal input unit 210, the processor 220 executes a program stored in the storage unit 230 to perform predetermined processing on the brain signal. It is the feature amount extraction unit 223 and the estimation unit 225 that execute this predetermined process. The result of this processing is stored in the storage unit 230 or output to the presentation device 300 described later via the signal output unit 240. The content of the predetermined processing will be described in the description of the operation of the brain activity training system 10 described later. The processor 220 further includes a control unit 221 and controls the entire operation of the activity state estimation device 200, such as reading and writing of the storage unit 230 and input / output of signals of the activity state estimation device 200. In addition, for example, when performing the exercise task shown in FIG. 1, the screens D10A, 10B to D50 may be presented to the user by using the presentation device 300 described later.
提示装置３００は、活動状態推定装置２００による処理の結果に基づく信号の入力を受け、この信号に応じてユーザに視覚的なフィードバックを提示する。 The presenting device 300 receives an input of a signal based on the result of processing by the activity state estimation device 200, and presents visual feedback to the user in response to the signal.
提示装置３００は、例えばディスプレイ等の表示装置である。図６では表示部３１０Ａを備える第１提示装置３００Ａがこの表示装置に該当する。この場合、上記の視覚的に提示されるフィードバックとは、表示部３１０Ａに表示される画像である。なお、表示装置はディスプレイのような表示専用の装置に限定されない。例えばタブレット型コンピュータのように、表示部である画面を備える情報処理端末であってもよい。 The presentation device 300 is a display device such as a display. In FIG. 6, the first presentation device 300A including the display unit 310A corresponds to this display device. In this case, the visually presented feedback is an image displayed on the display unit 310A. The display device is not limited to a display-only device such as a display. For example, it may be an information processing terminal provided with a screen which is a display unit, such as a tablet computer.
また、提示装置３００はこの信号に応じて機械的に動作する模擬装置であってもよい。ここでいう模擬装置とは、例えば手、指、足等の身体の一部の動作を模擬することができる義肢であってもよい。図６では、駆動部３１０Ｂを備える第２提示装置３００Ｂがこの模擬装置に該当する。この場合は、動作する機械の動き及び形状がユーザに視覚的に提示されるフィードバックである。なお、手や指の動きを模擬することができる模擬装置は義肢には限定されない。例えば人型ロボットの手の部分によって手や指の動きが模擬されてもよい。 Further, the presenting device 300 may be a simulated device that operates mechanically in response to this signal. The simulating device referred to here may be an artificial limb capable of simulating the movement of a part of the body such as a hand, a finger, or a foot. In FIG. 6, the second presentation device 300B including the drive unit 310B corresponds to this simulated device. In this case, the feedback is that the movement and shape of the operating machine is visually presented to the user. The simulation device capable of simulating the movements of hands and fingers is not limited to artificial limbs. For example, the movement of the hand or finger may be simulated by the hand portion of the humanoid robot.
脳活動訓練システム１０は、提示装置３００としては、第１提示装置３００Ａ又は第２提示装置３００Ｂのいずれかを備えていればよい。 The brain activity training system 10 may include either the first presentation device 300A or the second presentation device 300B as the presentation device 300.
［脳活動訓練システムの動作］
次に、上記のように構成された脳活動訓練システム１０の動作について説明する。以下の説明では、幻肢痛の患者であるユーザが脳活動訓練に脳活動訓練システム１０を使用するケースを例に用いて説明する。なお、理解を簡単にするために、以下ではユーザは右手が欠損又は機能不全の患肢であり、右手に幻肢痛をもち、対側の左手は健常肢であるとの想定に基づいて説明する。
[Operation of brain activity training system]
Next, the operation of the brain activity training system 10 configured as described above will be described. In the following description, a case where a user who is a patient with phantom limb pain uses the brain activity training system 10 for brain activity training will be described as an example. For the sake of simplicity, the following explanation is based on the assumption that the right hand is a defective or dysfunctional limb, the right hand has phantom limb pain, and the contralateral left hand is a healthy limb. To do.
図７は、脳活動訓練システム１０の動作の概要を示すフロー図であり、または、脳活動訓練システム１０を用いた脳活動訓練方法の手順を示すフロー図であるとも言える。 It can be said that FIG. 7 is a flow chart showing an outline of the operation of the brain activity training system 10, or a flow chart showing the procedure of the brain activity training method using the brain activity training system 10.
この脳活動訓練方法は、上記の「本発明の基礎となった知見」の節で説明したようにＤｅｃＮｅｆの原理を利用したものである。したがって、ユーザの脳信号から当該ユーザが想起している運動の種類を推定するためのデコーダを用意する必要がある。 This brain activity training method utilizes the DecNef principle as explained in the section "Findings underlying the present invention" above. Therefore, it is necessary to prepare a decoder for estimating the type of movement that the user is recalling from the user's brain signal.
まず、脳活動訓練システム１０では、このデコーダを生成するための脳信号を取得するために、運動課題を実施しているユーザの脳信号を、脳信号計測装置１００を用いて計測する（ステップＳ２００）。なお、ステップＳ２００で脳信号計測装置１００が計測する脳信号は、以降のステップで計測される脳信号と区別するために第１脳信号とも以下では表記する。この運動課題は、図１を参照して上述したものと同じであるため、詳細の説明は省略する。なお、第１脳信号を取得する際に実施される運動課題において運動の想起の対象である部位（第１部位）は、患肢の対側肢であって健常肢である。この例では健常肢側の左手を握る又は開くという運動をするものと想定する。ただし、後の訓練課題で、義肢等の制御のための信号が健常肢に関するデータのみに基づく推定によって生成されているとユーザに悟られることを確実に防ぐために、必要に応じて幻肢でも同様の運動課題を実施してもよい。計測された第１脳信号は、脳信号計測装置１００から活動状態推定装置２００へ出力される。 First, in the brain activity training system 10, in order to acquire the brain signal for generating this decoder, the brain signal of the user performing the exercise task is measured by using the brain signal measuring device 100 (step S200). ). The brain signal measured by the brain signal measuring device 100 in step S200 is described below together with the first brain signal in order to distinguish it from the brain signal measured in the subsequent steps. Since this exercise task is the same as that described above with reference to FIG. 1, detailed description thereof will be omitted. In the exercise task performed when the first brain signal is acquired, the site (first site) for which exercise is recalled is the contralateral limb of the affected limb and is a healthy limb. In this example, it is assumed that the left hand on the healthy limb side is gripped or opened. However, in order to ensure that the user realizes that the signal for controlling the artificial limb etc. is generated by the estimation based only on the data on the healthy limb in the later training task, the same applies to the phantom limb as necessary. Exercise tasks may be performed. The measured first brain signal is output from the brain signal measuring device 100 to the activity state estimating device 200.
なお、本実施の形態は幻肢痛の患者がユーザである場合を例に説明しているため、運動課題を実施するユーザの脳信号を用いてデコーダが生成されるが、運動課題に代えて、運動以外のユーザの随意的な活動の課題が用いられてもよい。例えば視覚等の知覚による認知課題、又は想起課題等であってもよい。したがって、デコーダを用いて推定されるのは第１部位の運動の種類に限定されず、上記に挙げたような運動以外の活動の種類（又は、ある活動が実行されているか否かという状態）の推定にも用いられる。 Since the present embodiment describes the case where the patient with phantom limb pain is a user, a decoder is generated using the brain signal of the user who performs the exercise task, but instead of the exercise task. , The task of the user's voluntary activity other than exercise may be used. For example, it may be a cognitive task by perception such as vision, a recall task, or the like. Therefore, what is estimated using the decoder is not limited to the type of movement of the first part, but the type of activity other than the above-mentioned movement (or the state of whether or not a certain activity is being executed). It is also used to estimate.
次に、第１脳信号の入力を受けた活動状態推定装置２００において、特徴量抽出部２２３が第１脳信号の特徴量を抽出する（ステップＳ３００）。なお、「本発明の基礎となった知見」の記載では、脳磁界信号を変換して得られた皮質電流の時間平均がこの特徴量に該当するが、利用可能な特徴量はこれに限定されない。例えば脳信号計測装置１００から入力された脳信号そのものの時間平均でもよいし、皮質電流の所定の周波数帯（例：８−１３Ｈｚ、１３−２５Ｈｚ、８０−１５０Ｈｚ等）のパワー若しくは位相でもよく、又はこれらが組み合わせて用いられてもよい。 Next, in the activity state estimation device 200 that has received the input of the first brain signal, the feature amount extraction unit 223 extracts the feature amount of the first brain signal (step S300). In the description of "Findings underlying the present invention", the time average of the cortical current obtained by converting the magnetoencephalogram signal corresponds to this feature amount, but the available feature amount is not limited to this. .. For example, it may be the time average of the brain signal itself input from the brain signal measuring device 100, or it may be the power or phase of a predetermined frequency band of cortical current (eg, 8-13 Hz, 13-25 Hz, 80-150 Hz, etc.). Alternatively, these may be used in combination.
特徴量の抽出は、例えば各種の運動の実行（図１のステップＳ４０）のタイミングの前後で重なる複数の時間窓に（例えば２００ミリ秒間隔で始まる５００ミリ秒長の時間窓）ついてされる。図８は、この例を図示したものである。なお、この時間窓の幅は５００ミリ秒に限定されず、連続する２つの時間窓の始期の間隔も２００ミリ秒に限定されない。いずれも課題によって変えられてもよい。 The feature amount is extracted, for example, by attaching a plurality of time windows (for example, a time window having a length of 500 milliseconds starting at intervals of 200 milliseconds) that overlap before and after the timing of executing various exercises (step S40 in FIG. 1). FIG. 8 illustrates this example. The width of this time window is not limited to 500 milliseconds, and the interval between the start times of two consecutive time windows is not limited to 200 milliseconds. Both may be changed depending on the task.
次に活動状態推定装置２００において、特徴量抽出部２２３がこの特徴量を用いてデコーダを生成する（ステップＳ４００）。この生成のために、特徴量抽出部２２３は、第１部位の活動の種類又は状態を示す第１部位活動情報をさらに複数取得して、特徴量と対応付ける。ここでいう第１部位活動情報とは、この例における運動課題で言えば、ユーザがしている健常肢の運動の種類を示す情報、すなわち、ユーザが右手を握る動作をしている状態を示す情報、及び健常肢の手を開く動作をしている状態を示す情報が挙げられる。このような情報としては、例えば制御部２２１が提示装置３００を介して運動課題におけるユーザへの指示の画面（例：図８の画面Ｄ４０）を提示している場合には、この画面に提示されている運動の指示とそのタイミングの情報が利用できる。あるいは、健常肢の運動であれば、その健常肢に動き検知のセンサを着けたり、触覚センサに触れさせるような運動を課題としたりして、各センサからの出力を同様の情報として利用することができる。なお、活動が１種類のみである場合は、その活動が行われているか否かの状態のみを示す情報であってもよい。上記の特徴量と時間軸上で対応する第１部位活動情報とを対応付けて複数のデータセットが生成される。そして、この複数のデータセットを用いて機械学習をすることで、ユーザが想起している第１部位の運動を推定するデコーダが生成される。このデコーダは機械学習によって得られる分類器の一種である。ユーザの脳信号が新たに入力されると、この脳信号はこのデコーダを用いて分類されることによって、対応する第１部位の活動の状態が推定される。 Next, in the activity state estimation device 200, the feature amount extraction unit 223 generates a decoder using this feature amount (step S400). For this generation, the feature amount extraction unit 223 further acquires a plurality of first part activity information indicating the type or state of the activity of the first part and associates it with the feature amount. In the exercise task in this example, the first site activity information referred to here is information indicating the type of exercise of a healthy limb performed by the user, that is, a state in which the user is holding the right hand. Information and information indicating the state of opening the hand of a healthy limb can be mentioned. Such information is presented on, for example, when the control unit 221 presents a screen for instructing the user in the exercise task (eg, screen D40 in FIG. 8) via the presentation device 300. Information on the exercise instructions and their timing can be used. Alternatively, in the case of exercise of a healthy limb, the output from each sensor should be used as the same information by attaching a motion detection sensor to the healthy limb or making the exercise to touch the tactile sensor. Can be done. When there is only one type of activity, the information may indicate only the state of whether or not the activity is being performed. A plurality of data sets are generated by associating the above-mentioned feature amount with the corresponding first part activity information on the time axis. Then, by performing machine learning using the plurality of data sets, a decoder that estimates the motion of the first part that the user is recalling is generated. This decoder is a kind of classifier obtained by machine learning. When the user's brain signal is newly input, the brain signal is classified using this decoder to estimate the activity state of the corresponding first site.
この機械学習は、例えばサポートベクターマシンとガウス過程回帰、スパースロジスティック回帰、線形判別関数、又はカルマンフィルタなどの手法を用いて実施される。 This machine learning is performed using, for example, a support vector machine and a method such as Gaussian process regression, sparse logistic regression, linear discriminant function, or Kalman filter.
このように、活動状態推定装置２００においては、特徴量抽出部２２３が第１脳信号及び第１部位活動情報を用いて、ユーザの脳活動の状態を示す脳信号に対応する前記第１部位の活動の状態を推定するための情報であるデコーダを生成する。このデコーダを用いて、活動状態推定装置２００は新たに計測された脳信号から第１部位の活動の状態を推測する。生成されたデコーダは、以降の訓練課題で使用できるよう記憶部２３０に保存される（図１のデコーダ２３１）。 As described above, in the activity state estimation device 200, the feature amount extraction unit 223 uses the first brain signal and the activity information of the first part of the first part of the first part corresponding to the brain signal indicating the state of the brain activity of the user. Generate a decoder that is information for estimating the state of activity. Using this decoder, the activity state estimation device 200 estimates the activity state of the first region from the newly measured brain signal. The generated decoder is stored in the storage unit 230 for use in subsequent training tasks (decoder 231 in FIG. 1).
次に、ユーザに訓練課題を実施してもらう（ステップＳ５００）。 Next, the user is asked to carry out the training task (step S500).
訓練課題の内容は、上述の「本発明の基礎となった知見」の節で説明されたものと基本的には同じである。つまり、ステップＳ４００で生成したデコーダ２３１を含むＢＭＩを用いて義手の操作をする訓練をユーザにしてもらう。このときユーザには、健常肢である第１部位ではなく、幻肢である第２部位の随意的な活動、この例では右手を開いたり握ったりする運動を想起することで義手の操作をするよう指示がなされる。また、ユーザには視覚的なフィードバックが提示装置３００を介して提示される。ただしここで用いられるデコーダ２３１は、脳信号から健常肢である第１部位の運動を推定するためのデコーダ、つまり健常肢デコーダである。図９は、訓練課題の実施例の概要を示す図である。 The content of the training task is basically the same as that explained in the section "Findings underlying the present invention" above. That is, the user is trained to operate the artificial hand using the BMI including the decoder 231 generated in step S400. At this time, the user operates the artificial hand by recalling the voluntary activity of the second part, which is a phantom limb, instead of the first part, which is a healthy limb, and in this example, the movement of opening and holding the right hand. Is instructed. Also, visual feedback is presented to the user via the presentation device 300. However, the decoder 231 used here is a decoder for estimating the movement of the first part of the healthy limb from the brain signal, that is, a healthy limb decoder. FIG. 9 is a diagram showing an outline of an embodiment of the training task.
図９において、ユーザは図の左側の画像で横たわり、装置に頭部を置いている人物である。この装置は脳信号を計測する脳信号計測装置１００である。ユーザは医師等から、幻肢である第２部位の随意的な活動、この例では右手を握る又は開く運動を想起してする右手の義手の操作に習熟する訓練の指示を受けている。ユーザにはこの他、この想起に応じて発生する脳活動を示す脳信号が脳信号計測装置１００で読み取られること、読み取られた脳信号が活動状態推定装置２００である電子計算機によって解読され、その内容に応じ電子計算機が提示装置３００である義手を制御すること、その義手が動く様子をユーザ自身がリアルタイムで見て確かめることができることなどが知らされてもよい。なお、ステップＳ２００は、例えば図９における提示装置３００によるフィードバックの提示が無い状態で実施され、活動状態推定装置２００が脳信号を解読して提示装置３００を制御する代わりにデコーダを作成する。 In FIG. 9, the user is a person lying in the image on the left side of the figure and placing his head on the device. This device is a brain signal measuring device 100 that measures a brain signal. The user is instructed by a doctor or the like to be proficient in the voluntary activity of the second part of the phantom limb, in this example, the operation of the prosthetic hand of the right hand, which recalls the movement of holding or opening the right hand. In addition to this, the user can read the brain signal indicating the brain activity generated in response to this recall by the brain signal measuring device 100, and the read brain signal is decoded by the computer which is the activity state estimating device 200. It may be informed that the computer controls the artificial hand which is the presenting device 300 according to the content, and that the user himself / herself can see and confirm the movement of the artificial hand in real time. Note that step S200 is performed, for example, in a state where feedback is not presented by the presentation device 300 in FIG. 9, and the activity state estimation device 200 decodes the brain signal and creates a decoder instead of controlling the presentation device 300.
ステップＳ５００においてユーザが知る情報は上記のとおりであるが、脳活動訓練システム１０は実際には以下のように動作する。 The information that the user knows in step S500 is as described above, but the brain activity training system 10 actually operates as follows.
脳信号計測装置１００が計測する脳信号の入力を受けた活動状態推定装置２００では、特徴量抽出部２２３がこの脳信号から特徴量を抽出する。なお、ステップＳ５００で脳信号計測装置１００が計測する脳信号は第２脳信号とも以下では表記する。 In the activity state estimation device 200 that receives the input of the brain signal measured by the brain signal measuring device 100, the feature amount extraction unit 223 extracts the feature amount from this brain signal. The brain signal measured by the brain signal measuring device 100 in step S500 is described below together with the second brain signal.
次に活動状態推定装置２００では、推定部２２５がステップＳ４００で生成されたデコーダ２３１を用いて、この抽出された特徴量に基づいて、第２脳信号に対応するユーザの活動を推定する。そして推定部２２５はさらに、この推定された活動に応じた動作を提示装置３００にさせるための制御信号（第２部位活動信号）を、信号出力部２４０を介して提示装置３００に送信する。 Next, in the activity state estimation device 200, the estimation unit 225 estimates the activity of the user corresponding to the second brain signal based on the extracted feature amount by using the decoder 231 generated in step S400. Then, the estimation unit 225 further transmits a control signal (second part activity signal) for causing the presentation device 300 to perform an operation corresponding to the estimated activity to the presentation device 300 via the signal output unit 240.
ここで、デコーダ２３１は上述のとおり健常肢デコーダであり、脳信号から健常肢の運動を推定するためのデコーダである。つまりこの例においては、デコーダ２３１は、左手の対側である右脳の感覚運動野で活性化する脳活動を示す脳信号を解読して左手のある種類の動きを推定するためのデコーダである。しかし、ユーザが指示どおりに右手の運動を想起している時に発生する脳信号は、幻肢の対側である左脳の感覚運動野で活性化する脳活動を示す信号である。したがって、推定部２２５は、この脳信号を解読しても手の運動を推定しない。 Here, the decoder 231 is a healthy limb decoder as described above, and is a decoder for estimating the movement of a healthy limb from a brain signal. That is, in this example, the decoder 231 is a decoder for decoding a brain signal indicating brain activity activated in the sensorimotor area of the right brain, which is the contralateral side of the left hand, and estimating a certain kind of movement of the left hand. However, the brain signal generated when the user recalls the movement of the right hand as instructed is a signal indicating the brain activity activated in the sensorimotor area of the left brain, which is the contralateral side of the phantom limb. Therefore, the estimation unit 225 does not estimate the movement of the hand even if the brain signal is decoded.
しかし例えば、何らかのはずみで、幻肢である右手を動かす意図を持っているユーザから左手の運動、例えば左手を握ることを想起するときに発生する脳信号、またはこれに近い特徴量が抽出される脳信号が発せられたとする。この脳信号を第２脳信号として受けた推定部２２５は、この第２脳信号に対応する、第１部位である左手を握る運動を推定する。 However, for example, the brain signal generated when the user who intends to move the right hand, which is a phantom limb, recalls the movement of the left hand, for example, holding the left hand, or a feature amount close to this is extracted by some momentum. Suppose a brain signal is emitted. The estimation unit 225, which receives this brain signal as the second brain signal, estimates the movement of holding the left hand, which is the first region, corresponding to the second brain signal.
このとき、推定部２２５はこの推定された第１部位の活動、この例では左手を握る運動に基づいて、ユーザに視覚的なフィードバックを提示するために提示装置３００である義手に制御信号を送信する。ただし、このフィードバックは左手を握る運動としてではなく、第２部位の活動、つまり幻肢側の手、つまり右手（の動作を模擬する義手）を握る運動として提示される。この制御信号を本願では第２部位活動信号と呼んでいるのはこのためである。 At this time, the estimation unit 225 transmits a control signal to the artificial hand which is the presentation device 300 in order to present visual feedback to the user based on the activity of the estimated first part, in this example, the movement of holding the left hand. To do. However, this feedback is presented not as an exercise of grasping the left hand, but as an activity of the second part, that is, an exercise of grasping the hand on the phantom limb side, that is, the right hand (a prosthetic hand that simulates the movement). This is why this control signal is referred to as the second site activity signal in the present application.
提示装置３００は、第２部位活動信号に応じて動作する。この例では義手であって、駆動部３１０Ｂを備える上記の第２提示装置に該当する。したがって、提示装置３００は、第２部位活動信号に応じて第２部位の運動を模擬するよう機械的に動作する。提示装置３００が表示部３１０Ａを備える第１提示装置であれば、第２部位活動信号に応じて第２部位の運動を模した画像を表示する。なお、ユーザによる幻肢の運動の想起からこのフィードバックまでは、極力少ないタイムラグ、できればリアルタイムでなされるのが望ましい。 The presentation device 300 operates in response to the second site activity signal. In this example, it is a prosthetic hand and corresponds to the above-mentioned second presentation device including the drive unit 310B. Therefore, the presentation device 300 mechanically operates so as to simulate the movement of the second part in response to the activity signal of the second part. If the presenting device 300 is the first presenting device including the display unit 310A, an image simulating the movement of the second part is displayed in response to the activity signal of the second part. It is desirable that the time lag between the user's recall of the phantom limb movement and this feedback be as small as possible, preferably in real time.
ユーザはこの義手を動作させることに成功した旨を示すフィードバックを受けて義手を操作する要領を学習する。以降、意図した幻肢の運動のとおりに義手を操作する試行を所定の時間反復継続する。このとき、ユーザは不知であるが、義手をうまく操作するために、ユーザは脳表で健常肢での対応する運動をする際の脳活動を発生させている。 The user learns how to operate the artificial hand by receiving feedback indicating that the artificial hand has been successfully operated. After that, the trial of operating the prosthesis according to the intended movement of the phantom limb is repeated for a predetermined time. At this time, although the user is ignorant, in order to operate the artificial hand well, the user generates brain activity during the corresponding exercise in the healthy limb on the brain surface.
脳活動訓練システム１０の動作、及び脳活動訓練システム１０を用いた脳活動訓練方法の手順は以上で終了する。 This completes the operation of the brain activity training system 10 and the procedure of the brain activity training method using the brain activity training system 10.
（効果）
以上の過程を経てユーザが義手の操作にいくらかでも上達している場合、ユーザの脳活動のパターンは訓練前と比べて変化していると考えられる。すなわち、上記の「本発明の基礎となった知見」に基づけば、ユーザの幻肢の運動意図に結びついていた幻肢の対側感覚運動野の活動が訓練前に比べて弱くなっている。これにより、従来は治療困難であった幻肢痛の軽減が可能である。
(effect)
If the user has improved some degree in the operation of the artificial hand through the above process, it is considered that the pattern of the user's brain activity has changed as compared with that before the training. That is, based on the above-mentioned "knowledge that is the basis of the present invention", the activity of the contralateral sensorimotor cortex of the phantom limb, which is linked to the motor intention of the user's phantom limb, is weaker than that before the training. This makes it possible to reduce phantom limb pain, which was difficult to treat in the past.
また、ここまでの説明では脳活動訓練システム１０、及び脳活動訓練システム１０を用いた脳活動訓練方法を幻肢痛の患者の訓練に適用するケースを例に説明したが、これらの適用可能性はこの例に限定されない。他の好ましくない、又は異常な脳活動による痛みや運動障害等の機能不全を起こす神経疾患の治療において、この脳活動を弱めることが有効であれば脳活動訓練システム１０、及び脳活動訓練システム１０を用いた脳活動訓練方法が適用可能である。例えばジストニアの治療への適用が考えられる。より一般化して言えば、第１部位がユーザの健常肢であり、第２部位が当該健常肢の対側肢であって少なくとも一部が欠損しているか又は運動機能が不全である場合、脳活動訓練システム１０、及び脳活動訓練システム１０を用いた脳活動訓練方法が有効に適用可能である。 Further, in the explanation so far, the case where the brain activity training system 10 and the brain activity training method using the brain activity training system 10 are applied to the training of the patient with phantom limb pain has been described as an example, but these applicability are possible. Is not limited to this example. If it is effective to weaken this brain activity in the treatment of other neurological disorders that cause dysfunction such as pain and motor disorder due to unfavorable or abnormal brain activity, the brain activity training system 10 and the brain activity training system 10 The brain activity training method using is applicable. For example, it can be applied to the treatment of dystonia. More generally, if the first site is the user's healthy limb and the second site is the contralateral limb of the healthy limb, at least part of which is missing or motor function is impaired, the brain. The activity training system 10 and the brain activity training method using the brain activity training system 10 can be effectively applied.
（変形例等）
以上、本発明の一態様に係る脳活動訓練システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本発明の１つまたは複数の態様の範囲内に含まれてもよい。
(Modification example, etc.)
The brain activity training system according to one aspect of the present invention has been described above based on the embodiment, but the present invention is not limited to this embodiment. As long as it does not deviate from the gist of the present invention, various modifications that can be thought of by those skilled in the art to the present embodiment may be included within the scope of one or more aspects of the present invention.
例えば、第１脳信号からのデコーダの作成、及びデコーダを用いての第２脳信号からのユーザの活動の推定には、各脳信号の特徴量が用いられているが、例えば信号波形又は皮質電位を示す画像のパターンマッチングによって行われてもよい。 For example, the characteristics of each brain signal are used for creating a decoder from the first brain signal and estimating the user's activity from the second brain signal using the decoder. For example, a signal waveform or a cortex. It may be performed by pattern matching of an image showing an electric potential.
また、上記では義肢の動き及び形状を例に説明した、提示装置３００によってユーザに視覚的に提示される第２部位の活動は、義肢以外のものを用いても提示可能である。例えば義肢に匹敵する可動性能は無くても、少なくとも訓練で実行される第２部位の動きを機械的に模擬することができる模擬装置であればよい。なお、義肢を用いる場合は、例えばユーザが幻肢痛の患者である場合に、当該ユーザは義肢を操作するための脳活動の訓練と幻肢痛の緩和のための脳活動の訓練とを同時にすることができる。 Further, the activity of the second portion visually presented to the user by the presentation device 300, which has been described above by taking the movement and shape of the artificial limb as an example, can be presented by using something other than the artificial limb. For example, even if the movable performance is not comparable to that of the artificial limb, at least a simulation device capable of mechanically simulating the movement of the second part executed in the training may be used. When using artificial limbs, for example, when the user is a patient with phantom limb pain, the user simultaneously trains brain activity for operating the artificial limb and training for brain activity for alleviating phantom limb pain. can do.
また、上記の第１提示装置３００Ａが表示する第２部位の動作を模して動く画像は、義肢や上記の模擬装置の画像でもよいし、ユーザ自身の患肢の対側肢である健常肢の画像の左右を反転させた画像を用いてもよい。 Further, the image that imitates the movement of the second portion displayed by the first presenting device 300A may be an image of an artificial limb or the above-mentioned simulated device, or a healthy limb that is the contralateral limb of the user's own affected limb. An image in which the left and right sides of the image are inverted may be used.
また、上各実施の形態における脳活動訓練システムが備える構成要素の一部を、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）で構成してもよい。 Further, a part of the components included in the brain activity training system in each of the above embodiments may be configured by one system LSI (Large Scale Integration: large-scale integrated circuit).
システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。 The system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on one chip, and specifically, a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. It is a computer system composed of. A computer program is stored in the ROM. When the microprocessor operates according to the computer program, the system LSI achieves its function.
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。 Although it is referred to as a system LSI here, it may be referred to as an IC, an LSI, a super LSI, or an ultra LSI depending on the degree of integration. Further, the method of making an integrated circuit is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. After manufacturing the LSI, an FPGA (Field Programmable Gate Array) that can be programmed, or a reconfigurable processor that can reconfigure the connection and settings of the circuit cells inside the LSI may be used. Furthermore, if an integrated circuit technology that replaces an LSI appears due to advances in semiconductor technology or another technology derived from it, it is naturally possible to integrate functional blocks using that technology.
また、本発明の態様は、上記のような脳活動訓練システム又は当該脳活動訓練システムを用いた脳活動訓練方法に限定されず、例えば脳活動訓練方法に含まれるステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。 Further, the aspect of the present invention is not limited to the above-mentioned brain activity training system or a brain activity training method using the brain activity training system, for example, a computer program for causing a computer to execute a step included in the brain activity training method. It may be. It may also be a computer-readable, non-temporary recording medium on which such computer programs are recorded.
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。上記実施の形態の脳活動訓練システムを実現するソフトウェアは、例えば次のようなプログラムである。 In each of the above embodiments, each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory. The software that realizes the brain activity training system of the above embodiment is, for example, the following program.
すなわち、このプログラムは、ユーザの脳活動の状態を示す脳信号を計測する脳信号計測装置及び前記ユーザの身体の活動を視覚的に提示可能な提示装置と通信可能に接続される電子計算機に、身体の一部である第１部位において随意的な活動をしている前記ユーザの脳活動の状態を示す、前記脳信号計測装置が計測した第１脳信号と、前記第１部位の活動を示す複数の第１部位活動情報とを用いて、前記ユーザの脳活動の状態を示す脳信号に対応する前記第１部位の活動を推定するための情報であるデコーダを生成させ、前記第１部位とは異なる部位である第２部位の随意的な活動を想起している前記ユーザの脳活動を示す、前記脳信号計測装置が計測した第２脳信号の入力を受けながら、前記デコーダを用いて前記第２脳信号に対応する前記第１部位の活動を推定させ、かつ、推定された前記第１部位の活動を、前記第２部位の随意的な活動を想起している前記ユーザに対して、前記提示装置に前記第２部位の活動として視覚的に提示させるための第２部位活動信号を前記提示装置へ出力させるプログラムである。 That is, this program is connected to a brain signal measuring device that measures a brain signal indicating the state of the user's brain activity and a computer that is communicably connected to a presenting device that can visually present the user's physical activity. The first brain signal measured by the brain signal measuring device showing the state of the brain activity of the user who is performing voluntary activity in the first part which is a part of the body, and the activity of the first part are shown. Using the plurality of first site activity information, a decoder which is information for estimating the activity of the first site corresponding to the brain signal indicating the state of the brain activity of the user is generated, and the first site and the first site are used. Uses the decoder while receiving an input of a second brain signal measured by the brain signal measuring device, which indicates the brain activity of the user who recalls the voluntary activity of the second site, which is a different site. For the user who estimates the activity of the first site corresponding to the second brain signal and recalls the estimated activity of the first site to the voluntary activity of the second site. This is a program for causing the presenting device to output a second site activity signal for visually presenting the activity of the second site to the presenting device.
さらに、本発明は上述した実施の形態又は変形例に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施の形態又は変形例にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 Furthermore, the present invention is not limited to the above-described embodiment or modification, and various modifications can be made within the scope of the claims, and the technical means disclosed in the embodiment or modification, respectively. The embodiments obtained by appropriately combining the above are also included in the technical scope of the present invention.
本発明は、幻肢痛をはじめとする、脳活動の異常から生じる神経難病に対する治療効果を奏する装置として利用可能である。 INDUSTRIAL APPLICABILITY The present invention can be used as a device that exerts a therapeutic effect on intractable neurological diseases caused by abnormal brain activity such as phantom limb pain.
１０ 脳活動訓練システム
１００ 脳信号計測装置
１１０ 計測部
１２０ 増幅部
１３０ Ａ／Ｄ変換器
２００ 活動状態推定装置
２１０ 信号入力部
２２０ プロセッサ
２２１ 制御部
２２３ 特徴量抽出部
２２５ 推定部
２３０ 記憶部
２３１ デコーダ
２４０ 信号出力部
３００ 提示装置
３００Ａ 第１提示装置
３００Ｂ 第２提示装置
３１０Ａ 表示部
３１０Ｂ 駆動部
10 Brain activity training system 100 Brain signal measuring device 110 Measuring unit 120 Amplifying unit 130 A / D converter 200 Activity state estimation device 210 Signal input unit 220 Processor 221 Control unit 223 Feature extraction unit 225 Estimating unit 230 Storage unit 231 Decoder 240 Signal output unit 300 Presentation device 300A First presentation device 300B Second presentation device 310A Display unit 310B Drive unit
Claims (10)
活動状態推定装置と、
提示装置とを備える
脳活動訓練システムであって、
前記脳信号計測装置は、
身体の一部である第１部位において随意的な活動をしているユーザの脳活動の状態を示す第１脳信号を計測し、
前記活動状態推定装置は、
前記第１脳信号及び前記第１部位の活動を示す第１部位活動情報を複数取得し、
前記第１脳信号及び前記複数の第１部位活動情報を用いて、前記ユーザの脳活動の状態を示す脳信号に対応する前記第１部位の活動を推定するための情報であるデコーダを生成し、
前記第１部位とは異なる部位である第２部位の随意的な活動を想起している前記ユーザの脳活動の状態を示す、前記脳信号計測装置が計測する第２脳信号を取得しながら、
前記デコーダを用いて前記第２脳信号に対応する前記第１部位の活動を推定し、かつ、
推定された前記第１部位の活動を、前記第２部位の随意的な活動を想起している前記ユーザに、前記第２部位の活動として前記提示装置を介して視覚的に提示する
脳活動訓練システム。 Brain signal measuring device and
Activity state estimation device and
A brain activity training system equipped with a presentation device,
The brain signal measuring device is
The first brain signal indicating the state of the brain activity of the user who is performing voluntary activity in the first part which is a part of the body is measured.
The activity state estimation device is
Obtaining a plurality of first part activity information indicating the first brain signal and the activity of the first part,
Using the first brain signal and the plurality of first site activity information, a decoder that is information for estimating the activity of the first site corresponding to the brain signal indicating the state of the user's brain activity is generated. ,
While acquiring the second brain signal measured by the brain signal measuring device, which indicates the state of the brain activity of the user who recalls the voluntary activity of the second part, which is a part different from the first part.
The activity of the first part corresponding to the second brain signal is estimated by using the decoder, and
Brain activity training that visually presents the estimated activity of the first site to the user who recalls the voluntary activity of the second site via the presentation device as the activity of the second site. system.
前記第１脳信号の特徴量を抽出し、
前記特徴量と、前記複数の第１部位活動情報のそれぞれとを対応付けて複数のデータセットを生成し、
前記複数のデータセットを用いて機械学習をすることで、前記デコーダを作成する
請求項１に記載の脳活動訓練システム。 The activity state estimation device is
The feature amount of the first brain signal is extracted,
A plurality of data sets are generated by associating the feature amount with each of the plurality of first site activity information.
The brain activity training system according to claim 1, wherein the decoder is created by performing machine learning using the plurality of data sets.
請求項２に記載の脳活動訓練システム。 The brain activity training system according to claim 2, wherein the feature amount is at least one of a time average of a predetermined time width of a first brain signal, a power of a predetermined frequency band, and a phase of a predetermined frequency band.
請求項２又は３に記載の脳活動訓練システム。 The brain activity training system according to claim 2 or 3, wherein the machine learning is performed using a support vector machine and Gaussian process regression, sparse logistic regression, a linear discriminant function, or a Kalman filter.
前記活動状態推定装置は、プロセッサ、前記デコーダを記憶するための記憶部、前記脳信号計測装置から第１脳信号及び第２脳信号の入力を受ける信号入力部、及び前記提示装置へ前記第２部位の活動を示す第２部位活動信号を出力する信号出力部を備える電子計算機であり、
前記提示装置は、前記第２部位活動信号に応じて機械的に動作する模擬装置、又は前記模擬装置の画像若しくは前記第２部位活動信号に応じて動く前記第２部位を模した画像を表示する表示装置である
請求項１から４のいずれか１項に記載の脳活動訓練システム。 The brain signal measuring device is a magnetoencephalograph, a scalp electroencephalograph, an intracranial electroencephalograph, a nuclear magnetic resonance device, or a near-infrared optical brain activity measuring device.
The activity state estimation device includes a processor, a storage unit for storing the decoder, a signal input unit that receives inputs of a first brain signal and a second brain signal from the brain signal measuring device, and the second presentation device. It is an electronic computer equipped with a signal output unit that outputs a second part activity signal indicating the activity of the part.
The presenting device displays a simulated device that mechanically operates in response to the second site activity signal, or an image of the simulated device or an image that imitates the second site that moves in response to the second site activity signal. The brain activity training system according to any one of claims 1 to 4, which is a display device.
請求項５に記載の脳活動訓練システム。The brain activity training system according to claim 5.
請求項１から６のいずれか１項に記載の脳活動訓練システム。 The brain activity training system according to any one of claims 1 to 6 , wherein the user's activity is motor, perceptual cognition, or recall.
請求項１から７のいずれか１項に記載の脳活動訓練システム。 Any wherein the first site is healthy limb of the user, of the second portion from the claims 1, wherein at least a portion a contralateral limb of the healthy limb is failure or motor function is defective 7 The brain activity training system described in item 1.
前記脳信号計測装置が、身体の一部である第１部位において随意的な活動をしているユーザの脳活動の状態を示す第１脳信号を計測し、
前記活動状態推定装置が、
前記第１部位の活動を示す第１部位活動情報を複数取得し、
前記第１脳信号及び前記第１部位活動情報を用いて、前記ユーザの脳活動の状態を示す脳信号に対応する前記第１部位の活動を推定するための情報であるデコーダを生成し、
前記第１部位とは異なる部位である第２部位の随意的な活動を想起している前記ユーザの脳活動の状態を示す第２脳信号を計測しながら、
前記デコーダを用いて前記第２脳信号に対応する前記第１部位の活動を推定し、かつ、
推定された前記第１部位の活動を、前記第２部位の随意的な活動を想起している前記ユーザに、前記第２部位の活動として前記提示装置を介して視覚的に提示する
脳活動訓練システムの作動方法。 It is a method of operating a brain activity training system including a brain signal measuring device, an activity state estimation device, and a presentation device.
The brain signal measuring device measures the first brain signal indicating the state of the brain activity of the user who is performing voluntary activity in the first part which is a part of the body.
The activity state estimation device
Obtaining a plurality of first part activity information indicating the activity of the first part,
Using the first brain signal and the first site activity information, a decoder that is information for estimating the activity of the first site corresponding to the brain signal indicating the state of the user's brain activity is generated.
While measuring the second brain signal indicating the state of the brain activity of the user who recalls the voluntary activity of the second part, which is a part different from the first part,
The activity of the first part corresponding to the second brain signal is estimated by using the decoder, and
Brain activity training that visually presents the estimated activity of the first site to the user who recalls the voluntary activity of the second site via the presentation device as the activity of the second site. How the system works .
身体の一部である第１部位において随意的な活動をしている前記ユーザの脳活動の状態を示す、前記脳信号計測装置が計測した第１脳信号と、前記第１部位の活動を示す複数の第１部位活動情報とを用いて、前記ユーザの脳活動の状態を示す脳信号に対応する前記第１部位の活動を推定するための情報であるデコーダを生成させ、
前記第１部位とは異なる部位である第２部位の随意的な活動を想起している前記ユーザの脳活動を示す、前記脳信号計測装置が計測した第２脳信号の入力を受けながら、
前記デコーダを用いて前記第２脳信号に対応する前記第１部位の活動を推定させ、かつ、
推定された前記第１部位の活動を、前記第２部位の随意的な活動を想起している前記ユーザに対して、前記提示装置に前記第２部位の活動として視覚的に提示させるための第２部位活動信号を前記提示装置へ出力させる
脳活動訓練プログラム。 To a computer that is communicably connected to a brain signal measuring device that measures a brain signal indicating the state of the user's brain activity and a presenting device that can visually present the user's physical activity.
The first brain signal measured by the brain signal measuring device showing the state of the brain activity of the user who is performing voluntary activity in the first part which is a part of the body, and the activity of the first part are shown. Using the plurality of first site activity information, a decoder which is information for estimating the activity of the first site corresponding to the brain signal indicating the state of the brain activity of the user is generated.
While receiving the input of the second brain signal measured by the brain signal measuring device, which indicates the brain activity of the user who recalls the voluntary activity of the second part, which is a part different from the first part.
The decoder is used to estimate the activity of the first site corresponding to the second brain signal, and
A second for visually presenting the estimated activity of the first part to the user who recalls the voluntary activity of the second part as the activity of the second part by the presenting device. A brain activity training program that outputs a two-site activity signal to the presentation device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016009279A JP6755507B2 (en) | 2016-01-20 | 2016-01-20 | How to operate the brain activity training system and the brain activity training system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016009279A JP6755507B2 (en) | 2016-01-20 | 2016-01-20 | How to operate the brain activity training system and the brain activity training system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017127499A JP2017127499A (en) | 2017-07-27 |
| JP6755507B2 true JP6755507B2 (en) | 2020-09-16 |
Family
ID=59396059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016009279A Active JP6755507B2 (en) | 2016-01-20 | 2016-01-20 | How to operate the brain activity training system and the brain activity training system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6755507B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023094276A (en) * | 2021-12-23 | 2023-07-05 | 株式会社Ｊｖｃケンウッド | brain information transmission system |
| KR20230111860A (en) * | 2022-01-19 | 2023-07-26 | 서울대학교병원 | Method for providing information related to motor impairment and devices used therefor |
| WO2023145728A1 (en) * | 2022-01-25 | 2023-08-03 | 住友ファーマ株式会社 | Training device, method, and program for neurofeedback training |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5113520B2 (en) * | 2004-08-25 | 2013-01-09 | モトリカ リミテッド | Exercise training by brain plasticity |
| US9050200B2 (en) * | 2007-05-02 | 2015-06-09 | University Of Florida Research Foundation, Inc. | System and method for brain machine interface (BMI) control using reinforcement learning |
| JP5552715B2 (en) * | 2009-06-15 | 2014-07-16 | 株式会社国際電気通信基礎技術研究所 | EEG processing apparatus, EEG processing method, and program |
| JP5467267B2 (en) * | 2010-03-05 | 2014-04-09 | 国立大学法人大阪大学 | DEVICE CONTROL DEVICE, DEVICE SYSTEM, DEVICE CONTROL METHOD, DEVICE CONTROL PROGRAM, AND RECORDING MEDIUM |
-
2016
- 2016-01-20 JP JP2016009279A patent/JP6755507B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017127499A (en) | 2017-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rak et al. | Brain-computer interface as measurement and control system the review paper | |
| US20200038653A1 (en) | Multimodal closed-loop brain-computer interface and peripheral stimulation for neuro-rehabilitation | |
| EP1838270B1 (en) | Motor training with brain plasticity | |
| Presacco et al. | Towards a non-invasive brain-machine interface system to restore gait function in humans | |
| US20220187913A1 (en) | Neurorehabilitation system and neurorehabilitation method | |
| JP6755507B2 (en) | How to operate the brain activity training system and the brain activity training system | |
| An et al. | Cortical activation pattern for grasping during observation, imagery, execution, FES, and observation-FES integrated BCI: An fNIRS pilot study | |
| Lee et al. | Decoding finger tapping with the affected hand in chronic stroke patients during motor imagery and execution | |
| Chowdhury et al. | Corticomuscular co-activation based hybrid brain-computer interface for motor recovery monitoring | |
| Guger et al. | Motor imagery with brain-computer interface neurotechnology | |
| Millán | Brain–computer interfaces | |
| Soekadar et al. | Clinical brain-machine interfaces | |
| Xing et al. | The development of EEG-based brain computer interfaces: potential and challenges | |
| Kaur et al. | Brain computer interface: a review | |
| Kæseler et al. | Brain patterns generated while using a tongue control interface: a preliminary study with two individuals with ALS | |
| Romo Badillo et al. | Brain-Computer Interface (BCI) Development for Motor Disabled People Integration in a Water Fountains Company | |
| Laport López | Novel developments of brain-computer interfaces for smart home control | |
| Bansal et al. | EEG Based BCI—Control Applications | |
| Severens | Towards clinical BCI applications: Assistive technology and gait rehabilitation | |
| Khan et al. | EEG-based BCI systems for neurorehabilitation applications | |
| Rungsirisilp et al. | Combined action observation-and motor imagery-based brain computer interface (BCI) for stroke rehabilitation: a case report | |
| Hortal | Brain-Machine Interfaces for Assistance and Rehabilitation of People with Reduced Mobility | |
| Guger et al. | Noninvasive and Invasive BCIs and Hardware and Software Components for BCIs | |
| Henshaw | Improved brain-computer interface methods with application to gaming | |
| Kisakye | Brain computer interfaces: OpenViBE as a platform for a p300 speller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160226 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181101 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200603 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200714 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200807 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6755507 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |