JP5167368B2 - MOBILE BODY CONTROL DEVICE AND MOBILE BODY CONTROL METHOD - Google Patents

MOBILE BODY CONTROL DEVICE AND MOBILE BODY CONTROL METHOD Download PDF

Info

Publication number
JP5167368B2
JP5167368B2 JP2010535630A JP2010535630A JP5167368B2 JP 5167368 B2 JP5167368 B2 JP 5167368B2 JP 2010535630 A JP2010535630 A JP 2010535630A JP 2010535630 A JP2010535630 A JP 2010535630A JP 5167368 B2 JP5167368 B2 JP 5167368B2
Authority
JP
Japan
Prior art keywords
control
signal
control signal
brain
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010535630A
Other languages
Japanese (ja)
Other versions
JPWO2010050113A1 (en
Inventor
整 山田
智哉 高谷
和俊 江部
アンジェイ チホツキ
キュワン チェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
RIKEN Institute of Physical and Chemical Research
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
RIKEN Institute of Physical and Chemical Research
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, RIKEN Institute of Physical and Chemical Research, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2010535630A priority Critical patent/JP5167368B2/en
Publication of JPWO2010050113A1 publication Critical patent/JPWO2010050113A1/en
Application granted granted Critical
Publication of JP5167368B2 publication Critical patent/JP5167368B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/80—Other vehicles not covered by groups B60Y2200/10 - B60Y2200/60
    • B60Y2200/84—Wheelchairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing

Description

本発明は、ユーザを乗せて走行する移動体を駆動制御する移動体制御装置及び移動体制御方法に関し、より詳細には、ユーザの脳活動情報に基づいて、移動体を駆動制御する移動体制御装置及び移動体制御方法に関するものである。   The present invention relates to a moving body control device and a moving body control method for driving and controlling a moving body that travels with a user, and more specifically, a moving body control for driving and controlling a moving body based on user's brain activity information. The present invention relates to an apparatus and a moving body control method.

近年、ユーザの脳活動情報を利用して移動体を操作する方法に関して、様々な制御方法が提案されている。この脳活動情報を利用した制御は、筋電位を利用した制御、ジョイスティック等の操作系を利用した制御等の従来制御では得難い、例えば、迅速さ、ユーザに負担をかけないインタフェース、四肢に障害を持つ人でも利用できるインタフェース等を提供できる利点を有している。   In recent years, various control methods have been proposed for a method of operating a mobile object using user brain activity information. Such control using brain activity information is difficult to obtain by conventional control such as control using myoelectric potential, control using an operation system such as a joystick, etc., for example, speed, an interface that does not place a burden on the user, and damage to the limbs. It has the advantage of providing an interface that can be used by those who have it.

一方、ユーザの脳波強度の変化パターンに基づいたユーザの注意度と、脳波強度分布および視線に基づいたユーザの視野内の注意領域と、に応じて電動車椅子を駆動制御する活動補助システムが知られている（例えば、特許文献１参照）。また、脳波で制御する電動車椅子に各種の障害物センサを装備し、ユーザの必要に応じて、障害物センサからのセンサ情報を利用することで、電動車椅子をより確実に制御する技術が開示されている（例えば、非特許文献１参照）。   On the other hand, there is an activity assistance system that drives and controls the electric wheelchair according to the degree of attention of the user based on the change pattern of the user's brain wave intensity and the attention area in the user's visual field based on the brain wave intensity distribution and the line of sight. (For example, refer to Patent Document 1). In addition, a technique for more reliably controlling an electric wheelchair by equipping an electric wheelchair controlled by brain waves with various obstacle sensors and using sensor information from the obstacle sensor as required by the user is disclosed. (For example, refer nonpatent literature 1).

特開２００７−２０２８８２号公報JP 2007-20882 A

２００７ IEEE １０th International Conference（Adaptive Shared Control of a Brain-Actuated Simulated Wheelchair）2007 IEEE 10th International Conference (Adaptive Shared Control of a Brain-Actuated Simulated Wheelchair)

ところで、センサにより検出された脳活動情報は、一般に、信号／雑音比が小さいため、所望の脳活動情報を分離、抽出し、十分な精度で制御信号を生成することが困難となっている。一方で、上記特許文献１に示す活動補助システムにおいて、ユーザの注意度と、ユーザの視野内の注意領域と、に応じて電動車椅子を駆動制御しているが、その構成及び制御処理が複雑になっている。また、上記非特許文献１に開示された従来技術において、障害センサのセンサ情報を利用することで、より確実に電動車椅子を制御できると思われるが、電動車椅子の構成や制御処理が複雑となっている。   By the way, since the brain activity information detected by the sensor generally has a small signal / noise ratio, it is difficult to separate and extract desired brain activity information and generate a control signal with sufficient accuracy. On the other hand, in the activity assistance system shown in Patent Document 1, the electric wheelchair is driven and controlled according to the degree of attention of the user and the attention area within the user's field of view, but the configuration and control processing are complicated. It has become. Moreover, in the prior art disclosed in Non-Patent Document 1, it seems that the electric wheelchair can be controlled more reliably by using the sensor information of the failure sensor, but the configuration and control processing of the electric wheelchair become complicated. ing.

本発明は、このような問題点を解決するためになされたものであり、制御処理を簡素化しつつ、高精度な制御が実現できる移動体制御装置及び移動体制御方法を提供することを主たる目的とする。   The present invention has been made to solve such problems, and it is a main object of the present invention to provide a mobile control device and a mobile control method capable of realizing high-precision control while simplifying control processing. And

上記目的を達成するための本発明の一態様は、ユーザの脳活動情報を検出する脳活動検出部と、前記脳活動検出部により検出された前記脳活動情報から、アーチファクト成分を分離する脳信号分離部と、前記脳信号分離部により前記アーチファクト成分が分離された前記脳活動情報において、脳データを抽出するためのサンプリング区間を、オーバーラップさせつつ所定間隔でスライドさせると共に、該スライドさせた各サンプリング区間内の前記脳データに対する特徴量を夫々算出し、該算出された特徴量に基づいて、制御信号を生成する制御信号生成部と、前記制御信号生成部により生成された前記制御信号に基づいて、ユーザが乗る移動体を駆動制御する駆動制御部と、を備える、ことを特徴とする移動体制御装置である。この一態様によれば、制御処理を簡素化しつつ、高精度な制御が実現できる。   One aspect of the present invention for achieving the above object is a brain activity detection unit that detects brain activity information of a user, and a brain signal that separates artifact components from the brain activity information detected by the brain activity detection unit. In the brain activity information from which the artifact component is separated by the separation unit and the brain signal separation unit, the sampling interval for extracting brain data is slid at predetermined intervals while being overlapped, and each of the slid Based on the control signal generated by the control signal generating unit, the control signal generating unit generating a control signal based on the calculated feature value, and calculating the feature amount for the brain data in the sampling period. And a driving control unit that controls driving of the moving body on which the user rides. According to this aspect, high-precision control can be realized while simplifying the control process.

この一態様において、教師信号を生成する教師信号生成部を更に備え、前記脳信号分離部は、前記教師信号生成部により生成された前記教師信号を用いて、学習を行い、ユーザに応じた前記アーチファクト成分を分離してもよい。   In this aspect, the image processing apparatus further includes a teacher signal generation unit that generates a teacher signal, and the brain signal separation unit performs learning using the teacher signal generated by the teacher signal generation unit, and Artifact components may be separated.

この一態様において、教師信号を生成する教師信号生成部を更に備え、前記制御信号生成部は、前記教師信号生成部により生成された前記教師信号を用いて、前記特徴量と前記制御信号との対応関係を算出し、前記特徴量と、前記算出した対応関係に基づいて、前記制御信号を生成してもよい。   In this aspect, the apparatus further includes a teacher signal generation unit that generates a teacher signal, and the control signal generation unit uses the teacher signal generated by the teacher signal generation unit to calculate the feature amount and the control signal. A correspondence relationship may be calculated, and the control signal may be generated based on the feature amount and the calculated correspondence relationship.

この一態様において、ユーザの筋電位を検出する筋電位検出部と、前記筋電位検出部により検出された前記筋電位に基づいて、前記移動体を停止させるか否かを判断する停止判断部と、を更に備え、前記停止判断部により前記移動体を停止させると判断されたとき、前記駆動制御部は、前記移動体を停止させる制御を行ってもよい。   In this aspect, a myoelectric potential detection unit that detects a myoelectric potential of a user, and a stop determination unit that determines whether to stop the moving body based on the myoelectric potential detected by the myoelectric potential detection unit; The drive control unit may perform control to stop the moving body when the stop determining unit determines that the moving body is to be stopped.

この一態様において、前記駆動制御部は、前記制御信号生成部から同一の前記制御信号を、所定回数以上連続して受信したとき、該制御信号に対応する制御を実行してもよい。   In this aspect, the drive control unit may execute control corresponding to the control signal when the same control signal is continuously received from the control signal generation unit a predetermined number of times or more.

この一態様において、前記制御信号生成部は、前記算出された特徴量と、予め設定された前記特徴量と制御信号との対応関係と、に基づいて、前記特徴量に対応する制御信号を連続的に生成する信号生成部と、前記信号生成部により連続的に生成される制御信号を、連続する所定個数からなる制御信号のグループに分けて、各グループの中から少なくとも１つの制御信号を選択し、前記駆動制御部に対して出力する信号選択部と、を有していてもよい。   In this aspect, the control signal generation unit continuously generates a control signal corresponding to the feature quantity based on the calculated feature quantity and a preset correspondence relationship between the feature quantity and the control signal. The signal generator to be generated automatically and the control signals continuously generated by the signal generator are divided into groups of a predetermined number of control signals, and at least one control signal is selected from each group And a signal selection unit that outputs to the drive control unit.

この一態様において、前記信号選択部は、グループ毎に、各グループの中で最も多い種類の制御信号を選択し、前記駆動制御部に対して出力してもよい。   In this aspect, the signal selection unit may select the most types of control signals in each group for each group and output the selected control signals to the drive control unit.

この一態様において、前記信号選択部は、現在の制御信号と連続する過去の制御信号とからなる前記グループを構成してもよい。
この一態様において、前記制御信号生成部は、前記筋電位検出部により検出された前記筋電位に基づいて、制御信号を生成し、前記駆動制御部は、前記筋電位に基づいて生成された制御信号と、前記脳活動情報に基づいて生成された制御信号と、を比較し相違する場合に、前記筋電位に基づいて生成された制御信号に基づいて前記移動体を駆動制御する、若しくは停止させてもよい。In this aspect, the signal selection unit may constitute the group including a current control signal and a past control signal that is continuous.
In this aspect, the control signal generation unit generates a control signal based on the myoelectric potential detected by the myoelectric potential detection unit, and the drive control unit generates a control generated based on the myoelectric potential. When the signal is different from the control signal generated based on the brain activity information, the mobile body is driven or controlled based on the control signal generated based on the myoelectric potential, or stopped. May be.

また、この一態様は、ユーザの筋電位を検出する筋電位検出部をさらに有してもよい。また、前記制御信号生成部は、前記筋電位検出手段により検出された前記筋電位に基づいて前記制御信号を生成可能に構成されてもよい。さらに、前記制御信号生成部は、前記脳活動情報に基づく制御内容と前記筋電位に基づく制御内容とが相違する場合に、前記筋電位に基づく制御内容を示す前記制御信号を前記駆動制御部に供給するとよい。   Moreover, this one aspect | mode may further have a myoelectric potential detection part which detects a user's myoelectric potential. The control signal generator may be configured to generate the control signal based on the myoelectric potential detected by the myoelectric potential detection means. Further, the control signal generation unit sends the control signal indicating the control content based on the myoelectric potential to the drive control unit when the control content based on the brain activity information is different from the control content based on the myoelectric potential. It is good to supply.

また、この一態様において、前記制御信号生成部は、前記特徴量を用いた判定を逐次行い、逐次行った複数の判定結果に対する多数決によって１の制御内容を決定してもよい。そして、前記制御信号生成部は、前記多数決により決定された制御内容を示す前記制御信号を前記駆動制御部に供給するとよい。   Further, in this aspect, the control signal generation unit may sequentially perform the determination using the feature amount, and determine one control content by a majority vote for a plurality of determination results sequentially performed. The control signal generation unit may supply the control signal indicating the control content determined by the majority decision to the drive control unit.

また、この一態様において、脳活動検出部は、少なくとも３つのセンサグループを含んでもよい。ここで、前記少なくとも３つのセンサグループの各々は、ユーザの脳波信号を検出する少なくとも１つセンサを含む。この場合、前記制御信号生成部は、各センサグループによって検出される脳活動情報に基づく制御内容が相違する場合に、多数決により１の制御内容を決定し、前記多数決により決定された制御内容を示す前記制御信号を前記駆動制御部に供給するとよい。またさらに、この一態様において、前記制御信号生成手段により生成された前記制御信号に基づいて、制御結果をユーザに知覚させる知覚化手段を更に備えていてもよく、前記知覚化手段は、前記制御結果を視覚化するＶＩＳＵＡＬ-ＦＥＥＤＢＡＣＫ部であってもよい。   In this aspect, the brain activity detection unit may include at least three sensor groups. Here, each of the at least three sensor groups includes at least one sensor for detecting a brain wave signal of the user. In this case, when the control content based on the brain activity information detected by each sensor group is different, the control signal generation unit determines one control content by majority vote, and indicates the control content determined by the majority vote The control signal may be supplied to the drive control unit. Still further, in this aspect, the apparatus may further include a perception unit that causes a user to perceive a control result based on the control signal generated by the control signal generation unit. It may be a VISUAL-FEEDBACK unit that visualizes the result.

他方、上記目的を達成するための本発明の他の一態様は、ユーザの脳活動情報を検出する脳活動検出工程と、前記脳活動検出工程で検出された前記脳活動情報から、アーチファクト成分を分離する脳信号分離工程と、前記脳信号分離工程で前記アーチファクト成分が分離された前記脳活動情報において、脳データを抽出するためのサンプリング区間を、オーバーラップさせつつ所定間隔でスライドさせると共に、該スライドさせた各サンプリング区間内の前記脳データに対する特徴量を夫々算出する特徴量算出工程と、前記特徴量算出工程で算出された前記特徴量に基づいて、制御信号を生成する制御信号生成工程と、前記制御信号生成工程で生成された前記制御信号に基づいて、ユーザが乗る移動体を駆動制御する駆動制御工程と、を含む、ことを特徴とする移動体制御方法であってもよい。   On the other hand, another aspect of the present invention for achieving the above object is that a brain activity detection step for detecting a user's brain activity information and an artifact component from the brain activity information detected in the brain activity detection step. In the brain signal separation step of separating and the brain activity information from which the artifact component is separated in the brain signal separation step, a sampling interval for extracting brain data is slid at a predetermined interval while overlapping, A feature amount calculating step for calculating a feature amount for each of the brain data in each slid sampling period; and a control signal generating step for generating a control signal based on the feature amount calculated in the feature amount calculating step; A drive control step of driving and controlling a moving body on which a user rides based on the control signal generated in the control signal generation step. It may be a mobile control method according to claim.

本発明によれば、移動体制御装置及び移動体制御方法における制御処理を簡素化しつつ、高精度な制御を実現できる。   ADVANTAGE OF THE INVENTION According to this invention, highly accurate control is realizable, simplifying the control process in a mobile body control apparatus and a mobile body control method.

本発明の第１実施形態に係る移動体制御装置のシステム構成の一例を示すブロック図である。It is a block diagram which shows an example of the system configuration | structure of the moving body control apparatus which concerns on 1st Embodiment of this invention. ユーザの頭部を上方から見た図であり、頭部に配置された５つの電極を示す図である。It is the figure which looked at the user's head from the upper part, and is a figure which shows five electrodes arrange | positioned at the head. 各脳波信号におけるサンプリング区間を微小の等間隔で分割した脳データの一例を示す図である。It is a figure which shows an example of the brain data which divided | segmented the sampling area in each electroencephalogram signal at the minute equal intervals. 各脳波信号Ｘにおいて、サンプリング区間をオーバーラップさせつつ所定の微小時間でスライドさせた状態の一例を示す図である。It is a figure which shows an example of the state slid by predetermined micro time, overlapping a sampling area in each electroencephalogram signal X. FIG. 本発明の第１実施形態に係る移動体制御装置の制御処理フローの一例を示すフローチャートである。It is a flowchart which shows an example of the control processing flow of the mobile body control apparatus which concerns on 1st Embodiment of this invention. 本発明の第２実施形態に係る移動体制御装置のシステム構成の一例を示すブロック図である。It is a block diagram which shows an example of the system configuration | structure of the moving body control apparatus which concerns on 2nd Embodiment of this invention. 本発明の第３実施形態に係る移動体制御装置のシステム構成の一例を示すブロック図である。It is a block diagram which shows an example of the system configuration | structure of the mobile body control apparatus which concerns on 3rd Embodiment of this invention. 本発明の第３実施形態に係る制御信号生成部の信号選択部による選択方法の一例を示す図である。It is a figure which shows an example of the selection method by the signal selection part of the control signal generation part which concerns on 3rd Embodiment of this invention. 本発明の第４実施形態に係る移動体制御装置のシステム構成の一例を示すブロック図である。It is a block diagram which shows an example of the system configuration | structure of the moving body control apparatus which concerns on 4th Embodiment of this invention. 本発明の第５実施形態に係る移動体制御装置のシステム構成の一例を示すブロック図である。It is a block diagram which shows an example of the system configuration | structure of the moving body control apparatus which concerns on 5th Embodiment of this invention.

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施形態を挙げて説明する。   The best mode for carrying out the present invention will be described below with reference to the accompanying drawings.

（第１実施形態）
図１は、本発明の第１実施形態に係る移動体制御装置のシステム構成の一例を示すブロック図である。第１実施形態に係る移動体制御装置１０は、ユーザを乗せて移動する移動体（例えば、電動車椅子等）１１の駆動を制御するものである。移動体制御装置１０は、脳波計１と、教師信号生成部２と、脳信号分離部３と、制御信号生成部４と、駆動制御部５と、ＶＩＳＵＡＬ-ＦＥＥＤＢＡＣＫ部６と、を備えている。(First embodiment)
FIG. 1 is a block diagram showing an example of the system configuration of the mobile control device according to the first embodiment of the present invention. The moving body control apparatus 10 according to the first embodiment controls driving of a moving body (for example, an electric wheelchair) 11 that moves with a user. The mobile body control device 10 includes an electroencephalograph 1, a teacher signal generation unit 2, a brain signal separation unit 3, a control signal generation unit 4, a drive control unit 5, and a VISUAL-FEEDBACK unit 6. .

なお、移動体制御装置１０は、主要なハードウェア構成として、制御処理、演算処理等と行うＣＰＵ（Central Processing Unit）と、ＣＰＵによって実行される制御プログラム、演算プログラム等が記憶されたＲＯＭ（Read Only Memory）と、処理データ等を一時的に記憶するＲＡＭ（Random Access Memory）と、を有するマイクロコンピュータを中心にして構成されている。また、脳信号分離部３、制御信号生成部４、駆動制御部５、ＶＩＳＵＡＬ-ＦＥＥＤＢＡＣＫ部６及び後述の停止判断部２２は、例えば、上記ＲＯＭに格納され、上記ＣＰＵによって実行させるソフトウェアによって実現されている。   The mobile control device 10 includes a CPU (Central Processing Unit) that performs control processing, arithmetic processing, and the like as a main hardware configuration, and a ROM (Read that stores control programs, arithmetic programs, and the like executed by the CPU. Only a microcomputer having only memory) and RAM (random access memory) for temporarily storing processing data and the like is mainly configured. The brain signal separation unit 3, the control signal generation unit 4, the drive control unit 5, the VISUAL-FEEDBACK unit 6, and the stop determination unit 22 described later are realized by software stored in the ROM and executed by the CPU, for example. ing.

脳波計（脳活動検出部）１は、例えば、ユーザの頭部に配置された５つの電極１ａ、１ｂ、１ｃ、１ｄ、１ｅを有しており（図２）、ユーザの頭部における一次運動野周辺の脳活動情報を計測し、検出する。また、各電極１ａ〜１ｅは、脳活動情報であるθ波（４〜８Hｚ）、α波（８〜１２Hｚ）、β波（１２〜４０Hz）、等の脳波信号を検出することができる。脳波計１の各電極１ａ〜１ｅは、計測したユーザの脳波信号Ｘ１（ｔ）、Ｘ２（ｔ）、Ｘ３（ｔ）、Ｘ４（ｔ）、Ｘ５（ｔ）（ｔは時間を示す）を、脳信号分離部３に対して夫々出力する。   The electroencephalograph (brain activity detection unit) 1 includes, for example, five electrodes 1a, 1b, 1c, 1d, and 1e arranged on the user's head (FIG. 2), and the primary motion on the user's head. Measure and detect brain activity information around the field. The electrodes 1a to 1e can detect brain wave signals such as θ waves (4 to 8 Hz), α waves (8 to 12 Hz), and β waves (12 to 40 Hz) that are brain activity information. The electrodes 1a to 1e of the electroencephalograph 1 respectively measure the measured user's electroencephalogram signals X1 (t), X2 (t), X3 (t), X4 (t), X5 (t) (t indicates time), Each is output to the brain signal separation unit 3.

教師信号生成部２は、後述の如く、脳信号分離部３及び制御信号生成部４に対する教師信号を生成する。教師信号生成部２は、ユーザの頭部の姿勢値（ロール角、ピッチ角、ヨー角等）を検出できるジャイロセンサや加速度センサ等の姿勢センサを有している。教師信号生成部２は、姿勢センサにより検出されたユーザの姿勢値に基づいて、教師信号を生成する。   The teacher signal generation unit 2 generates a teacher signal for the brain signal separation unit 3 and the control signal generation unit 4 as described later. The teacher signal generation unit 2 includes a posture sensor such as a gyro sensor or an acceleration sensor that can detect the posture value (roll angle, pitch angle, yaw angle, etc.) of the user's head. The teacher signal generation unit 2 generates a teacher signal based on the posture value of the user detected by the posture sensor.

脳信号分離部３は、まず、脳波計１の各電極１ａ〜１ｅからの脳波信号を増幅し、デジタル信号に変換する。さらに、脳信号分離部３は、増幅され、デジタル化された各脳波信号から、ブラインド信号分離アルゴリズムを用いて、アーチファクト（artifact）成分の分離、除去を行うフィルタの適応処理を実行する。これにより、脳活動以外の心臓、目の筋肉等が誘発するノイズ信号（アーチファクト）を、脳波信号から除去することで、脳波信号／雑音比を上げることができ、高精度な脳波信号を検出することができる。なお、ブラインド信号分離アルゴリズムは、ＡＭＵＳＥ法に基づいた周知の信号分離アルゴリズムであるため、詳細な説明は省略する。   The brain signal separation unit 3 first amplifies the brain wave signals from the electrodes 1a to 1e of the electroencephalograph 1 and converts them into digital signals. Further, the brain signal separation unit 3 executes adaptive processing of a filter that separates and removes artifact components from each amplified and digitized brain wave signal using a blind signal separation algorithm. By removing noise signals (artifacts) induced by the heart, eye muscles, etc. other than brain activity from the electroencephalogram signal, the electroencephalogram signal / noise ratio can be increased and a highly accurate electroencephalogram signal is detected. be able to. The blind signal separation algorithm is a well-known signal separation algorithm based on the AMUSE method, and thus detailed description thereof is omitted.

また、脳信号分離部３は、予め、教師信号生成部２から入力された教師信号に基づいて、移動体１１に乗るユーザの脳波信号に含まれるアーチファクト成分を、ニューラルネットワーク等の学習アルゴリズムを用いて学習し、各ユーザに最適なフィルタを構築してもよい。これにより、各ユーザの特性に応じて、アーチファクト成分を脳波信号から高精度に分離することができる。脳信号分離部３は、アーチファクト成分が分離された脳波信号を、制御信号生成部４に対して出力する。   In addition, the brain signal separation unit 3 uses, in advance, an artifact component included in the brain wave signal of the user riding on the moving body 11 based on the teacher signal input from the teacher signal generation unit 2 using a learning algorithm such as a neural network. Learning may be performed to construct an optimum filter for each user. Thereby, according to the characteristic of each user, an artifact component can be separated from an electroencephalogram signal with high accuracy. The brain signal separation unit 3 outputs an electroencephalogram signal from which the artifact component is separated to the control signal generation unit 4.

制御信号生成部４は、脳信号分離部３からの脳波信号に基づいて、移動体１１を駆動制御（例えば、前進制御、後進制御、右旋回制御、左旋回制御等）するための制御信号（例えば、前進信号、後進信号、右旋回信号、左旋回信号等）を生成する。   The control signal generation unit 4 controls the driving of the moving body 11 (for example, forward control, reverse control, right turn control, left turn control, etc.) based on the electroencephalogram signal from the brain signal separation unit 3. (For example, a forward signal, a reverse signal, a right turn signal, a left turn signal, etc.) are generated.

制御信号生成部４は、短時間の時間系列からなる脳波信号Ｘ１（ｔ）、Ｘ２（ｔ）、Ｘ３（ｔ）、Ｘ４（ｔ）、Ｘ５（ｔ）に基づいて、ＣＳＰ法（Commom Spatial Patterns Method）により特徴量ｆｐを連続的に算出する。そして、制御信号生成部４は、算出した特徴量ｆｐに基づいて、制御信号を連続的に生成する。   The control signal generation unit 4 generates a CSP method (Commom Spatial Patterns) based on the electroencephalogram signals X1 (t), X2 (t), X3 (t), X4 (t), and X5 (t) that consist of a short time series. The feature value fp is continuously calculated by (Method). Then, the control signal generator 4 continuously generates a control signal based on the calculated feature value fp.

制御信号生成部４は、まず、図３Ａに示すように、各脳波信号Ｘｎ（ｔ）（ｎ＝１〜５）において、区間Ｔ１となるフレームを設定し、その区間Ｔ１内にあるｆｓ×Ｔ１点（ｆｓ：サンプリング周波数）の脳波信号の値（脳データ）Ｄｎ（１）〜Ｄｎ（ｆｓ×Ｔ１）を算出する。上述のように、制御信号生成部４は、脳波計１の各電極１ａ〜１ｅからの脳波信号Ｘ１（ｔ）、Ｘ２（ｔ）、Ｘ３（ｔ）、Ｘ４（ｔ）、Ｘ５（ｔ）から、夫々、脳データＤ１（１）〜Ｄ１（ｆｓ×Ｔ１）、Ｄ２（１）〜Ｄ２（ｆｓ×Ｔ１）、Ｄ３（１）〜Ｄ３（ｆｓ×Ｔ１）、Ｄ４（１）〜Ｄ４（ｆｓ×Ｔ１）、Ｄ５（１）〜Ｄ５（ｆｓ×Ｔ１）、を夫々抽出する。そして、制御信号生成部４は、抽出した脳データに基づいて、５（電極の数）×ｆｓ×Ｔ１（サンプリング区間Ｔ１内の脳データの数）からなる行列Ｅを生成する。

Figure 0005167368
First, as shown in FIG. 3A, the control signal generation unit 4 sets a frame that becomes a section T1 in each electroencephalogram signal Xn (t) (n = 1 to 5), and fs × T1 in the section T1. The values (brain data) Dn (1) to Dn (fs × T1) of the electroencephalogram signal at the point (fs: sampling frequency) are calculated. As described above, the control signal generation unit 4 uses the electroencephalogram signals X1 (t), X2 (t), X3 (t), X4 (t), and X5 (t) from the electrodes 1a to 1e of the electroencephalograph 1. , Brain data D1 (1) to D1 (fs × T1), D2 (1) to D2 (fs × T1), D3 (1) to D3 (fs × T1), D4 (1) to D4 (fs ×, respectively). T1) and D5 (1) to D5 (fs × T1) are extracted. Based on the extracted brain data, the control signal generation unit 4 generates a matrix E composed of 5 (number of electrodes) × fs × T1 (number of brain data in the sampling section T1).
Figure 0005167368

さらに、制御信号生成部４は、生成した行列Ｅ及び予め周期のＣＳＰ法によって得られたフィルタＷ１、Ｗ２に基づいて下記（１）式により、特徴量ｆｐを算出する。

Figure 0005167368
Further, the control signal generation unit 4 calculates the feature quantity fp by the following equation (1) based on the generated matrix E and the filters W1 and W2 obtained in advance by the periodic CSP method.
Figure 0005167368

なお、上記ｖａｒ（Ｚｐ）は、データ列Ｚｐの分散である。   The var (Zp) is a variance of the data string Zp.

また、制御信号生成部４は、所定の微小時間Ｔ２（例えば、Ｔ２＝１２５ｍｓ）毎に、特徴量ｆｐを連続的に算出する。すなわち、制御信号生成部４は、図３Ｂに示すように、各脳波信号Ｘｎ（ｔ）において、サンプリング区間Ｔ１をオーバーラップさせつつ所定の微小時間（所定間隔）Ｔ２でスライドさせて行列Ｅを連続的に生成し、特徴量ｆｐを連続的に算出する。   Further, the control signal generation unit 4 continuously calculates the feature quantity fp every predetermined minute time T2 (for example, T2 = 125 ms). That is, as shown in FIG. 3B, the control signal generation unit 4 continuously slides the matrix E by sliding the EEG signals Xn (t) at a predetermined minute time (predetermined interval) T2 while overlapping the sampling intervals T1. The feature amount fp is continuously calculated.

制御信号生成部４は、算出した特徴量ｆｐに基づいて、線形ＳＶＭ（Support Vector Machine）等の学習機能付き信号処理を行い、制御信号を生成する。また、制御信号生成部４は、予め初期設定時に、教師信号生成部２から入力された教師信号を用いて、線形ＳＶＭによる学習を行い、特徴量ｆｐと制御信号（例えば、前進信号、後進信号、右旋回信号、左旋回信号、加速信号、減速信号、停止信号等）との対応関係を算出する。   The control signal generation unit 4 performs signal processing with a learning function such as linear SVM (Support Vector Machine) based on the calculated feature value fp to generate a control signal. Further, the control signal generation unit 4 performs learning by linear SVM using the teacher signal input from the teacher signal generation unit 2 at the time of initial setting in advance, and the feature quantity fp and the control signal (for example, forward signal, reverse signal). , Right turn signal, left turn signal, acceleration signal, deceleration signal, stop signal, etc.).

なお、ユーザの脳活動状態の変化等に起因して、上記対応関係の精度が劣化した場合に、制御信号生成部４は、自動的に又はユーザ操作に応じて、オンライン状態で上記線形ＳＶＭによる学習を再度実行してもよい。制御信号生成部４は、算出された特徴量ｆｐと、上記特徴量ｆｐと制御信号との対応関係と、に基づいて、特徴量ｆｐに対応する制御信号を連続的に生成し、生成した制御信号を逐次、駆動制御部５及びＶＩＳＵＡＬ-ＦＥＥＤＢＡＣＫ部６に対して出力する。   When the accuracy of the correspondence relationship is deteriorated due to a change in the brain activity state of the user or the like, the control signal generation unit 4 uses the linear SVM in an online state automatically or in response to a user operation. Learning may be performed again. The control signal generation unit 4 continuously generates a control signal corresponding to the feature quantity fp based on the calculated feature quantity fp and the correspondence relationship between the feature quantity fp and the control signal, and generates the generated control. The signals are sequentially output to the drive control unit 5 and the VISUAL-FEEDBACK unit 6.

駆動制御部５は、制御信号生成部４からの連続的な制御信号に応じて、移動体１１の駆動制御を逐次実行する。駆動制御部５は、例えば、制御信号生成部４からの前進信号、後進信号、右旋回信号、左旋回信号、加速信号、減速信号、および停止信号に応じて、夫々、移動体１１の前進制御、後進制御、右旋回制御、左旋回制御、加速制御、減速制御、および停止制御を実行する。   The drive control unit 5 sequentially executes the drive control of the moving body 11 in accordance with the continuous control signal from the control signal generation unit 4. For example, the drive control unit 5 advances the moving body 11 in accordance with a forward signal, a reverse signal, a right turn signal, a left turn signal, an acceleration signal, a deceleration signal, and a stop signal from the control signal generation unit 4, respectively. Control, reverse control, right turn control, left turn control, acceleration control, deceleration control, and stop control are executed.

駆動制御部５は、例えば、電動車椅子の左右の駆動輪を駆動する左右のモータを夫々制御することで、電動車椅子の前進制御、後進制御、右旋回制御、左旋回制御、加速制御、減速制御、および停止制御を実行することができる。   For example, the drive control unit 5 controls the left and right motors that drive the left and right drive wheels of the electric wheelchair, respectively, so that the forward control, reverse control, right turn control, left turn control, acceleration control, and deceleration of the electric wheelchair are performed. Control and stop control can be executed.

このように、駆動制御部５は、制御信号生成部４から短時間で連続的に出力される制御信号に応じて、移動体１１の駆動制御をリアルタイムで実行する。これにより、高精度かつスムーズな移動体１１の駆動制御が高速で実現できる。   As described above, the drive control unit 5 executes the drive control of the moving body 11 in real time in accordance with the control signal continuously output from the control signal generation unit 4 in a short time. Thereby, highly accurate and smooth drive control of the moving body 11 is realizable at high speed.

また、ＶＩＳＵＡＬ-ＦＥＥＤＢＡＣＫ部６は、制御信号生成部４からの連続的な制御信号に応じて、制御結果を視覚的にユーザに提示する。ＶＩＳＵＡＬ-ＦＥＥＤＢＡＣＫ部６は、例えば、右旋回、左旋回、前進、後進を、右矢印、左矢印、上矢印、下矢印で夫々表現する。   The VISUAL-FEEDBACK unit 6 visually presents the control result to the user according to the continuous control signal from the control signal generation unit 4. The VISUAL-FEEDBACK unit 6 represents, for example, right turn, left turn, forward movement, and reverse movement by a right arrow, a left arrow, an up arrow, and a down arrow, respectively.

次に、第１実施形態に係る移動体制御装置１０による移動体制御方法について、詳細に説明する。図４は、第１実施形態に係る移動体制御装置の制御処理フローの一例を示すフローチャートである。   Next, the moving body control method by the moving body control apparatus 10 according to the first embodiment will be described in detail. FIG. 4 is a flowchart illustrating an example of a control processing flow of the mobile control device according to the first embodiment.

脳波計１の各電極１ａ〜１ｅは、ユーザの脳波を検出し（脳活動検出工程）（ステップＳ１００）、検出したユーザの脳波信号を脳信号分離部３に対して出力する。   Each of the electrodes 1a to 1e of the electroencephalograph 1 detects a user's brain wave (brain activity detection step) (step S100), and outputs the detected user's brain wave signal to the brain signal separation unit 3.

次に、脳信号分離部３は、脳波計１の各電極１ａ〜１ｅからの脳波信号から、ブラインド信号分離アルゴリズムを用いて、アーチファクト成分の分離、除去を行うフィルタの適応処理を実行する（脳信号分離工程）（ステップＳ１０１）。脳信号分離部３は、アーチファクト成分が分離された脳波信号を、制御信号生成部４に対して出力する。   Next, the brain signal separation unit 3 executes adaptive processing of a filter that separates and removes artifact components from the brain wave signals from the electrodes 1a to 1e of the electroencephalograph 1 using a blind signal separation algorithm (brain). Signal separation step) (step S101). The brain signal separation unit 3 outputs an electroencephalogram signal from which the artifact component is separated to the control signal generation unit 4.

その後、制御信号生成部４は、短時間の時間系列からなる脳波信号に基づいて、空間フィルタ法により特徴量ｆｐ（ｐ＝１、２）を連続的に算出する（特徴量算出工程）（ステップＳ１０２）。そして、制御信号生成部４は、算出した特徴量ｆｐに基づいて判別を行い、制御信号を連続的に生成し（制御信号生成工程）（ステップＳ１０３）、生成した制御信号を逐次、駆動制御部５に対して出力する。   After that, the control signal generation unit 4 continuously calculates the feature quantity fp (p = 1, 2) by the spatial filter method based on the electroencephalogram signal composed of a short time series (feature quantity calculation step) (step S102). Then, the control signal generation unit 4 performs determination based on the calculated feature value fp, continuously generates a control signal (control signal generation step) (step S103), and sequentially generates the generated control signal as a drive control unit. 5 is output.

駆動制御部５は、制御信号生成部４からの連続的な制御信号に応じて、移動体１１の駆動制御を行う（駆動制御工程）（ステップＳ１０４）。   The drive control unit 5 performs drive control of the moving body 11 according to the continuous control signal from the control signal generation unit 4 (drive control step) (step S104).

以上、第１実施形態に係る移動体制御装置１０において、制御信号生成部４は、各脳波信号Ｘｎ（ｔ）において、サンプリング区間Ｔ１をオーバーラップさせつつ所定の微小時間Ｔ２でスライドさせて行列Ｅを連続的に生成し、特徴量ｆｐを連続的に算出する。そして、駆動制御部５は、制御信号生成部４から短時間かつ連続的に出力される制御信号に応じて、移動体１１の駆動制御をリアルタイムで実行する。これにより、サンプリング区間Ｔ１で区切られた脳波信号における制御判別を、オーバーラップさせつつ所定の微小時間Ｔ２で連続的に繰り返し、その短時間かつ連続した制御判別結果の総合でマクロ的な移動体１１の動作を制御することができる。したがって、高精度かつスムーズな移動体１１の駆動制御が高速（リアルタイム）で実現できる。   As described above, in the mobile control apparatus 10 according to the first embodiment, the control signal generation unit 4 slides the matrix E by sliding the EEG signals Xn (t) at the predetermined minute time T2 while overlapping the sampling intervals T1. Are continuously generated, and the feature value fp is continuously calculated. And the drive control part 5 performs the drive control of the mobile body 11 in real time according to the control signal output from the control signal generation part 4 for a short time and continuously. As a result, the control discrimination in the electroencephalogram signal divided by the sampling interval T1 is continuously repeated in a predetermined minute time T2 while being overlapped, and the macro mobile body 11 is integrated with the control discrimination results for a short time and continuously. Can be controlled. Therefore, high-precision and smooth drive control of the moving body 11 can be realized at high speed (real time).

さらに、上述の如く、各脳波信号Ｘｎ（ｔ）において、サンプリング区間Ｔ１をオーバーラップさせつつ所定の微小時間Ｔ２でスライドさせて、特徴量ｆｐを連続的に算出し、対応する制御信号を生成するだけの簡易な制御処理で、高精度かつスムーズな移動体１１の駆動制御が高速で実現できる。すなわち、移動体制御装置１０及び移動体制御方法における制御処理を簡素化しつつ、高精度な制御が実現できる。   Further, as described above, in each electroencephalogram signal Xn (t), the sampling interval T1 is overlapped and slid at a predetermined minute time T2, and the feature quantity fp is continuously calculated to generate a corresponding control signal. With this simple control process, high-precision and smooth drive control of the moving body 11 can be realized at high speed. That is, highly accurate control can be realized while simplifying the control processing in the moving body control device 10 and the moving body control method.

（第２実施形態）
図５は、本発明の第２実施形態に係る移動体制御装置のシステム構成の一例を示すブロック図である。第２実施形態に係る移動体制御装置２０は、第１実施形態に係る移動体制御装置１０の構成要素に加えて、更に、筋電位検出部２１と、停止判断部２２と、を備えている。(Second Embodiment)
FIG. 5 is a block diagram showing an example of the system configuration of the mobile control device according to the second embodiment of the present invention. The mobile body control device 20 according to the second embodiment further includes a myoelectric potential detection unit 21 and a stop determination unit 22 in addition to the components of the mobile body control device 10 according to the first embodiment. .

筋電位検出部２１は、乾式の表面電極、湿式の表面電極、銀・塩化銀皿電極などの筋電センサを単数又は複数有している。各筋電センサは、例えば、ユーザが咄嗟に動作させることができる頬、首等の部位に取付けられており、ユーザの筋電位を容易かつ確実に検出することができる。筋電位検出部２１の各筋電センサは、検出した筋電位を筋電位信号として停止判断部２２に対して出力する。   The myoelectric potential detection unit 21 has one or a plurality of myoelectric sensors such as a dry surface electrode, a wet surface electrode, and a silver / silver chloride dish electrode. For example, each myoelectric sensor is attached to a part such as a cheek or a neck that can be operated by the user in the heel, and can easily and reliably detect the myoelectric potential of the user. Each myoelectric sensor of the myoelectric potential detection unit 21 outputs the detected myoelectric potential as a myoelectric potential signal to the stop determination unit 22.

停止判断部２２は、筋電位検出部２１からの筋電位信号に基づいて、移動体１１を停止させるか否かを判断する。また、停止判断部２２は、移動体１１を停止させると判断したとき、停止信号を駆動制御部５に対して出力する。駆動制御部５は、停止判断部２２からの停止信号を受信すると、移動体１１の停止制御を実行する。   The stop determination unit 22 determines whether to stop the moving body 11 based on the myoelectric potential signal from the myoelectric potential detection unit 21. In addition, the stop determination unit 22 outputs a stop signal to the drive control unit 5 when determining that the moving body 11 is to be stopped. When the drive control unit 5 receives the stop signal from the stop determination unit 22, the drive control unit 5 performs stop control of the moving body 11.

例えば、停止判断部２２は、筋電位検出部２１の筋電センサから出力される筋電位信号が所定値以上となり、ユーザの緊急時の頬（又は首等）の動きであると判断したとき、停止信号を駆動制御部５に対して出力する。駆動制御部５は、停止判断部２２から停止信号を受信すると、移動体１１を緊急停止させる停止制御を実行する。   For example, when the stop determination unit 22 determines that the myoelectric signal output from the myoelectric sensor of the myoelectric potential detection unit 21 is equal to or greater than a predetermined value and is a movement of the cheek (or neck) of the user in an emergency, A stop signal is output to the drive control unit 5. When the drive control unit 5 receives the stop signal from the stop determination unit 22, the drive control unit 5 executes stop control for urgently stopping the moving body 11.

第２実施形態に係る移動体制御装置２０において、他の構成は、第１実施形態に係る移動体制御装置１０と略同一である。したがって、第２実施形態に係る移動体制御装置２０において、同一部分には同一符号を付して、詳細な説明は省略する。   In the moving body control device 20 according to the second embodiment, other configurations are substantially the same as those of the moving body control device 10 according to the first embodiment. Therefore, in the mobile control device 20 according to the second embodiment, the same parts are denoted by the same reference numerals, and detailed description thereof is omitted.

以上、第２実施形態に係る移動体制御装置２０において、停止判断部２２は、筋電位検出部２１の筋電センサからの筋電位信号に基づいて、移動体１１を停止させると判断したとき、停止信号を駆動制御部５に対して出力する。そして、駆動制御部５は、停止判断部２２からの停止信号を受信すると、移動体１１の停止制御を実行する。これにより、移動体１１を停止させる際におけるユーザの自然な反応で、移動体１１を確実に停止させることができる。   As described above, in the mobile body control device 20 according to the second embodiment, when the stop determination unit 22 determines to stop the mobile body 11 based on the myoelectric signal from the myoelectric sensor of the myoelectric potential detection unit 21, A stop signal is output to the drive control unit 5. And the drive control part 5 will perform stop control of the mobile body 11, if the stop signal from the stop determination part 22 is received. Thereby, the mobile body 11 can be reliably stopped by a user's natural reaction when the mobile body 11 is stopped.

（第３実施形態）
図６は、本発明の第３実施形態に係る移動体制御装置のシステム構成の一例を示すブロック図である。第３実施形態に係る移動体制御装置３０において、制御信号生成部３４は、算出された特徴量ｆｐと、上記特徴量ｆｐと制御信号との対応関係と、に基づいて、特徴量ｆｐに対応する制御信号を連続的に生成する信号生成部３４ａと、信号生成部３４ａにより連続的に生成される制御信号を、連続する所定個数（例えば、３個）からなる制御信号のグループに分けて、グループ毎に、各グループの中で最も多い種類の制御信号を選択する信号選択部３４ｂと、を有している。(Third embodiment)
FIG. 6 is a block diagram showing an example of the system configuration of the mobile control device according to the third embodiment of the present invention. In the mobile control device 30 according to the third embodiment, the control signal generation unit 34 corresponds to the feature quantity fp based on the calculated feature quantity fp and the correspondence relationship between the feature quantity fp and the control signal. The control signal continuously generated by the signal generator 34a that continuously generates the control signal and the signal generator 34a are divided into groups of control signals composed of a predetermined number (for example, three), Each group includes a signal selection unit 34b that selects the most types of control signals in each group.

ここで、信号選択部３４ｂは、現在の制御信号と連続する過去の制御信号とからなるグループを構成する。例えば、信号選択部３４ｂは、現在の制御信号と、その制御信号よりも１つ前及び２つ前に生成した制御信号とを１つのグループとしているが、これに限らず、例えば、現在の制御信号と、その制御信号よりも１つ前、２つ前、及び３つ前に生成した制御信号とを１つのグループとして構成してもよく、任意のグループ構成が適用可能である。なお、グループを構成する制御信号の数を増加させると、生成される制御信号の精度が増し、移動体１１のより安定的な動作が可能となる。また、信号選択部３４ｂは、各グループから１つの制御信号を選択しているが、これに限らず、複数の制御信号を選択してもよい。信号選択部３４ｂは、選択した制御信号を逐次、駆動制御部５及びＶＩＳＵＡＬ-ＦＥＥＤＢＡＣＫ部６に対して出力する。   Here, the signal selection part 34b comprises the group which consists of the past control signal which continues with the present control signal. For example, the signal selection unit 34b includes the current control signal and the control signals generated one and two times before the control signal as one group. The signals and the control signals generated one, two and three times before the control signal may be configured as one group, and any group configuration is applicable. Note that when the number of control signals constituting the group is increased, the accuracy of the generated control signals is increased, and the mobile body 11 can be operated more stably. Moreover, although the signal selection part 34b has selected one control signal from each group, it may select not only this but a several control signal. The signal selection unit 34 b sequentially outputs the selected control signal to the drive control unit 5 and the VISUAL-FEEDBACK unit 6.

例えば、信号生成部３４ａが、「左旋回、前進、左旋回、左旋回、左旋回、前進、前進」として、制御信号を連続的に生成する場合を想定する。この場合、信号選択部３４ｂは、図７に示すように、信号生成部３４ａにより生成される連続的な制御信号を、グループ１（左旋回、前進、左旋回）、グループ２（前進、左旋回、左旋回）、グループ３（左旋回、左旋回、左旋回）グループ４、（左旋回、左旋回、前進）、グループ５（左旋回、前進、前進）、・・・としたグループに分ける。そして、信号選択部３４ｂは、グループ毎に、各グループの中で最も多い種類の制御信号「左旋回、左旋回、左旋回、左旋回、前進」を夫々選択し、逐次、駆動制御部５及びＶＩＳＵＡＬ-ＦＥＥＤＢＡＣＫ部６に対して出力する。   For example, it is assumed that the signal generation unit 34a continuously generates control signals as “left turn, forward, left turn, left turn, left turn, forward, forward”. In this case, as shown in FIG. 7, the signal selection unit 34 b converts the continuous control signals generated by the signal generation unit 34 a into group 1 (left turn, forward, left turn), group 2 (forward, left turn). , Left turn), group 3 (left turn, left turn, left turn), group 4, (left turn, left turn, forward), group 5 (left turn, forward, forward), and so on. Then, the signal selection unit 34b selects, for each group, the most frequently used control signal “left turn, left turn, left turn, left turn, left turn” in each group, and sequentially selects the drive control unit 5 and Output to the VISUAL-FEEDBACK unit 6.

このようにして、第３実施形態に係る移動体制御装置３０によれば、制御信号生成部３４により生成される制御信号の精度を向上させ、移動体１１をより安定的に動作させることが可能となる。例えば、移動体１１の操作における未熟練者は、移動体１１の動作を的確に想像できないことがあるため脳波信号が乱れることがあるが、この場合でも、第３実施形態に係る移動体制御装置３０は、この脳波の乱れを補正し、移動体１１をより的確に動作させることができる。なお、ユーザの本来の意思と異なる動作を示す脳波の乱れは、動作の切り替え前などにおいて瞬間的に現れることから、上述した多数決の論理に基づいて制御内容を決定することが有効である。しかしながら、上述した信号選択部３４ｂは、各グループの中で最も多い種類の制御信号を多数決の論理により選択ことに代えて、例えば、時間平均、中央値、統計値等により制御信号を選択してもよい。   In this way, according to the mobile control device 30 according to the third embodiment, it is possible to improve the accuracy of the control signal generated by the control signal generator 34 and to operate the mobile 11 more stably. It becomes. For example, an unskilled person in the operation of the mobile body 11 may not be able to accurately imagine the operation of the mobile body 11, and thus the electroencephalogram signal may be disturbed. Even in this case, the mobile body control device according to the third embodiment 30 can correct the disturbance of the electroencephalogram and operate the moving body 11 more accurately. It is effective to determine the contents of control based on the above-described majority logic because the disturbance of the brain wave that shows an operation different from the original intention of the user appears instantaneously before the operation is switched. However, the signal selection unit 34b described above selects, for example, a control signal based on a time average, a median value, a statistical value, or the like instead of selecting the most common type of control signal in each group based on majority logic. Also good.

なお、第３実施形態に係る移動体制御装置３０において、他の構成は、第１実施形態に係る移動体制御装置１０と略同一である。したがって、第３実施形態に係る移動体制御装置３０において、同一部分には同一符号を付して、詳細な説明は省略する。   In addition, in the moving body control device 30 according to the third embodiment, other configurations are substantially the same as those of the moving body control device 10 according to the first embodiment. Therefore, in the mobile control device 30 according to the third embodiment, the same parts are denoted by the same reference numerals, and detailed description thereof is omitted.

（第４実施形態）
上述した第２実施形態では、筋電位の検出結果を用いて移動体１１の停止制御を行う例を示した。しかしながら、筋電位の利用は、停止制御に限られない。本実施形態では、脳活動情報に基づく移動体１１の制御と筋電位に基づく移動体１１の制御を統合した具体例について説明する。(Fourth embodiment)
In 2nd Embodiment mentioned above, the example which performs stop control of the mobile body 11 using the detection result of the myoelectric potential was shown. However, the use of myoelectric potential is not limited to stop control. In the present embodiment, a specific example in which the control of the mobile body 11 based on brain activity information and the control of the mobile body 11 based on myoelectric potential are integrated will be described.

図８は、本発明の第４実施形態に係る移動体制御装置４０のシステム構成の一例を示すブロック図である。第４実施形態に係る移動体制御装置４０は、第１実施形態に係る移動体制御装置１０の構成要素に加えて、更に、筋電位検出部４１を有する。筋電位検出部４１は、上述した筋電位検出部２１と同様に、ユーザの筋電位の変動を示す筋電位信号を生成する。なお、筋電位検出部４１の構成は、筋電位検出部２１と同様とすればよい。生成された筋電位信号は、制御信号生成部４に供給される。   FIG. 8 is a block diagram showing an example of the system configuration of the mobile control device 40 according to the fourth embodiment of the present invention. The mobile control device 40 according to the fourth embodiment further includes a myoelectric potential detection unit 41 in addition to the components of the mobile control device 10 according to the first embodiment. The myoelectric potential detection unit 41 generates a myoelectric potential signal indicating a change in the myoelectric potential of the user, like the myoelectric potential detection unit 21 described above. The configuration of the myoelectric potential detection unit 41 may be the same as that of the myoelectric potential detection unit 21. The generated myoelectric potential signal is supplied to the control signal generation unit 4.

本実施の形態における制御信号生成部４は、脳信号分離部３から供給される脳波信号と、筋電位検出部４１から供給される筋電位信号とを複合的に用いて、駆動信号生成部５に供給する制御信号を生成する。具体的に述べると、制御信号生成部４は、脳波信号つまり脳活動情報に基づく制御内容と、筋電位信号つまり筋電位に基づく制御内容とを比較し、これらが競合する場合、筋電位に基づく制御内容を表す制御信号を生成する。つまり、脳活動情報よりも筋電位を優先的に利用して移動体１１の動作を制御する。例えば、脳活動情報が前進を示し、筋電位が停止を示す場合、制御信号生成部４は、移動体１１に停止動作を行わせるための制御信号を生成する。また、例えば、脳活動情報が直進を示し、筋電位が左右いずれかへの旋回を示す場合、制御信号生成部４は、移動体１１に旋回動作を行わせるための制御信号を生成する。   The control signal generation unit 4 in the present embodiment uses the electroencephalogram signal supplied from the brain signal separation unit 3 and the myoelectric potential signal supplied from the myoelectric potential detection unit 41 in a composite manner, and the drive signal generation unit 5 A control signal to be supplied to is generated. More specifically, the control signal generation unit 4 compares the control content based on the electroencephalogram signal, that is, brain activity information, and the control content based on the myoelectric signal, that is, myoelectric potential. A control signal representing the control content is generated. That is, the operation of the mobile body 11 is controlled using the myoelectric potential preferentially over the brain activity information. For example, when the brain activity information indicates forward movement and the myoelectric potential indicates stop, the control signal generation unit 4 generates a control signal for causing the moving body 11 to perform a stop operation. In addition, for example, when the brain activity information indicates straight traveling and the myoelectric potential indicates turning to the left or right, the control signal generation unit 4 generates a control signal for causing the moving body 11 to perform a turning operation.

本実施形態によれば、移動体１１をより安全に駆動制御することができる。なお、本実施形態に係る移動体制御装置４０において、他の構成は、第１実施形態に係る移動体制御装置１０と略同一である。したがって、第４実施形態に係る移動体制御装置４０において、同一部分には同一符号を付して、詳細な説明は省略する。   According to the present embodiment, it is possible to drive and control the moving body 11 more safely. In addition, in the moving body control device 40 according to the present embodiment, other configurations are substantially the same as those of the moving body control device 10 according to the first embodiment. Therefore, in the mobile control device 40 according to the fourth embodiment, the same parts are denoted by the same reference numerals, and detailed description thereof is omitted.

（第５実施形態）
上述した第２実施形態では、脳波計によって得られる脳波信号の出力をサンプリングし、各サンプルによって表わされる制御内容に対して時間方向での多数決評定を行う例を示した。本実施の形態では、脳波計が有する複数のセンサ（例えば電極）を３つ以上のセンサグループ（例えば電極グループ）に分け、各センサグループの同時刻の出力によって表わされる制御内容が互いに相違する場合に、多数決評定によって１の制御内容を選択する。(Fifth embodiment)
In the second embodiment described above, an example is shown in which the output of an electroencephalogram signal obtained by an electroencephalograph is sampled, and majority evaluation in the time direction is performed on the control content represented by each sample. In the present embodiment, a plurality of sensors (for example, electrodes) included in the electroencephalograph are divided into three or more sensor groups (for example, electrode groups), and the control contents represented by the outputs at the same time of the sensor groups are different from each other. Then, one control content is selected by majority rating.

図９は、本発明の第５実施形態に係る移動体制御装置５０のシステム構成の一例を示すブロック図である。本実施の形態の脳波計１が有する電極は、複数の電極グループにグループ分けされている。１の電極グループは少なくとも１つの電極を含む。図９の例では、脳波計１は、３つの電極グループＧ１〜Ｇ３を有する。   FIG. 9 is a block diagram showing an example of the system configuration of the mobile control device 50 according to the fifth embodiment of the present invention. Electrodes of electroencephalograph 1 of the present embodiment are grouped into a plurality of electrode groups. One electrode group includes at least one electrode. In the example of FIG. 9, the electroencephalograph 1 has three electrode groups G1 to G3.

脳信号分離部３は、電極グループＧ１〜Ｇ３に含まれる各電極から供給されるアナログ脳波信号をデジタルサンプリングし、ブラインド信号分離アルゴリズムによる適応フィルタ処理を行って、アーチファクト（artifact）成分が除去された脳波信号群を生成する。なお、脳信号分離部３における信号処理は、上述した実施形態１と同様とすればよい。   The brain signal separation unit 3 digitally samples analog brain wave signals supplied from the electrodes included in the electrode groups G1 to G3, performs an adaptive filter process using a blind signal separation algorithm, and removes artifact components. A brain wave signal group is generated. The signal processing in the brain signal separation unit 3 may be the same as that in the first embodiment.

制御信号生成部４は、アーチファクト（artifact）成分が除去された脳波信号群を脳信号分離部３から受信し、電極グループＧ１〜Ｇ３毎の脳波信号を用いて、電極グループＧ１〜Ｇ３毎に移動体１１の制御内容（例えば、前進制御、後進制御、右旋回制御、左旋回制御等）を決定する。そして、電極グループＧ１〜Ｇ３毎の制御内容が相違する場合には、多数決評定によって１の制御内容を決定する。例えば、電極グループＧ１及びＧ２の出力から決まる制御内容が「左旋回」であり、電極グループ１の出力から決まる制御内容が「直進」である場合、制御信号生成部４は、「左旋回」を示す制御信号を駆動制御部５に供給する。   The control signal generation unit 4 receives the electroencephalogram signal group from which the artifact component has been removed from the electroencephalogram signal separation unit 3, and moves for each electrode group G1 to G3 using the electroencephalogram signal for each electrode group G1 to G3. The control content of the body 11 (for example, forward control, reverse control, right turn control, left turn control, etc.) is determined. And when the control content for every electrode group G1-G3 differs, 1 control content is determined by majority rating. For example, when the control content determined from the outputs of the electrode groups G1 and G2 is “left turn” and the control content determined from the output of the electrode group 1 is “straight forward”, the control signal generation unit 4 performs “left turn”. The control signal shown is supplied to the drive controller 5.

このように、複数のセンサグループ間の多数決評定によって移動体１１に対する制御内容を決定することで、脳波乱れによる移動体１１の誤動作を一層抑制できる。   Thus, the malfunction of the mobile body 11 due to brain wave disturbance can be further suppressed by determining the control content for the mobile body 11 by majority rating among a plurality of sensor groups.

以上、本発明を実施するための最良の形態について上記実施形態を用いて説明したが、本発明はこうした上記実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、上述した実施形態に種々の変形及び置換を加えることができる。   As mentioned above, although the best mode for carrying out the present invention has been described using the above-described embodiment, the present invention is not limited to the above-described embodiment, and within the scope not departing from the gist of the present invention. Various modifications and substitutions can be added to the above-described embodiments.

上記第１乃至第５実施形態において、脳波計１によりユーザの脳活動情報を検出しているが、これに限らず、例えば、近赤外光を用いた光脳計測装置（NIRS：Near Infrared Spectroscopy：近赤外分光法）によりユーザの脳活動情報を検出してもよい。つまり、脳波計１は、脳活動検出部の一例に過ぎない。脳活動検出部としては、ユーザの脳活動情報が検出できる任意の脳計測装置が適用可能である。また、脳活動情報として、ユーザの脳波が用いられているが、これに限らず、例えば、脳血液中のヘモグロビン酸素化状態情報等の任意の脳情報が適用可能である。   In the first to fifth embodiments, the brain activity information of the user is detected by the electroencephalograph 1, but the present invention is not limited to this. For example, an optical brain measurement device (NIRS: Near Infrared Spectroscopy using near infrared light) is used. : Near-infrared spectroscopy) may detect user brain activity information. That is, the electroencephalograph 1 is only an example of a brain activity detection unit. As the brain activity detection unit, any brain measurement device that can detect the brain activity information of the user is applicable. Moreover, although a user's brain wave is used as brain activity information, it is not restricted to this, For example, arbitrary brain information, such as hemoglobin oxygenation state information in brain blood, is applicable.

上記第１乃至第４実施形態において、脳波計１は５つの電極１ａ〜１ｅを有する構成であるが、これに限らず、例えば、１つの電極でもよく、構成される電極の数は任意でよく、頭部における取付け位置も任意でよい。   In the first to fourth embodiments, the electroencephalograph 1 is configured to include the five electrodes 1a to 1e. However, the configuration is not limited thereto, and for example, one electrode may be used, and the number of configured electrodes may be arbitrary. The mounting position on the head may be arbitrary.

上記第１乃至第５実施形態において、脳信号分離部３は、各脳波信号から、ブラインド信号分離アルゴリズムを用いて、アーチファクト成分を分離しているが、これに限らず、各脳波信号からアーチファクト成分が適切に分離されれば、任意の信号分離アルゴリズムを用いることが可能である。   In the first to fifth embodiments, the brain signal separation unit 3 separates the artifact component from each brain wave signal by using a blind signal separation algorithm. However, the present invention is not limited to this, and the artifact component is separated from each brain wave signal. Any signal separation algorithm can be used if are properly separated.

上記第１乃至第５実施形態において、駆動制御部５は、制御信号生成部４から同一の制御信号を所定回数以上、連続して受信した場合のみ、その制御信号に対応する移動体１１の駆動制御を実行させるリミッタ機能を有していてもよい。これにより、移動体１１をより高精度に駆動制御することができる。   In the first to fifth embodiments, the drive control unit 5 drives the mobile body 11 corresponding to the control signal only when the same control signal is continuously received from the control signal generation unit 4 a predetermined number of times or more. It may have a limiter function for executing control. Thereby, the moving body 11 can be driven and controlled with higher accuracy.

上記第１乃至第５実施形態において、移動体１１として電動車椅子が適用されているが、これに限らず、ユーザを乗せて走行する任意の移動装置に適用可能である。また、制御対象として移動装置以外のロボット、ＰＣ上のカーソルなどに適用することもできる。   In the first to fifth embodiments, an electric wheelchair is applied as the moving body 11, but the present invention is not limited to this, and can be applied to any moving device that travels with a user. Further, the present invention can be applied to a robot other than a moving device, a cursor on a PC, or the like as a control target.

上記第１乃至第５実施形態において、制御信号生成部４、３４は、生成した行列Ｅに基づいて下記（１）式により、特徴量ｆｐを算出しているが、これに限らず、任意の算出方法を用いて脳波信号の特徴量を算出してもよい。   In the first to fifth embodiments, the control signal generation units 4 and 34 calculate the feature quantity fp by the following equation (1) based on the generated matrix E. However, the present invention is not limited to this. The feature quantity of the electroencephalogram signal may be calculated using a calculation method.

また、上記第１乃至５実施形態において、ＶＩＳＵＡＬ-ＦＥＥＤＢＡＣＫ部６は、制御信号生成部４からの連続的な制御信号に応じて、制御結果を視覚的にユーザに提示しているが、これに限らず、例えば、音声等を用いて聴覚的、振動等を用いて触覚的、若しくは、これらを任意に組合わせて、制御結果をユーザに提示してもよく、ユーザが知覚できる任意の知覚化方法を用いることができる。さらに、上述した第１乃至第５の実施形態は、適宜組み合わせてもよい。   In the first to fifth embodiments, the visual-feedback unit 6 visually presents the control result to the user according to the continuous control signal from the control signal generation unit 4. Not limited to, for example, auditory using voice or the like, tactile using vibration, or any combination thereof, and the control result may be presented to the user, and any perceptualization that can be perceived by the user The method can be used. Furthermore, the first to fifth embodiments described above may be combined as appropriate.

なお、この出願は、２００８年１０月２９日に出願された日本出願特願２００８−２７８３４８を基礎とする優先権を主張し、その開示の全てをここに取り込む。   This application claims priority based on Japanese Patent Application No. 2008-278348 filed on Oct. 29, 2008, the entire disclosure of which is incorporated herein.

１ 脳波計
１ａ、１ｂ、１ｃ、１ｄ、１ｅ 電極
２ 教師信号生成部
３ 脳信号分離部
４、３４ 制御信号生成部
５ 駆動制御部
６ ＶＩＳＵＡＬ-ＦＥＥＤＢＡＣＫ部
１０、２０、３０、４０、５０ 移動体制御装置
１１ 移動体
２１、４１ 筋電位検出部
２２ 停止判断部
３４ａ 信号生成部
３４ｂ 信号選択部
Ｇ１、Ｇ２、Ｇ３ 電極グループDESCRIPTION OF SYMBOLS 1 Electroencephalograph 1a, 1b, 1c, 1d, 1e Electrode 2 Teacher signal generation part 3 Brain signal separation part 4, 34 Control signal generation part 5 Drive control part 6 VISUAL-FEEDBACK part 10, 20, 30, 40, 50 Mobile body Control device 11 Moving object 21, 41 Myoelectric potential detection unit 22 Stop determination unit 34a Signal generation unit 34b Signal selection unit G1, G2, G3 Electrode group

Claims (14)

ユーザの脳活動情報を検出する脳活動検出手段と、
前記脳活動検出手段により検出された前記脳活動情報から、アーチファクト成分を分離する脳信号分離手段と、
前記脳信号分離手段により前記アーチファクト成分が分離された前記脳活動情報において、脳データを抽出するためのサンプリング区間を、オーバーラップさせつつ所定間隔でスライドさせると共に、該スライドさせた各サンプリング区間内の前記脳データに対する特徴量を夫々算出し、該算出された特徴量に基づいて、制御信号を生成する制御信号生成手段と、
前記制御信号生成手段により生成された前記制御信号に基づいて、ユーザが乗る移動体を駆動制御する駆動制御手段と、
教師信号を生成する教師信号生成手段を備え、
前記脳信号分離手段は、前記教師信号生成手段により生成された前記教師信号を用いて、学習を行い、ユーザに応じた前記アーチファクト成分を分離する、移動体制御装置。Brain activity detection means for detecting user brain activity information;
A brain signal separating means for separating an artifact component from the brain activity information detected by the brain activity detecting means;
In the brain activity information from which the artifact component has been separated by the brain signal separation means, a sampling interval for extracting brain data is slid at a predetermined interval while overlapping, and within each slid sampling interval Control signal generation means for calculating a feature amount for each of the brain data, and generating a control signal based on the calculated feature amount;
Drive control means for driving and controlling a moving body on which a user rides based on the control signal generated by the control signal generation means;
A teacher signal generating means for generating a teacher signal;
The said brain signal isolation | separation means is a moving body control apparatus which learns using the said teacher signal produced | generated by the said teacher signal production | generation means, and isolate | separates the said artifact component according to a user . 請求項１記載の移動体制御装置であって、
教師信号を生成する教師信号生成手段を更に備え、
前記制御信号生成手段は、前記教師信号生成手段により生成された前記教師信号を用いて、前記特徴量と前記制御信号との対応関係を算出し、前記特徴量と、前記算出した対応関係とに基づいて、前記制御信号を生成する、移動体制御装置。The moving body control device according to claim 1 ,
Teacher signal generating means for generating a teacher signal;
The control signal generation means calculates a correspondence relationship between the feature quantity and the control signal using the teacher signal generated by the teacher signal generation means, and sets the feature quantity and the calculated correspondence relation. A mobile control device that generates the control signal based on the control signal. 請求項１又は２記載の移動体制御装置であって、
ユーザの筋電位を検出する筋電位検出手段と、
前記筋電位検出手段により検出された前記筋電位に基づいて、前記移動体を停止させるか否かを判断する停止判断手段と、を更に備え、
前記停止判断手段により前記移動体を停止させると判断されたとき、前記駆動制御手段は、前記移動体を停止させる制御を行う、移動体制御装置。The mobile control device according to claim 1 or 2 ,
Myoelectric potential detecting means for detecting the myoelectric potential of the user;
Stop determination means for determining whether to stop the moving body based on the myoelectric potential detected by the myoelectric potential detection means,
The moving body control device, wherein when the stop determining means determines that the moving body is to be stopped, the drive control means performs control to stop the moving body. 請求項１乃至３のうちいずれか１項記載の移動体制御装置であって、
前記駆動制御手段は、前記制御信号生成手段から同一の前記制御信号を、所定回数以上連続して受信したとき、該制御信号に対応する制御を実行する、移動体制御装置。The mobile body control device according to any one of claims 1 to 3 ,
The drive control unit, when receiving the same control signal from the control signal generation unit continuously a predetermined number of times or more, executes a control corresponding to the control signal. 請求項１乃至４のうちいずれか１項記載の移動体制御装置であって、
前記脳活動検出手段は、ユーザの脳波信号を検出する複数のセンサを有し、
前記制御信号生成手段は、前記複数のセンサにより夫々検出され、前記アーチファクト成分が分離された複数の前記脳波信号において、脳データを抽出するためのサンプリング区間を、オーバーラップさせつつ所定間隔でスライドさせると共に、該スライドさせた各サンプリング区間内の前記脳データに対する特徴量を夫々算出し、該算出された複数の特徴量に基づいて、複数の制御信号を生成する、移動体制御装置。The mobile body control device according to any one of claims 1 to 4 ,
The brain activity detection means has a plurality of sensors for detecting a user's brain wave signal,
The control signal generation means slides at predetermined intervals while overlapping sampling intervals for extracting brain data in the plurality of electroencephalogram signals detected by the plurality of sensors and separated from the artifact components. In addition, a moving body control device that calculates feature quantities for the brain data in each of the slid sampling sections, and generates a plurality of control signals based on the plurality of calculated feature quantities. 請求項１乃至５のうちいずれか１項記載の移動体制御装置であって、
前記制御信号生成手段は、
前記算出された特徴量と、予め設定された前記特徴量と制御信号との対応関係と、に基づいて、前記特徴量に対応する制御信号を連続的に生成する信号生成部と、
前記信号生成部により連続的に生成される制御信号を、連続する所定個数からなる制御信号のグループに分けて、各グループの中から少なくとも１つの制御信号を選択し、前記駆動制御手段に対して出力する信号選択部と、
を有する、移動体制御装置。The mobile body control device according to any one of claims 1 to 5 ,
The control signal generating means
A signal generation unit that continuously generates a control signal corresponding to the feature amount based on the calculated feature amount and a correspondence relationship between the feature amount and the control signal set in advance;
The control signals continuously generated by the signal generation unit are divided into groups of a predetermined number of control signals, and at least one control signal is selected from each group, and the drive control means A signal selector to output;
A moving body control apparatus. 請求項６記載の移動体制御装置であって、
前記信号選択部は、グループ毎に、各グループの中で最も多い種類の制御信号を選択し、前記駆動制御手段に対して出力する、移動体制御装置。The moving body control device according to claim 6 ,
The said signal selection part is a moving body control apparatus which selects the control signal of the most type in each group for every group, and outputs with respect to the said drive control means. 請求項６又は７記載の移動体制御装置であって、
前記信号選択部は、現在の制御信号と連続する過去の制御信号とからなる前記グループを構成する、移動体制御装置。The moving body control device according to claim 6 or 7 ,
The said signal selection part is a moving body control apparatus which comprises the said group which consists of the past control signal which continues the present control signal. 請求項１又は２記載の移動体制御装置であって、
ユーザの筋電位を検出する筋電位検出手段をさらに備え、
前記制御信号生成手段は、
前記筋電位検出手段により検出された前記筋電位に基づいて前記制御信号を生成可能であり、
前記脳活動情報に基づく制御内容と前記筋電位に基づく制御内容とが相違する場合に、前記筋電位に基づく制御内容を示す前記制御信号を前記駆動制御部に供給する、
移動体制御装置。The mobile control device according to claim 1 or 2 ,
A myoelectric potential detecting means for detecting a myoelectric potential of the user;
The control signal generating means
The control signal can be generated based on the myoelectric potential detected by the myoelectric potential detection means,
When the control content based on the brain activity information is different from the control content based on the myoelectric potential, the control signal indicating the control content based on the myoelectric potential is supplied to the drive control unit.
Mobile control device. 請求項１乃至４のうちいずれか１項記載の移動体制御装置であって、
前記制御信号生成手段は、前記特徴量を用いた判定を逐次行い、逐次行った複数の判定結果に対する多数決によって１の制御内容を決定し、
前記多数決により決定された制御内容を示す前記制御信号を前記駆動制御部に供給する、
移動体制御装置。The mobile body control device according to any one of claims 1 to 4 ,
The control signal generation means sequentially performs the determination using the feature amount, and determines one control content by majority vote for a plurality of determination results that are sequentially performed,
Supplying the control signal indicating the control content determined by the majority vote to the drive control unit;
Mobile control device. 請求項１乃至４のうちいずれか１項記載の移動体制御装置であって、
前記脳活動検出手段は、少なくとも３つのセンサグループを含み、
前記少なくとも３つのセンサグループの各々は、ユーザの脳波信号を検出する少なくとも１つのセンサを含み、
前記制御信号生成手段は、各センサグループによって検出される脳活動情報に基づく制御内容が相違する場合に多数決によって１の制御内容を決定し、
前記多数決により決定された制御内容を示す前記制御信号を前記駆動制御部に供給する、
移動体制御装置。The mobile body control device according to any one of claims 1 to 4 ,
The brain activity detecting means includes at least three sensor groups,
Each of the at least three sensor groups includes at least one sensor that detects a user's electroencephalogram signal;
The control signal generating means determines one control content by majority when the control content based on the brain activity information detected by each sensor group is different,
Supplying the control signal indicating the control content determined by the majority vote to the drive control unit;
Mobile control device. 請求項１乃至１１のうちいずれか１項記載の移動体制御装置であって、
前記制御信号生成手段により生成された前記制御信号に基づいて、制御結果をユーザに知覚させる知覚化手段を更に備える、移動体制御装置。It is a moving body control apparatus of any one of Claims 1 thru | or 11 , Comprising:
A mobile control apparatus further comprising perceptualizing means for causing a user to perceive a control result based on the control signal generated by the control signal generating means. 請求項１２記載の移動体制御装置であって、
前記知覚化手段は、前記制御結果を視覚化するＶＩＳＵＡＬ-ＦＥＥＤＢＡＣＫ部である、移動体制御装置。The moving body control device according to claim 12 ,
The perceptualization means is a moving body control device which is a VISUAL-FEEDBACK unit for visualizing the control result. ユーザの脳活動情報を検出する脳活動検出工程と、
教師信号を生成する教師信号生成工程と、
前記教師信号生成工程で生成された前記教師信号を用いて学習を行い、前記脳活動検出工程で検出された前記脳活動情報から、ユーザに応じたアーチファクト成分を分離する脳信号分離工程と、
前記脳信号分離工程で前記アーチファクト成分が分離された前記脳活動情報において、脳データを抽出するためのサンプリング区間を、オーバーラップさせつつ所定間隔でスライドさせると共に、該スライドさせた各サンプリング区間内の前記脳データに対する特徴量を夫々算出する特徴量算出工程と、
前記特徴量算出工程で算出された前記特徴量に基づいて、制御信号を生成する制御信号生成工程と、
前記制御信号生成工程で生成された前記制御信号に基づいて、ユーザが乗る移動体を駆動制御する駆動制御工程と、を含む移動体制御方法。A brain activity detection step for detecting brain activity information of the user;
A teacher signal generation step for generating a teacher signal;
Learning using the teacher signal generated in the teacher signal generation step, brain signal separation step of separating an artifact component according to the user from the brain activity information detected in the brain activity detection step,
In the brain activity information from which the artifact component has been separated in the brain signal separation step, a sampling interval for extracting brain data is slid at a predetermined interval while being overlapped, and within each slid sampling interval A feature amount calculating step for calculating a feature amount for each of the brain data;
A control signal generation step for generating a control signal based on the feature amount calculated in the feature amount calculation step;
And a drive control step of driving and controlling the mobile body on which the user rides based on the control signal generated in the control signal generation step.
JP2010535630A 2008-10-29 2009-09-18 MOBILE BODY CONTROL DEVICE AND MOBILE BODY CONTROL METHOD Expired - Fee Related JP5167368B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010535630A JP5167368B2 (en) 2008-10-29 2009-09-18 MOBILE BODY CONTROL DEVICE AND MOBILE BODY CONTROL METHOD

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008278348 2008-10-29
JP2008278348 2008-10-29
JP2010535630A JP5167368B2 (en) 2008-10-29 2009-09-18 MOBILE BODY CONTROL DEVICE AND MOBILE BODY CONTROL METHOD
PCT/JP2009/004749 WO2010050113A1 (en) 2008-10-29 2009-09-18 Mobile body control device and mobile body control method

Publications (2)

Publication Number Publication Date
JPWO2010050113A1 JPWO2010050113A1 (en) 2012-03-29
JP5167368B2 true JP5167368B2 (en) 2013-03-21

Family

ID=42128487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010535630A Expired - Fee Related JP5167368B2 (en) 2008-10-29 2009-09-18 MOBILE BODY CONTROL DEVICE AND MOBILE BODY CONTROL METHOD

Country Status (4)

Country Link
US (1) US20110152709A1 (en)
JP (1) JP5167368B2 (en)
CN (1) CN102202569B (en)
WO (1) WO2010050113A1 (en)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101031507B1 (en) * 2010-07-28 2011-04-29 (주)아이맥스 A portable measuring instrument of electroencephalograph and control system
JP5711056B2 (en) * 2011-06-21 2015-04-30 アイシン精機株式会社 EEG interface system
US20130138248A1 (en) * 2011-11-30 2013-05-30 Honeywell International Inc. Thought enabled hands-free control of multiple degree-of-freedom systems
CN103150007B (en) * 2011-12-06 2016-03-30 联想(北京)有限公司 A kind of input method and device
CN102880098A (en) * 2012-10-07 2013-01-16 西北农林科技大学 Wheelchair controller based on brain waves
WO2014102722A1 (en) * 2012-12-26 2014-07-03 Sia Technology Ltd. Device, system, and method of controlling electronic devices via thought
JP2014159766A (en) * 2013-02-19 2014-09-04 Denso Corp Movable body control system
CN105188525A (en) * 2013-03-14 2015-12-23 珀西斯特发展公司 Method and system to calculate quantitative EEG
CN103750845B (en) * 2014-01-06 2016-05-04 西安交通大学 A kind of method of automatic removal near infrared spectrum signal movement artefact
CN104665790A (en) * 2015-01-26 2015-06-03 周常安 Ear-mounted physiological detector
CN105534648A (en) * 2016-01-14 2016-05-04 马忠超 Wheelchair control method and control device based on brain waves and head movements
JP6759496B2 (en) * 2016-05-12 2020-09-23 株式会社国際電気通信基礎技術研究所 EEG pattern classification device, EEG pattern classification method, EEG pattern classification program and neurofeedback system
EP3510986A4 (en) * 2016-09-06 2020-07-15 Cyberdyne Inc. Mobility device and mobility system
CN106648080A (en) * 2016-12-06 2017-05-10 青岛海信电器股份有限公司 Equipment control method and device based on brain wave
CN107854127B (en) * 2017-10-30 2021-04-09 苏州大学 Motion state detection method and device
CN108399007B (en) * 2018-02-11 2021-08-24 Oppo广东移动通信有限公司 Brain wave sampling interval adjusting method and related product
CN108399006B (en) * 2018-02-11 2020-06-02 Oppo广东移动通信有限公司 Signal processing method and related product
CN110033772B (en) * 2019-04-28 2021-04-20 中国科学院上海高等研究院 Non-acoustic voice information detection device based on PPG signal

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11198075A (en) * 1998-01-08 1999-07-27 Mitsubishi Electric Corp Behavior support system
JPH11318843A (en) * 1998-05-21 1999-11-24 Univ Kyoto Electroencephalography
JP2001331250A (en) * 2000-03-13 2001-11-30 Hokkaido Technology Licence Office Co Ltd System for controlling individual adaptive biological signal-driven device and method for the same
JP2004152002A (en) * 2002-10-30 2004-05-27 Mitsubishi Electric Corp Control unit using brain wave signal
JP2006192105A (en) * 2005-01-14 2006-07-27 Nippon Koden Corp Biological information display system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3223851B2 (en) * 1997-07-04 2001-10-29 日産自動車株式会社 Mental stress judgment device
LU90582B1 (en) * 2000-05-16 2001-11-19 Europ Economic Community System for identifying brain activity
KR20040047754A (en) * 2001-06-13 2004-06-05 컴퓨메딕스 리미티드 Methods and apparatus for monitoring consciousness
US6587713B1 (en) * 2001-12-14 2003-07-01 Bertha Freeman Brainwave responsive wheelchair
KR100495504B1 (en) * 2002-12-12 2005-06-14 한국전자통신연구원 Control system of vehicle brake using brain waves and control method of vehicle brake
JP2005143896A (en) * 2003-11-17 2005-06-09 Nissan Motor Co Ltd Device for determining psychological state of driver
AU2004290588A1 (en) * 2003-11-18 2005-06-02 Vivometrics, Inc. Method and system for processing data from ambulatory physiological monitoring
JP2006051343A (en) * 2004-07-16 2006-02-23 Semiconductor Energy Lab Co Ltd Biological signal processor, radio memory, processing system for biological signal, and controlling system for controlled apparatus
WO2006121455A1 (en) * 2005-05-10 2006-11-16 The Salk Institute For Biological Studies Dynamic signal processing
JP5150942B2 (en) * 2006-02-03 2013-02-27 株式会社国際電気通信基礎技術研究所 Activity assistance system
CN101259015B (en) * 2007-03-06 2010-05-26 李小俚 Electroencephalogram signal analyzing monitoring method and device thereof
EP2207590A1 (en) * 2007-09-26 2010-07-21 Medtronic, INC. Therapy program selection
CN101138495B (en) * 2007-10-25 2010-11-24 中国科学院昆明动物研究所 Electrostimulation noise elimination instrument

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11198075A (en) * 1998-01-08 1999-07-27 Mitsubishi Electric Corp Behavior support system
JPH11318843A (en) * 1998-05-21 1999-11-24 Univ Kyoto Electroencephalography
JP2001331250A (en) * 2000-03-13 2001-11-30 Hokkaido Technology Licence Office Co Ltd System for controlling individual adaptive biological signal-driven device and method for the same
JP2004152002A (en) * 2002-10-30 2004-05-27 Mitsubishi Electric Corp Control unit using brain wave signal
JP2006192105A (en) * 2005-01-14 2006-07-27 Nippon Koden Corp Biological information display system

Also Published As

Publication number Publication date
JPWO2010050113A1 (en) 2012-03-29
CN102202569B (en) 2014-05-07
CN102202569A (en) 2011-09-28
WO2010050113A1 (en) 2010-05-06
US20110152709A1 (en) 2011-06-23

Similar Documents

Publication Publication Date Title
JP5167368B2 (en) MOBILE BODY CONTROL DEVICE AND MOBILE BODY CONTROL METHOD
JP7103078B2 (en) Work support equipment, work support methods and work support programs
CN109310561B (en) Motion teaching system and motion teaching method
Tomari et al. Development of smart wheelchair system for a user with severe motor impairment
JP4934813B2 (en) INPUT INFORMATION PROCESSING DEVICE, INPUT INFORMATION PROCESSING METHOD, INPUT INFORMATION PROCESSING PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE SAME
KR101307248B1 (en) Apparatus and Method for Decision of Emotional state through analysis of Bio information
KR101724602B1 (en) Apparatus of diagnosing and correcting turtle neck syndrome
WO2020090134A1 (en) Estimator generation device, monitoring device, estimator generation method, estimator generation program
US7520864B2 (en) Muscle stretch sensor
Yathunanthan et al. Controlling a wheelchair by use of EOG signal
Satti et al. Self-paced brain-controlled wheelchair methodology with shared and automated assistive control
Villani et al. A framework for affect-based natural human-robot interaction
JP2009297059A (en) Brain training support apparatus
JP2009101057A (en) Biological information processing apparatus, biological information processing method and program
Kim-Tien et al. Using electrooculogram and electromyogram for powered wheelchair
JP2020035331A (en) Performance measuring device, performance measuring method, and performance measuring program
JP2009285294A (en) Brain training support apparatus
JP2018134724A (en) Operation estimation device and operation auxiliary device
KR102525715B1 (en) Rehabilitation Training Method and System Using Rehabilitation Robot
Choudhari et al. Bio-potentials for smart control applications
JPH10244480A (en) Robot control device
KR101435905B1 (en) Control method and device for electronic equipment using EOG and EMG
POMŠÁR et al. Using surface electromyography for gesture detection
KR102584832B1 (en) Method of training deep learning model to realize motion of avatar in virtual world based on biosignal analysis and mental deep learning model training device performing method
WO2021117536A1 (en) Information processing device, biological data measurement system, information processing method, and program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121221

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5167368

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees