JP2018529171A - 支援技術を制御するためのシステムおよびその方法 - Google Patents

支援技術を制御するためのシステムおよびその方法 Download PDF

Info

Publication number
JP2018529171A
JP2018529171A JP2018514885A JP2018514885A JP2018529171A JP 2018529171 A JP2018529171 A JP 2018529171A JP 2018514885 A JP2018514885 A JP 2018514885A JP 2018514885 A JP2018514885 A JP 2018514885A JP 2018529171 A JP2018529171 A JP 2018529171A
Authority
JP
Japan
Prior art keywords
user
signal
processing unit
detected
electronic communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018514885A
Other languages
English (en)
Other versions
JP6942120B2 (ja
Inventor
パスクヮーレ・フェデーレ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liquidweb Srl
Original Assignee
Liquidweb Srl
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liquidweb Srl filed Critical Liquidweb Srl
Publication of JP2018529171A publication Critical patent/JP2018529171A/ja
Application granted granted Critical
Publication of JP6942120B2 publication Critical patent/JP6942120B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10Parts, details or accessories
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10Parts, details or accessories
    • A61G5/1051Arrangements for steering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • G06F3/0236Character input methods using selection techniques to select from displayed items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/10General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/18General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/10General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/20Displays or monitors

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Power Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

運動障害および/またはコミュニケーション障害を患っている利用者のために、少なくとも1つの補助具(2)とともに提供される、支援技術を制御するためのシステム(1)が説明される。このようなシステム(1)は、電子コミュニケーションインターフェイス(10)と、少なくとも1つの生体センサ(11)と、校正モジュール(12)と、処理ユニット(13)とを備える。電子コミュニケーションインターフェイス(10)は利用者に複数の感覚刺激を供与するように構成されており、各感覚刺激は利用者が選択および/または提供をしようとする可能性がある命令および/または情報に関連する。少なくとも1つの生体センサ(11)は、利用者の少なくとも1つの生体活動を検出し、検出した生体活動を代表する、対応する生体電気信号(SB、SBc、SBr)を生成するように、利用者に適用される。校正モジュール(12)は、初期システム校正ステップにおいて1つ以上の信号特徴CSを記録するように構成されており、初期システム校正ステップにおいて、利用者の生体活動は、命令および/または情報をそれぞれ選択するような利用者の意思の示唆として一般的に思われる自発生体活動であり、信号特徴CSは、少なくとも1つの自発生体活動の発生において検出した生体電気信号SBcに関連する。処理ユニット(13)は、感覚刺激が捉えられるとき、検出した生体電気信号SBrと記録された1以上の信号特徴CSとの比較に基づいて、利用者の自発生体活動、および、利用者が選択しようとする関連の命令および/または情報を識別する。処理ユニット(13)は、利用者の選択意思の識別に基づいて、電子コミュニケーションインターフェイス(10)および補助具(2)に制御信号(SC1、SC2)を提供するようにも構成されている。電子コミュニケーションインターフェイス(10)は、少なくとも1の制御信号SC1が発生する場合、少なくとも1の制御信号SC1の発生に基づいて、感覚刺激を供与し、制御信号SC1が発生していない場合、自動的に特定な一連の感覚刺激を供与するように構成されている。
【選択図】図2

Description

本発明は、一般的に支援技術およびマンマシンの分野に関する。
実際、本発明は、運動障害および/またはコミュニケーション障害を患っている利用者のための支援技術を制御するためのシステムに関し、また、支援技術を制御するための方法に関する。
本発明は特にブレイン・コンピュータ・インターフェース(Brain-Computer-Interface、BCI)型のシステムに関するが、これに限らない。
知られるとおり、世の中には筋萎縮性側策硬化症(Amyotrophic Lateral Sclerosis、ALS)、脊椎損傷、脳虚血などの病症によって起こされる四肢麻痺を患っている患者がたくさんいる。多くの場合、このような病症はコミュニケーションに関連する問題に加えて、運動に関する問題も起こし、その結果、このような患者の生活スタイルが顕著に変化する。
この障害患者に対する援助および支援という面において、一般的に使われる主な支援技術は、音声識別に基づくシステムである「音声制御システム」、瞳孔運動を追跡するシステムである「眼球追跡」、様々な種類の他の機械式装置などに属する。
多くの場合、このような装置は様々な原因で多くの患者に少々または部分的のみに利用され、一番かつ主要な原因は、患者に対して、簡単な手段、かつ、患者の意思に特に対応する確実な手段、によって命令および/または情報を提供することが困難であることである。
新興技術の中に、「ブレイン・コンピュータ・インターフェース(BCI)」技術、すなわち、脳信号との相互作用に基づく「脳とコンピュータとの間」の種類のインターフェイスは、近年に顕著な進歩を示し、それは、電子計算機およびセンサ関連技術の革新によって、脳機能への理解増加のためである。しかしながら、この「BCI」の技術は、多くの場合では上述した問題に影響されると証明された。
全体的に、動作およびコミュニケーション障害を患っている患者を支持するような幅広い利用のための十分に利用可能で信頼性が高い解決策は、現在でも欠如しているかもしれない。
前述したことに照らして、動作およびコミュニケーション障害を患っている利用者によって簡単で確実な手段に介して利用可能、かつ、前述した欠点を少なくとも部分的に克服する支援技術を制御するためのシステムおよび方法を提供するという要望が強烈に感じられる。
本発明の目的は支援技術を制御するためのシステムを提供することであり、当該システムは従来技術の前述した欠点を少なくとも部分的に克服でき、考慮される技術分野において特に感じられる前述した要望を応じることができる。
このような目的は請求項1に係るシステムによって達成される。
このようなシステムの更なる実施形態は請求項2〜24において定義されている。
支援技術を制御するための方法も本発明の目的である。
このような方法は請求項25において定義されている。
この方法の更なる実施形態は請求項26において定義されている。
本発明に係るこのようなシステムの更なる特徴および効果は、添付図面を参照しながら下記の好ましい実施形態の説明に開示されるが、実施形態は非限定的で例示的な形のみで用いられる。
本発明の1つの実施形態に係る制御システムの簡略化された機能図を示す。 車いすに乗っている利用者を支援する場合の制御システムの部品の利用の例示を示す。 対応する実施形態に係る、制御システムの電子コミュニケーションインターフェイスの特定な画面の例示を示す。 対応する実施形態に係る、制御システムの電子コミュニケーションインターフェイスの特定な画面の例示を示す。 対応する実施形態に係る、制御システムの電子コミュニケーションインターフェイスの特定な画面の例示を示す。 対応する実施形態に係る、制御システムの電子コミュニケーションインターフェイスの特定な画面の例示を示す。 本発明のシステムが動作する場合の信号の特定な例示図およびこのような信号の特定な特性を示す。 本発明のシステムが動作する場合の信号の特定な例示図およびこのような信号の特定な特性を示す。 本発明のシステムが動作する場合の信号の特定な例示図およびこのような信号の特定な特性を示す。
注意すべきなのは、添付図面における同様又は類似な部品については同様な参照番号および/または文字を用いて指示されていることである。
第1図および第2図を参照すると、システム1は、運動障害および/またはコミュニケーション障害を患っている利用者のために、少なくとも1つの補助具2とともに提供される、支援技術を制御することについて説明される。
システム1は、電子コミュニケーションインターフェイス10と、少なくとも1つの生体センサ11と、校正モジュール12と、処理ユニット13とを備える。
電子コミュニケーションインターフェイス10は利用者に複数の感覚刺激を供与するように構成されており、各感覚刺激は利用者が選択および/または提供をしようとする可能性がある命令および/または情報(piece of information、情報断片)に関連する。
少なくとも1つの生体センサ11は、利用者の少なくとも1つの生体活動を検出し、検出した生体活動を代表する、対応する生体電気信号(SB、SBc、SBr)を生成するように、利用者に適用される。
校正モジュール12は、初期システム校正ステップにおいて1つ以上の信号特徴CSを記録するように構成されており、初期システム校正ステップにおいて、利用者の生体活動は、命令および/または情報をそれぞれ選択するような利用者の意思の示唆として一般的に思われる自発生体活動であり、信号特徴CSは、少なくとも1つの自発生体活動の発生において検出した生体電気信号SBcに関連する。
処理ユニット13は、感覚刺激が捉えられるとき、検出した生体電気信号SBrと記録された1以上の信号特徴CSとの比較に基づいて、利用者の自発生体活動、および、利用者が選択しようとする関連の命令および/または情報を識別する。
処理ユニット13は、利用者の選択意思の識別に基づいて、電子コミュニケーションインターフェイス10および補助具2に制御信号(SC1、SC2)を提供するようにも構成されている。
このような制御信号は、利用者の意思に基づいた発生を管理するように適用される、感覚刺激の発生を制御するための少なくとも1つの信号SC1を備える。このような制御信号は、利用者に供与される、利用者に選択される、および処理ユニット13に識別される命令および/または情報に基づいて、補助具に対する少なくとも1つの命令信号SC2をさらに備える。
電子コミュニケーションインターフェイス10は、少なくとも1の制御信号SC1が発生する場合、少なくとも1の制御信号SC1の発生に基づいて、感覚刺激を供与し、制御信号SC1が発生していない場合、自動的に特定な一連の感覚刺激を供与するように構成されている。
注意すべきなのは、本開示に関係する支援技術が、例えば、「拡張代替コミュニケーション(augmentative alternative communication)」と、ドモティクス(domotics)装置の制御と、電気車いすの制御とを備えることである。ここで関係する補助具は、例えば、障害者のための電気車いす、様々な種類のドモティクス装置、ロボットなどである。
注意すべきなのは、生体センサによって生成される各前述した生体電気信号(SB、SBc、SBr)は、アナログまたはデジタルの形式の電子(electric、electronic)信号であってもよく、生体電気信号がアナログ形式である場合、処理前、デジタル形式へ転換されてもよく、これらの形式は周知であることである。
また、注意すべきなのは、各前述した制御信号(SC1、SC2)は、アナログまたはデジタルの形式の電気信号であってもよく、または、周知の種類である電子パケット転送の本文(context)における命令メッセージであってもよいことである。
1つの実施形態(例えば、図2に示されている実施形態)に基づくと、少なくとも1つの生体センサ11は、少なくとも1つの脳電気信号SBを検出するように利用者に適用される複数の脳電気信号センサ11を備える。さらに、前述した少なくとも1つの自発生体活動は、利用者に想像される少なくとも1つの対応する運動を含む。
このような場合において、処理ユニット13は、感覚刺激が捉えられるとき、検出した脳電気信号SBrと校正時に記録された脳電気信号SBcの1つ以上の特徴CSとの比較に基づいて、利用者に想像される運動、および、利用者が選択しようとする関連の命令および/または情報を識別するように構成されている。
1つの実行オプションに基づくと、生体電気信号センサ11は、利用者の頭部に適用される脳波のセンサ(electroencephalographic sensor)EEGを備える。
したがって、このような場合において、EEGセンサによって、本発明のシステムは脳電気信号の識別を提供し、その脳電気信号は、例えば、想像される運動の動作(前へ、後ろへ、上へ、下へ、右へ、左へ)に関連付けられている。
もう1つの実施形態に基づくと、少なくとも1つの生体センサ11は、利用者の身体の1つ以上の部位の運動を検出するように部位に適用される少なくとも1つの利用者運動センサ11を備え、前述した少なくとも1つの自発生体活動は、利用者の身体の部位によって行われる少なくとも1つの対応する運動を含み、当該部位に対して少なくとも1つの生体センサ11が適用されている。
1つの実行オプションに基づくと、前述した少なくとも1つの運動センサ11は、指の運動を検出するように指に適用可能な加速度計を備え、または、腕、脚もしくは利用者の身体の他の部位に適用可能な複数の加速度計を備える。
他の実行オプションに基づくと、運動センサ11は、筋肉の収縮運動を識別するように適用される筋電(electromyographic)センサを備え、または、例えば利用者の瞼の運動を検出するための赤外線運動センサを備える。
もう1つの実施形態に基づくと、少なくとも1つの生体センサは、利用者の眼球の運動を検出するおよび/または追跡するように適用される少なくとも1つの眼球運動センサを備え、前述した少なくとも1つの自発生体活動は、利用者による少なくとも1つの対応する眼球運動を含む。
1つの実行オプションに基づくと、眼球運動は周知の「注視追跡(gaze tracking)」センサによって検出され、注視追跡センサは、初期基準位置から画面の四辺に向かう利用者の目の瞳孔運動を検出することができる。
他の可能な実施形態に基づくと、生体センサ11は、他の技術によって製造可能な他の生体センサであってもよい。
注意すべきなのは、様々な応用例において、(生体センサによって検出される、)利用者に想像されるまたは実行される運動は、補助具のそれぞれに対応する動作を制御する利用者の意思の代表、または、電子表示画面においてポインタ(pointer)のそれぞれに対応する動作を制御する利用者の意思の代表(後者の場合において、前へ/後ろへの動作は、例えば、選択/選択解除をする意思に関連付けられてもよい)と思われてもよいことである。同様に本発明に含まれる他の例において、システムによって検出するまたは識別することができる、想像されるまたは実行される各動作は、いかなる種類の命令および/または情報にも一般的に関連してもよく、物理的な運動と異なってもよい。
電子コミュニケーションインターフェイス10によって利用者に供与する前述の「感覚刺激」に関して、注意すべきなのは、様々で可能な実施形態に基づくと、このような感覚刺激は、視覚的に表示される画像および/または記号アイコン(symbolic icon)21、22、23、24、25、および/または、音声、および/または、触覚刺激を備えることである。
特に、目が見える利用者のための応用において、視覚的な刺激(画像または記号アイコン、さらに一般的にいうと、電子表示画面におけるグラフィカル・ユーザ・インタフェース)が感覚刺激として好ましく利用される。
さらに、特別な実行オプションにおいて、目が見える利用者に対しても、電子コミュニケーションインターフェイスによって、追加の可聴的または触覚的な反応(またはフィードバック)信号は提供されてもよく、この信号は処理ユニットまた補助具から来る。
視覚障害の利用者のための応用において、非視覚的な刺激(例えば、可聴的または触覚的な刺激)が感覚刺激として利用される。
1つの実行例に基づくと、電子コミュニケーションインターフェイスは、図形、音声、および、例えば特定な機械式アクチュエータから受ける触覚のフィードバックの組み合わせによって、利用者に適したフィードバックを提供する。
システムの1つの実施形態にしたがって、電子コミュニケーションインターフェイス10は、感覚刺激のスキャン(例えば、一連の画像または記号アイコン)を利用者に順番に供与するように構成されているスキャンコミュニケーションインターフェイス10を備える。
1つの実行オプション(例えば、図3Aに示されている実施オプション)に基づくと、電子コミュニケーションインターフェイス10は、電子表示画面20を備え、電子ウィンドウインターフェイス21を制御するためのアイコンをこのような電子表示画面20に供与するように構成されており、アイコンが選択される場合、電子ウィンドウインターフェイス21は更なるアイコン画面またはウィンドウを提示可能である。
このような場合において、利用者によって選択可能な命令および/または情報は、例えば、電子表示画面20においてポインタ22の移動を起こすように適用されるポインタ移動命令と、ポインタ22が位置している(またはポインタ22が提示されている)アイコンおよび/または命令および/またはボックスおよび/または画面区域を選択/選択解除する選択/選択解除命令と、を含む。
1つの実行オプションにおいて、電子コミュニケーションインターフェイスがウィンドウおよびポインタ22を有する電子インターフェイス10を電子表示画面に供与するとき、自発生体活動は利用者に想像されるまたは実行される可能性がある運動を含んでもよく、当該運動のそれぞれは、ポインタを右へ動かす、ポインタを左へ動かす、ポインタを上へ動かす、ポインタを下へ動かす、ポインタ22が位置しているアイコンおよび/または命令および/または画面区域を選択/選択解除するという命令と1対1で対応する。
他の実行オプション(例えば、図3Bに示されている実施オプション)に基づくと、電子コミュニケーションインターフェイス10は、所望移動方向(例えば、図3Bにおいてアイコン上に示された矢印は「左へ」、「前へ」、「後ろへ」、「右へ」をそれぞれ指示してもよい)を代表する一連の記号アイコン(23)を電子表示画面に示すように構成されており、システム1は、電子車いす2を備える補助具(2)と相互作用可能である。
このような場合において、処理ユニット13は、利用者に選択される移動記号アイコン(23)に基づいて、電子車いす2の移動を制御するように構成されている。
1つの実施の代替例において、同様に、システム1が電子車いす2と相互作用可能である場合、電子コミュニケーションインターフェイス10は利用者に所望目的地を選択させるように構成されており、処理ユニット13は、利用者による目的地選択に基づいて、電子車いす2の移動を所望目的地まで制御するように構成されている。
さらなる実現オプションに基づくと、電子コミュニケーションインターフェイス10は、仮想キーパットを電子表示画面20に示すように構成されており、処理ユニットは、テキストを有する電子メッセージを用意するように構成されており、テキストは、利用者に仮想キーパットのボタンまたはアイコンまたはセルを選択されることによって構成される。
1つの実行オプション(例えば、図3Cに示されている実施オプション)において、前述した仮想キーパット24は一連のアイコン(240)を備え、各アイコン240が英数字の1つまたは1グループを代表し、電子コミュニケーションインターフェイスに連続に供与される。図3Cの例示において、様々なアイコンまたはボックス240(各アイコンまたはボックス240が1グループの文字を含む)は順番にハイライトされるまたは明るくされる。利用者が様々なアイコンまたはボックス240から1つを選択すると、前述した文字のグループにある様々な文字を有する一連のボックスが順番に利用者に示されてもよく、よって、利用者は、所望の文字を選択し、メッセージウィンドウ(241)においてテキストまたはメッセージを徐々に作成してもよい。
他の実行オプションにおいて、仮想キーパット24は1つ以上の表を備え、1つ以上の表はセルの行と列とを備え、セルは行列スキャン(row-column scan)によって選択されることができ、各セルが、1つの英数字、1グループの英数字、ワード、文、または、同様な種類の更なる表への参照を含む。
他の実行オプションにおいて、4つのセルから構成された表の各セルは英数字のグループを含み、処理ユニット13は、所望英数字によって選択される最初の英数字に基づいて1つ以上のワードの完成を予測するように適用される予測アルゴリズムを実行し、可能な選択肢の確定のために、(例えば、命令および/または情報にも一241において)予測から得る1つ以上のワードを利用者に供与するように構成されている。この目的のために、様々な周知のプロセスは入力中の内容の完成を予測するに利用されてもよい。
更なる実施形態に基づくと、システム1は、カメラを有するロボットを備える補助具2と相互作用可能であり、ロボットは利用者によって制御可能である。
このような場合において、電子コミュニケーションインターフェイス10は、ロボットのカメラによって撮られる画像を電子表示画面に供与し、ロボットの一連の命令アイコンをさらに示すように構成されており、処理ユニット13は、利用者によって選択される命令アイコンに基づいてロボットを制御するように構成されている。
1つの実行オプションに基づくと、ロボットは、処理ユニット13に制御可能で遠隔通信機として動作する音声合成装置を備え、利用者の顔の画像を供与するように構成されている人間型ロボットである。電子コミュニケーションインターフェイス10は、遠距離通信のためのテキストを用意するために、仮想キーパットを電子表示画面に示すように構成されている。処理ユニット13は、利用者によって用意されるテキストに基づいて音声合成装置を制御するように構成されている。
他の実行オプションに基づくと、システム1は、1つ以上のドモティクス装置および/または1つ以上の電子コミュニケーションツールを備える補助具2と相互作用可能である。
このような場合において、電子コミュニケーションインターフェイス10は、1つ以上のドモティクス装置および/または1つ以上の電子コミュニケーションツールの一連の選択肢および/または(例えば、図3Dに示された)制御アイコン25を電子表示画面20に供与するように構成されている。処理ユニット13は、利用者によって選択される選択肢および/または制御アイコンに基づいて、前述した1つ以上のドモティクス装置および/または1つ以上の電子コミュニケーションツールを選択するおよび/または制御するように構成されている。
例示された方法によって、図3Dにおけるアイコンは、左側から右側へ、上側から下側への順では、「コミュニケーションツール」、「メッセージツール」、「ソーシャル媒体」、「ドモティクス装置」、「ロボット」、「車いす」、「音楽」および「映像」という命令アイコンをそれぞれ表示する。
更なる実行例において、システム1は、拡張代替コミュニケーションソフトウェアまたは外骨格を備える補助具と相互作用可能である。
図4A〜4Cを参照すると、上に示したように、脳電気信号または他の種類の電気信号に関わらず、他の生体活動の検出から生成される生体電気信号BSは現に詳細に検討されている。本開示および添付図面において、校正中に検出した生体電気信号SBは「SBc」で指示され、システム1の利用者の通常使用中に検出した生体電気信号SBは「SBr」で指示される。
検出した生体電気信号SBは、利用者の自発生体活動を代表する信号特徴(すなわち、信号の「パターン」)を識別し、よって、その内容と関連する命令および/または意思を識別するように、処理ユニット13によって処理される。例えば、校正中に記録された対応特徴に関して検出した電気信号の特性を評価することによって、識別が行われる。
1つの実行オプションに基づくと、前述した1つ以上の信号特徴は、校正時に検出される生体電気信号SBcの時間進展(time evolution)V(t)を備え、利用者が、選択を可能とすると一般的に定義されている自発生体活動を実行する。
1つの実施形態に基づくと、前述した1つ以上の信号特徴は1つ以上の閾値(S1、S2、S3)を備え、1つ以上の閾値(S1、S2、S3)は校正時に検出される生体電気信号SBcの1つ以上の閾値にそれぞれ対応している。
このような場合において、システム1は、初期システム校正ステップにおいて識別される前述した1つ以上の生体電気信号閾値(S1、S2、S3)を定義し記憶するようにさらに構成されている。処理ユニット13は、利用者の選択意思の発生を識別するまたは識別しないために、検出した生体電気信号SBrとこのような1つ以上の閾値(S1、S2、S3)とを比較するように構成されている。
特別な実行オプション(例示のために図4Cの下側の部分の図形に示された実行オプション)において、単一の閾値S3が記憶され、処理ユニット13は、検出した生体電気信号SBrが所定選択時間間隔(time interval)Tsに渡って当該閾値S3を超えるとき、利用者の選択意思の発生を識別するように構成されている。
本発明に備えられる他の実行例において、各検出した生体電気信号の他の特性は、時間領域におけるものまたは周波数領域におけるものに関わらず、識別されてもよく、評価されてもよい。
注意すべきなのは、複数の様々な処理戦略および識別戦略は前述した教示に基づいて発展されてもよく、これらは本発明に含まれることである。このような戦略は様々な自由度に基づく。1つ以上の生体電気信号を検出し、各検出した生体電気信号に対する1つ以上の信号特徴を評価して校正において保存された1つ以上の特性と比較し、各自発生体活動に対して1つ以上の強度範囲を生じる1つ以上の強度閾値と比較し、よって、各自発生体活動(信号の強度および持続に基づいて)は1つ以上の命令および/または情報と対応することができる。
図4Aおよび4Bはそれぞれ、校正中の生体電気信号SBcおよび閾値の定義、ならびに、利用者に適用されるシステムの通常利用中に検出され、校正中に定義された閾値に基づいて解釈される生体電気信号SBrを表示する。
このような図4Aおよび4Bはシステム1の実行オプションを示し、システム1において、複数の信号間隔(表示された例示において、「A」、「B」、「C」)を定義するように適用される複数の閾値が記憶される(例えば、2つの閾値S1およびS2)。処理ユニット13は、利用者による複数の選択命令を識別するように構成されている。所定選択時間間隔Tsに対して対応する信号範囲において検出した生体電気信号SBrの持続に基づいて、各命令(「A」、「B」、「C」)は、前述した複数のうちの対応する信号間隔(「A」、「B」、「C」)と関係する。
図4Cは、特定な生体電気信号(および対応する信号の「パターン」)において動作可能な更なる実行オプションを示す。このような実行オプションに基づくと、校正モジュール12は複数の生体電気信号SBc1、SBcnのそれぞれに関連する1つ以上の信号特徴CS1、CSnを記録するように構成されており、複数の生体電気信号SBc1、SBcnは、それぞれ、利用者に実行される複数の自発生体行動の各自発生体活動に対応し、当該複数の自発生体行動は、利用者が選択しようとする複数の対応する命令および/または情報の代表として一般的に思われるものである。
処理ユニット13は、検出した生体電気信号SBrと記録された1以上の信号特徴CS1、CSnとの比較に基づいて、利用者が実行可能な複数の自発生体活動の間に、自発生体活動を識別するように構成されている。
処理ユニット13は、複数の命令および/または情報の間から、各命令および/または情報を選択する利用者の関連意思を識別するようにさらに構成されている。
スキャン電子コミュニケーションインターフェイスの命令に関係する1つの実行例に基づくと、スキャンインターフェイス10は、検出した生体電気信号SBrが閾値よりも低いものの、増加傾向があるとき、スキャン速度を減速し、検出した生体電気信号SBrが閾値を超えるとき、スキャンを停止し、検出した生体電気信号SBrが選択時間間隔Tsと同様な時間または選択時間間隔Tsより長い時間に渡って依然として閾値を超える場合、スキャンが停止されるところにおいて、情報の選択を確定するように構成されている。
他の実行例に基づくと、処理ユニット13は、閾値よりも低い、生体電気信号が検出されるとき、スキャンの進行の減速によって与えられる図形フィードバック、および/または、設定された音声による音声フィードバック、および/または、利用者の皮膚の表面にある機械式アクチュエータの運動によって提供される触覚フィードバックを利用者にさらに提供する、または、閾値より高い生体電気信号が検出されるとき、選択される部分におけるスキャンインターフェイス進行の停止および同様な部分における「進捗バー」の動作によって与えられる図形フィードバック、および/または、特定の音調を有する音声によって提供される音声フィードバック、および/または、利用者の皮膚の表面にあるアクチュエータの連続運動によって提供される触覚フィードバックを、利用者にさらに提供するように構成されている。
1つの実現オプションにおいて、1つ以上の閾値S1、S2、S3および選択時間間隔Tsは個人向けに設定可能である。
システム1の様々な実施形態に基づくと、処理ユニット13は、1つ以上のパラメー
タに基づいて利用者の意思を代表する信号パターンの識別を実行するように構成されている。この1つ以上のパラメータは、スキャンインターフェイスが動作するスキャン速度(スキャンインターフェイスが関与されているとき)、1つ以上の閾値の各数値、選択時間間隔Ts(繰り返しの不随意活動(involuntary actions)に起因する誤検出(false positives)を回避するために、利用者に対して与えられた選択閾値を超えた動作を維持するように要求される時間として定義されている)、短時間かつ無意識的に複数の閾値の間における可能な変化をフィルタ処理して無視するためのパラメータとして定義されている誤選択解除時間間隔、または、システムが生体信号を分析し始める前の、利用者が動作を実行しないまたは想像しない緩和時間間隔(誤検出を回避するために、例えばスキャンが始まって選択が終わった時に利用される)である。
前述した特性の利点によれば、これらの特性は校正モジュール12による校正ステップの中でも、処理ユニット13による識別ステップの中でも一貫して考慮され、特定なパラメータは、利用者の精神物理学的な特性およびセンサの種類に対して、システムの動作パターンを適用するように個人向けにされることができる。実際に、前述した全てのパラメータは設定可能であるため、システムオペレータによって管理されることができ、個人向けに校正されることができる。
1つの実施形態に基づいて、システム1は、前述した校正モジュール12および処理ユニット13の機能を実行し、電子コミュニケーションインターフェイス10を制御するように構成されている少なくとも1つのマイクロプロセッサ装置15を備える。
(図2に示された)マイクロプロセッサ装置15は、例えば、その中に保存された、適したソフトウェア識別モジュールに基づいて動作してもよく、ソフトウェア識別モジュールは、例えば一連の簡単な動作または動作の組み合わせと一致した特定な代表パターンを識別することができ、パターンを電子コミュニケーションインターフェイス10および/または補助具に対する特定な命令(CS1、CS2)と関連付けることができる。このパターンは、脳電気信号の解釈に関する間違いの数を顕著に低減するために定義されている。
さらに、校正機能を実行するために、マイクロプロセッサ装置15は、例えば、その中に保存された、適した校正ソフトウェアモジュールに基づいて動作してもよく、校正ソフトウェアモジュールは、利用者の精神物理特性およびセンサの種類に基づいてパターンを校正することができる。
1つの実行オプションに基づくと、利用者の単一動作と思われて獲得した生体電気信号(例えば、脳信号)は、適した閾値の設定によって量子化される。
既に前述したように、実行可能なオン/オフ動作で動く種類のスイッチによって、単一の閾値を単純に利用することが可能である。他の複雑な実行例において、複数の閾値が設定されてもよく、複数の閾値は複数の範囲を定義するように適用され、各当該範囲は異なる命令または制御動作と関連している。
以下、本発明の特性のさらに詳細な説明を提供するように、生体信号が脳電気信号である場合と関連するが本発明の範囲を制限しない形で、複数の特定な例示が提供される。
1つの例示において、電子コミュニケーションインターフェイス10は、3つの閾値レベルを利用して、前へ押すという想像される運動の単一動作によって制御される。ここで、システム1は電子コミュニケーションインターフェイス10の異なる部品の選択肢を信号変化によって提案する。例えば、第1閾値が超えられるときに「通信機(コミュニケーション機)」部品を提案し、第2閾値が超えられるときに「ドモティクス」部品を提案し、第3閾値が超えられるときに「車いす制御」を提案する。選択肢は、与えられた時間の間隔(すなわち、前に定義された「選択時間」Ts)に対する所望閾値において、動作と対応する信号を維持することによって確定される。
他の例示において、電子コミュニケーションインターフェイス10は、単一の閾値を利用する単一の動作によって制御される。システムは、例えば信号の最大目盛値(end scale value)の30%と等しい単一の閾値を用いて、前へ押すという想像される運動の単一の動作に関する信号を考慮するように構成されている。このインターフェイスはスキャン式のインターフェイスであり、すなわち、異なる部品(例えば、「通信機」、「ドモティクス」、「車いす制御」)の選択肢を代替的に提案する。利用者が選択した動作を想像して関連する脳信号が閾値より低く維持するとき、スキャンが信号の増加と比例的に減速する。脳信号が閾値を超える場合、スキャンが止まり、所定時間間隔(「選択時間」Ts)が経つと選択が確定される。想像される動作が選択時間Tsより短い時間で持続する場合、スキャンを再開する。
更なる例示において、システムを利用するとき(見かけ上の昏睡(apparent coma)、完全麻痺に起因するALSなどが考えられる)、視覚障害および/または聴覚障害の利用者を自身に順応させるように電子コミュニケーションインターフェイス10は利用者に複数のフィードバック信号を提供し、すなわち、音声フィードバックと触覚フィードバックとを、および、図形フィードバックを提供する。例えば、単一の閾値を用いて、スキャンインターフェイスが単一の動作(例えば、「前へ押す」)によって制御される場合が考えられる。仮にインターフェイスが、選択可能な部品の数と対応して3つの列に配置された9つのセルから構成される場合、まずスキャンを垂直方向に行い、その度に3つの列のうちの1つの選択肢を提案し、そして、列が一旦選択されると、スキャンを水平方向に行い、その度に3つのセルのうちの1つの選択肢を提案する。
スキャンが行われる時点から、選択肢が提案されるとき第1フィードバックは与えられ、この第1フィードバックは、特定な色彩を用いるハイライト、および/または、列/行の位置変化によって異なる音声、および/または、(特定な機械式アクチュエータ)皮膚の異なる位置における触覚フィードバックによって与えられる。
利用者の前へ押すという動作が行われるとき、2つの更なるフィードバック信号のグループが生成される。閾値より低い押しに対応するフィードバック信号の第1グループは、スキャン進行の減速によって与えられる図形フィードバックと、設定された音声による音声フィードバックと、利用者の皮膚の表面にある機械式アクチュエータの運動によって与えられる触覚フィードバックと、を含んでもよい。閾値より高い押しに対応するフィードバック信号の第2グループは、選択される部分におけるスキャン進行の停止および当該選択される部分における「進捗バー」の動作によって与えられる図形フィードバックと、第1グループと異なる音調を有する音声によって与えられる音声フィードバックと、利用者の皮膚の表面にあるアクチュエータの連続運動によって与えられる触覚フィードバックとを備えてもよい。
以下、運動障害および/またはコミュニケーション障害を患っている利用者のために、少なくとも1つの補助具とともに提供される、支援技術を制御するための方法について説明する。
まず、方法は、校正モジュール12によって、初期システム校正ステップにおいて、利用者の少なくとも1つの自発生体活動の発生において検出した生体電気信号SBcに対応する1つ以上の信号特徴CSを記録し、対応する1つ以上の信号特徴CSが、命令および/または情報を選択するような利用者の意思の示唆として一般的に思われるステップを提供する。
そして、方法は、電子コミュニケーションインターフェイス10によって、複数の感覚刺激を利用者に供与し、各感覚刺激は利用者が選択および/または提供をしようとする可能性がある命令および/または情報に関連するステップと、そして、少なくとも1つの生体センサ11によって、感覚刺激の発生に渡って、利用者の少なくとも1つの生体活動を検出し、検出した生体活動を代表する、対応する生体電気信号SBcを生成するステップと、そして、処理ユニット13によって、検出した生体電気信号SBrと校正モジュールに記録された1つ以上の信号特徴CSとを比較するステップと、処理ユニット13によって、このような比較に基づいて、利用者に実行される生体活動、および、利用者の関連する選択意思を識別するステップと、を提供する。
最後に、方法は、処理ユニット13によって、利用者の選択意思の識別に基づいて、電子コミュニケーションインターフェイス10および補助具2に対して制御信号SC1、SC2を提供するステップを備える。
前述した制御信号SC1、SC2は、利用者の意思に基づく代表を管理するように適用される、少なくとも1つの感覚刺激代表制御信号SC1、および、利用者に供与される、利用者に選択される、および処理ユニット13に識別される命令および/または情報に基づいて、補助具に対する少なくとも1つの命令信号SC2、を備える。
前述した供与ステップは、少なくとも1つの制御信号SC1が発生する場合、少なくとも1の制御信号SC1の発生に基づいて感覚刺激を供与して、制御信号SC1が発生していない場合、自動的に特定な一連の感覚刺激を供与するステップを備える。
方法の特別な実施形態に基づくと、前述した検出ステップは、脳電気信号に関連する1つ以上の信号特徴CSを記録するステップを備え、脳電気信号は、利用者に想像される運動に対応し、命令および/または情報を選択するような利用者の意思の示唆として一般的に思われるものである。
前述した検出ステップは、複数の脳電気信号センサ11によって、感覚刺激の発生に渡って、利用者の脳電気信号SBrを検出するステップを備える。
前述した比較ステップは、処理ユニット13によって、検出した脳電気信号SBrと校正モジュール12に記録された1つ以上の信号特徴CSとを比較するステップを備える。
前述した識別ステップは、処理ユニット13によって、比較に基づいて、利用者に想像される運動、および、利用者の関連する選択意思を識別するステップを備える。
方法の1つの実行オプションに基づくと、供与ステップステップは、利用者に感覚刺激のスキャンを順番に供与するステップを備える。
方法の様々な実行オプションに基づくと、方法は、前に説明したシステムの実施形態のいずれか1つに係るシステム1によって実行される。
注意されうるように、本発明の目的は、システムの機能的な特性および構造的な特性に照らして、システムによって完全に達成される。
実際に、前に説明したシステムは、大量の患者が、簡単な方法かつ患者が実行できる生体活動によって、自身の意思を表示するように命令および/または情報を提供することを可能とする。
システムとの相互作用はコミュニケーションインターフェイスの特性によって促進される。特に、システムは、利用者/患者が電子コミュニケーションインターフェイスと補助具とをともに制御することも可能とするため、システムは有利に操作しやすい。
さらに、システムの様々な実施形態は、様々な障害または病気を患っている利用者/患者によるシステム自体の利用を可能とし、よって、応用の幅が拡大され、各利用者が自身の条件に最も適した実施形態を選択することができる。
患者の命令の解釈の信頼性および患者の意思との通信は、システムにおいて提供される、前に説明した処理特性のため改善される。
最後、システムは様々な補助具と併せて利用されてもよいため、顕著な汎用性を提供する。
同様な利点は前述したシステムによって実行される方法に関しても見つかる。
特許請求の範囲から逸脱せずに、当業者は前に説明したシステムおよび方法についていくつの変更および翻案をしてもよく、構成要素を流動的需要に満足するために機能的に均等なものに入れ替えてもよい。可能な実施形態に属している、前に説明した特性の全ては、説明した他の実施形態と関わらず実行されてもよい。

Claims (26)

  1. 運動障害および/またはコミュニケーション障害を患っている利用者のために、少なくとも1つの補助具(2)とともに提供される、支援技術を制御するためのシステム(1)であって、
    前記利用者に複数の感覚刺激を供与するように構成されており、各前記感覚刺激は前記利用者が選択および/または提供をしようとする可能性がある命令および/または情報に関連する電子コミュニケーションインターフェイス(10)と、
    前記利用者の少なくとも1つの生体活動を検出し、検出した前記生体活動を代表する、対応する生体電気信号(SB、SBc、SBr)を生成するように、前記利用者に適用される少なくとも1つの生体センサ(11)と、
    初期システム校正ステップにおいて1つ以上の信号特徴(CS)を記録するように構成されており、前記初期システム校正ステップにおいて、前記利用者の生体活動は、命令および/または情報をそれぞれ選択するような前記利用者の意思の示唆として一般的に思われる自発生体活動であり、前記信号特徴(CS)は、前記少なくとも1つの自発生体活動の発生において検出した前記生体電気信号(SBc)に関連する校正モジュール(12)と、
    感覚刺激が捉えられるとき、検出した前記生体電気信号(SBr)と記録された前記1以上の信号特徴(CS)との比較に基づいて、前記利用者の前記自発生体活動、および、前記利用者が選択しようとする関連の前記命令および/または情報を識別する処理ユニット(13)と、を備え、
    前記処理ユニットは、前記利用者の選択意思の識別に基づいて、前記電子コミュニケーションインターフェイス(10)および前記補助具(2)に対して制御信号(SC1、SC2)を提供するようにさらに構成されており、
    前記制御信号(SC1、SC2)は、
    前記利用者の意思に基づいた前記発生を管理する、感覚刺激の発生を制御するための少なくとも1つの信号(SC1)と、
    前記利用者に供与される、前記利用者に選択される、および前記処理ユニット(13)に識別される命令および/または情報に基づいて、補助具(2)に対する少なくとも1つの命令信号(SC2)と、を備え、
    前記電子コミュニケーションインターフェイス(10)は、前記少なくとも1の制御信号(SC1)が発生する場合、前記少なくとも1の制御信号(SC1)の発生に基づいて、前記感覚刺激を供与し、前記制御信号(SC1)が発生していない場合、自動的に特定な一連の感覚刺激を供与するように構成されている、システム(1)。
  2. 前記少なくとも1つの生体センサ(11)は、少なくとも1つの脳電気信号(SB)を検出するように前記利用者に適用される複数の脳電気信号センサ(11)を備え、
    前記少なくとも1つの自発生体活動は、前記利用者に想像される少なくとも1つの対応する運動を含み、
    前記処理ユニット(13)は、感覚刺激が捉えられるとき、検出した前記脳電気信号(SBr)と校正時に記録された前記脳電気信号(SBc)の1つ以上の特徴(CS)との比較に基づいて、前記利用者に想像される前記運動、および、前記利用者が選択しようとする関連の命令および/または情報を識別するように構成されている、請求項1に記載のシステム(1)。
  3. 前記少なくとも1つの生体センサ(11)は、前記利用者の身体の1つ以上の部位の運動を検出するように前記部位に適用される少なくとも1つの利用者運動センサ(11)を備え、
    前記少なくとも1つの自発生体活動は、前記利用者の身体の前記部位によって行われる少なくとも1つの対応する運動を含み、当該部位に対して少なくとも1つの生体センサ(11)が適用されている、請求項1に記載のシステム(1)。
  4. 前記少なくとも1つの生体センサ(11)は、少なくとも1つの赤外線センサ、少なくとも1つの筋電センサ、または、少なくとも1つの加速度計を備える、請求項3に記載のシステム(1)。
  5. 前記少なくとも1つの生体センサ(11)は、前記利用者の眼球の運動を検出するおよび/または追跡するように適用される少なくとも1つの眼球運動センサを備え、
    前記少なくとも1つの自発生体活動は、前記利用者による少なくとも1つの対応する眼球運動を含む、請求項1に記載のシステム(1)。
  6. 前記感覚刺激は、視覚的に表示される画像および/または記号アイコン(21、22、23、24、25)、および/または、音声、および/または、触覚刺激を備える、請求項1〜5のいずれか1項に記載のシステム(1)。
  7. 前記電子コミュニケーションインターフェイス(10)は、連続的な感覚刺激のスキャンを前記利用者に供与するように構成されているスキャンコミュニケーションインターフェイス(10)を備える、請求項1〜6のいずれか1項に記載のシステム(1)。
  8. 前記電子コミュニケーションインターフェイス(10)は、電子表示画面(20)を備え、電子ウィンドウインターフェイス(21)の命令アイコンを前記電子表示画面(20)に供与するように構成されており、前記命令アイコンが選択される場合、前記電子ウィンドウインターフェイス(21)は更なるアイコン画面を提示可能であり、
    前記利用者によって選択可能な前記命令および/または情報は、
    前記電子表示画面(20)においてポインタ(22)の移動を起こすように適用されるポインタ移動命令と、
    前記ポインタが位置しているアイコンおよび/または命令および/またはボックスおよび/または画面区域を選択/選択解除する選択/選択解除命令と、を含む、請求項1〜7のいずれか1項に記載のシステム(1)。
  9. 前記電子コミュニケーションインターフェイス(10)は、所望移動方向(23)を代表する一連の記号アイコンを電子表示画面(20)に示すように構成されており、
    前記システム(1)は、電子車いすを備える補助具(2)と相互作用可能であり、
    前記処理ユニット(13)は、前記利用者に選択される前記移動記号アイコン(23)に基づいて、前記電子車いすの移動を制御するように構成されている、請求項1〜8のいずれか1項に記載のシステム(1)。
  10. 前記電子コミュニケーションインターフェイス(10)は、前記利用者に所望目的地を選択させるように構成されており、
    前記システム(1)は、電子車いすを備える補助具(2)と相互作用可能であり、
    前記処理ユニット(13)は、前記利用者による前記目的地選択に基づいて、前記電子車いすの移動を前記所望目的地まで制御するように構成されている、請求項1〜9のいずれか1項に記載のシステム(1)。
  11. 前記電子コミュニケーションインターフェイス(10)は、仮想キーパットを電子表示画面(20)に示すように構成されており、前記処理ユニットは、テキストを有する電子メッセージを用意するように構成されており、前記テキストは、前記利用者に前記仮想キーパットのボタンまたはアイコンまたはセルを選択されることによって構成される、請求項1〜10のいずれか1項に記載のシステム(1)。
  12. 前記仮想キーパット(24)は、
    一連のアイコン(240)であって、各前記アイコン(240)が英数字の1つまたは1グループを代表し、前記電子コミュニケーションインターフェイス(10)に順番に供与される前記一連のアイコン(240)と、または、
    セルの行と列とを備える1つ以上の表であって、前記セルは行列スキャン(row-column scan)によって選択されることができ、前記各セルが、1つの英数字、1グループの英数字、ワード、文、または、同様な種類の更なる表への参照を含む前記1つ以上の表と、を備える、請求項11に記載のシステム(1)。
  13. 前記表の各セルは1グループの英数字を含み、前記処理ユニット(13)は、選択される最初の前記英数字に基づいて1つ以上のワードの完成を予測するように適用される予測アルゴリズムを実行し、可能な選択の確定のために、前記予測から得る前記1つ以上のワードを前記利用者に供与するように構成されている、請求項11に記載のシステム(1)。
  14. 前記システム(1)は、カメラを有するロボットを備える補助具(2)と相互作用可能であり、前記ロボットは前記利用者によって制御可能であり、
    前記電子コミュニケーションインターフェイス(10)は、前記ロボットの前記カメラによって撮られる画像を電子表示画面に供与し、前記ロボットの一連の命令アイコンをさらに供与するように構成されており、
    前記処理ユニット(13)は、前記利用者によって選択される前記命令アイコンに基づいて前記ロボットを制御するように構成されており、
    前記ロボットは、前記処理ユニットに制御可能で遠隔通信機として動作する音声合成装置を備え、
    前記ロボットは、前記利用者の顔の画像を供与するように構成されている人間型ロボットであり、
    前記電子コミュニケーションインターフェイス(10)は、遠距離通信のためのテキストを用意するために、仮想キーパットを電子表示画面(20)に示すように構成されており、
    前記処理ユニット(13)は、前記利用者によって用意される前記テキストに基づいて前記音声合成装置を制御するように構成されている、請求項1〜13のいずれか1項に記載のシステム(1)。
  15. 前記システム(1)は、1つ以上のドモティクス装置および/または1つ以上の電子コミュニケーションツールを備える補助具(2)と相互作用可能であり、
    前記電子コミュニケーションインターフェイス(10)は、前記1つ以上のドモティクス装置および/または前記1つ以上の電子コミュニケーションツールの一連の選択肢および/または制御アイコン(25)を電子表示画面(20)に供与するように構成されており、
    前記処理ユニット(13)は、前記利用者によって選択される前記選択肢および/または制御アイコン(25)に基づいて、前記1つ以上のドモティクス装置および/または前記1つ以上の電子コミュニケーションツールを選択するおよび/または制御するように構成されている、請求項1〜14のいずれか1項に記載のシステム(1)。
  16. 前記信号特徴は、校正時に検出される前記生体電気信号(SBc)の時間進展(V(t))を備え、前記利用者が、選択を可能とすると一般的に定義されている前記自発生体活動を実行する、請求項1〜15のいずれか1項に記載のシステム(1)。
  17. 前記信号特徴は1つ以上の閾値(S1、S2)を備え、前記1つ以上の閾値(S1、S2)は校正時に検出される前記生体電気信号(SBc)の1つ以上の閾値にそれぞれ対応しており、
    前記システム(1)は、初期システム校正ステップにおいて識別される前記1つ以上の生体電気信号閾値(S1、S2)を定義し記憶するようにさらに構成されており、
    前記処理ユニット(13)は、前記利用者の選択意思の発生を識別するまたは識別しないために、検出した前記生体電気信号(SBr)と前記1つ以上の閾値(S1、S2)とを比較するように構成されている、請求項1〜16のいずれか1項に記載のシステム(1)。
  18. 単一の閾値(S3)が記憶され、前記処理ユニット(13)は、検出した前記生体電気信号(SBr)が所定選択時間間隔(Ts)に渡って当該閾値(S3)を超えるとき、前記利用者の選択意思の発生を識別するように構成されている、請求項17に記載のシステム(1)。
  19. 前記電子コミュニケーションインターフェイス(10)は、
    検出した前記電気生体信号(SBr)が前記閾値よりも低いものの増加傾向があるとき、スキャン速度を減速し、
    検出した前記電気生体信号(SBr)が前記閾値を超えるとき、前記スキャンを停止し、
    検出した前記生体電気信号(SBr)が前記選択時間間隔(Ts)と同様な時間または前記選択時間間隔(Ts)より長い時間に渡って依然として前記閾値を超える場合、前記スキャンが停止されるところにおいて、前記情報の選択を確定するように構成されている、請求項18に記載のシステム(1)。
  20. 複数の信号間隔を定義するに適した複数の閾値(S1、S2)が記憶され、
    前記処理ユニット(3)は、対応する信号範囲において前記選択時間間隔(Ts)に渡って検出される前記生体電気信号(SBr)の持続に基づいて、前記利用者によって行われる複数選択命令(A、B、C)を識別するように構成されており、各命令は前記複数の信号間隔のうち対応する1つに関連する、請求項17〜19のいずれか1項に記載のシステム(1)。
  21. 前記処理ユニット(13)は、
    閾値よりも低い、検出した前記電気生体信号が捉えられるとき、前記スキャンの進行の減速によって与えられる図形フィードバック、および/または、設定された音声による音声フィードバック、および/または、前記利用者の皮膚の表面にある機械式アクチュエータの運動によって提供される触覚フィードバックを前記利用者にさらに提供する、または、
    閾値より高い電気生体信号が検出されるとき、前記選択される部分におけるスキャンインターフェイス進行の停止および同様な前記部分における「進捗バー」の動作によって与えられる図形フィードバック、および/または、特定の音調を有する音声によって提供される音声フィードバック、および/または、前記利用者の皮膚の表面にある前記アクチュエータの連続運動によって提供される触覚フィードバックを、前記利用者にさらに提供するように構成されている、請求項17〜20のいずれか1項に記載のシステム(1)。
  22. 前記1つ以上の閾値(S1、S2)および前記選択時間間隔(Ts)は個人向けに設定可能である、請求項17〜21のいずれか1項に記載のシステム(1)。
  23. 前記処理ユニット(13)は、1つ以上のパラメータに基づいて前記利用者の意思の識別を実行するように構成されており、
    前記1つ以上のパラメータは、
    前記スキャンインターフェイスが動作するスキャン速度、
    前記1つ以上の閾値の各数値、
    選択時間間隔(Ts)、
    短時間かつ無意識的に複数の閾値の間における可能な変化をフィルタ処理して無視するためのパラメータとして定義されている誤選択解除時間間隔、または、
    前記システムが前記生体信号を分析し始める前の、前記利用者が動作を実行しないまたは想像しない緩和時間間隔である、請求項17〜22のいずれか1項に記載のシステム(1)。
  24. 前記校正モジュール(12)は、複数の電気生体信号(SBc1、SBcn)のそれぞれに関連する1つ以上の信号特徴(CS1、CSn)を記録するように構成されており、前記複数の電気生体信号(SBc1、SBcn)は前記利用者に実行される複数の自発生体行動の各自発生体活動に対応し、当該複数の自発生体行動は、前記利用者が選択しようとする複数の対応する命令および/または情報の代表として一般的に思われるものであり、
    前記処理ユニット(13)は、検出した前記電気生体信号(SBr)と記録された前記1以上の信号特徴(CS1、CSn)との比較に基づいて、前記利用者が実行可能な前記複数の自発生体活動の間に、前記自発生体活動を識別するように構成されており、
    前記処理ユニット(13)は、前記複数の命令および/または情報の間に、前記利用者が前記対応する命令および/または情報に関連する選択意思を識別するようにさらに構成されている、請求項1〜23のいずれか1項に記載のシステム(1)。
  25. 運動障害および/またはコミュニケーション障害を患っている利用者のために、少なくとも1つの補助具とともに提供される、支援技術を制御するための方法であって、
    校正モジュール(12)によって、初期システム校正ステップにおいて、前記利用者の少なくとも1つの自発生体活動の発生において検出した前記生体電気信号(SBc)に関連する1つ以上の信号特徴(CS)を記録し、前記1つ以上の信号特徴(CS)が、命令および/または情報を選択するような前記利用者の意思の示唆として一般的に思われるステップと、
    電子コミュニケーションインターフェイス(10)によって、複数の感覚刺激を前記利用者に供与し、各前記感覚刺激は前記利用者が選択および/または提供をしようとする可能性がある命令および/または情報に関連するステップと、
    少なくとも1つの生体センサ(11)によって、前記感覚刺激の発生に渡って、前記利用者の少なくとも1つの生体活動を検出し、検出した前記生体活動を代表する、対応する生体電気信号(SBc)を生成するステップと、
    処理ユニット(13)によって、検出した前記生体電気信号(SBr)と前記校正モジュールに記録された前記1つ以上の信号特徴(CS)とを比較するステップと、
    前記処理ユニット(13)によって、前記比較に基づいて、前記利用者に実行される前記生体活動、および、前記利用者の関連する選択意思を識別するステップ
    と、
    前記処理ユニット(13)によって、前記利用者の選択意思の識別に基づいて、前記電子コミュニケーションインターフェイス(10)および前記補助具(2)に対して制御信号(SC1、SC2)を提供するステップと、を備え、
    前記制御信号(SC1、SC2)は、
    前記利用者の意思に基づく前記代表を管理するように適用される、少なくとも1つの感覚刺激代表制御信号(SC1)と、
    前記利用者に供与される、前記利用者に選択される、および前記処理ユニット(13)に識別される命令および/または情報に基づいて、補助具に対する少なくとも1つの命令信号(SC2)と、を備え、
    前記供与ステップは、前記少なくとも1つの制御信号(SC1)が発生する場合、前記少なくとも1の制御信号(SC1)の発生に基づいて前記感覚刺激を供与して、前記制御信号(SC1)が発生していない場合、自動的に特定な一連の感覚刺激を供与するステップを備える、方法。
  26. 前記検出ステップは、脳電気信号に関連する1つ以上の信号特徴(CS)を記録するステップを備え、前記脳電気信号は、前記利用者に想像される各運動に対応し、命令および/または情報を選択するような前記利用者の意思の示唆として一般的に思われるものであり、
    前記検出ステップは、複数の脳電気信号センサ(11)によって、前記感覚刺激の発に渡って、前記利用者の脳電気信号(SBr)を検出するステップを備え、
    前記比較ステップは、前記処理ユニット(13)によって、検出した前記脳電気信号(SBr)と前記校正モジュール(12)に記録された前記1つ以上の信号特徴(CS)とを比較するステップを備え、
    前記識別ステップは、前記処理ユニット(13)によって、前記比較に基づいて、前記利用者に想像される運動、および、前記利用者の関連する選択意思を識別するステップを備える、請求項25に記載の方法。
JP2018514885A 2015-09-16 2016-09-13 支援技術を制御するためのシステムおよびその方法 Active JP6942120B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ITUB2015A003680A ITUB20153680A1 (it) 2015-09-16 2015-09-16 Sistema di controllo di tecnologie assistive e relativo metodo
IT102015000052009 2015-09-16
PCT/IB2016/055442 WO2017046698A1 (en) 2015-09-16 2016-09-13 System for controlling assistive technologies and related method

Publications (2)

Publication Number Publication Date
JP2018529171A true JP2018529171A (ja) 2018-10-04
JP6942120B2 JP6942120B2 (ja) 2021-09-29

Family

ID=54884247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018514885A Active JP6942120B2 (ja) 2015-09-16 2016-09-13 支援技術を制御するためのシステムおよびその方法

Country Status (7)

Country Link
US (1) US11291385B2 (ja)
EP (1) EP3350672A1 (ja)
JP (1) JP6942120B2 (ja)
CN (1) CN108351701B (ja)
CA (1) CA3001961A1 (ja)
IT (1) ITUB20153680A1 (ja)
WO (1) WO2017046698A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021511567A (ja) * 2018-01-18 2021-05-06 ニューラブル インコーポレイテッド 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース
US11972049B2 (en) 2017-08-23 2024-04-30 Neurable Inc. Brain-computer interface with high-speed eye tracking features
US12001602B2 (en) 2017-11-13 2024-06-04 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664904B2 (en) * 2007-07-20 2020-05-26 Daphne WRIGHT System, device and method for detecting and monitoring a biological stress response for financial rules behavior
RU2017129475A (ru) * 2017-08-18 2019-02-18 Общество С Ограниченной Ответственностью "Нейроленд" Система и способ для бесконтактного управления пользовательским интерфейсом
US10958641B2 (en) * 2017-11-20 2021-03-23 International Business Machines Corporation Context-aware biometric access control policies
WO2020209866A1 (en) * 2019-04-12 2020-10-15 Hewlett-Packard Development Company, L.P. Biometrics for predictive execution
US11093038B2 (en) 2019-05-14 2021-08-17 Synchron Australia Pty Limited Systems and methods for generic control using a neural signal
AU2021246506A1 (en) * 2020-04-01 2022-10-20 Synchron Australia Pty Limited Systems and methods for controlling a device using detected changes in a neural-related signal
WO2022020778A1 (en) 2020-07-23 2022-01-27 Control Bionics Limited Multi-modal switching controller for communication and control
CN112008725B (zh) * 2020-08-27 2022-05-31 北京理工大学 一种人机融合脑控机器人***
US20230050526A1 (en) * 2021-08-10 2023-02-16 International Business Machines Corporation Internet of things configuration using eye-based controls
CN114327074A (zh) * 2021-12-29 2022-04-12 中国工商银行股份有限公司 界面功能选择方法、装置、计算机设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2899194B2 (ja) * 1993-06-30 1999-06-02 キヤノン株式会社 意思伝達支援装置及び意思伝達支援方法
JP2003248541A (ja) * 2002-02-22 2003-09-05 Mitsubishi Electric Corp 脳波信号を用いた制御装置及び制御方法
JP2005100366A (ja) * 2003-08-18 2005-04-14 Yamaguchi Univ 眼球運動を用いた視線入力コミュニケーション方法
JP3116351U (ja) * 2005-09-02 2005-12-02 独立行政法人労働者健康福祉機構 車椅子移動支援装置
JP2007097946A (ja) * 2005-10-06 2007-04-19 Hiroshima Pref Gov 電動車椅子
WO2010082496A1 (ja) * 2009-01-19 2010-07-22 パナソニック株式会社 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム
JP2012053656A (ja) * 2010-09-01 2012-03-15 National Institute Of Advanced Industrial & Technology 意思伝達支援装置及び方法

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2332293A (en) * 1997-12-11 1999-06-16 British Telecomm An Input Device
LU90582B1 (en) * 2000-05-16 2001-11-19 Europ Economic Community System for identifying brain activity
US6952809B2 (en) * 2001-03-30 2005-10-04 International Business Machines Corporation Method and apparatus for navigating a windowed operating environment
CA2466339A1 (en) * 2001-11-10 2003-05-22 Dawn M. Taylor Direct cortical control of 3d neuroprosthetic devices
US6842692B2 (en) * 2002-07-02 2005-01-11 The United States Of America As Represented By The Department Of Veterans Affairs Computer-controlled power wheelchair navigation system
US7168198B2 (en) * 2003-06-23 2007-01-30 Reginald Hill Newkirk Gun with user notification
US20060161218A1 (en) * 2003-11-26 2006-07-20 Wicab, Inc. Systems and methods for treating traumatic brain injury
MXPA06008919A (es) * 2004-02-05 2007-07-04 Motorika Inc Metodos y aparatos para ejercicio y entrenamiento de rehabilitacion.
WO2006009129A1 (en) * 2004-07-16 2006-01-26 Semiconductor Energy Laboratory Co., Ltd. Biological signal processing unit, wireless memory, biological signal processing system, and control system of device to be controlled
JP2006072606A (ja) * 2004-09-01 2006-03-16 National Institute Of Information & Communication Technology インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置
KR100651725B1 (ko) * 2004-12-13 2006-12-01 한국전자통신연구원 생체 신호를 이용한 텍스트 입력 방법 및 장치
US20070032738A1 (en) * 2005-01-06 2007-02-08 Flaherty J C Adaptive patient training routine for biological interface system
US8095209B2 (en) * 2005-01-06 2012-01-10 Braingate Co., Llc Biological interface system with gated control signal
FR2898824B1 (fr) * 2006-03-27 2009-02-13 Commissariat Energie Atomique Dispositif interface intelligent pour la saisie d'un objet par un robot manipulateur et procede de mise en oeuvre de ce dispositif
US8504146B2 (en) * 2007-06-29 2013-08-06 The Regents Of The University Of California Multi-channel myoelectrical control using single muscle
EP2045690A1 (en) * 2007-10-04 2009-04-08 Koninklijke Philips Electronics N.V. Improvements relating to brain computer interfaces
CN101201696B (zh) 2007-11-29 2011-04-27 浙江大学 基于p300脑电电位的中文输入bci***
JP4531864B2 (ja) * 2008-07-11 2010-08-25 パナソニック株式会社 咀嚼筋電を用いたインタフェースシステム
CN101391129B (zh) * 2008-07-21 2012-01-18 天津大学 基于p300信号脑机接口智能化上肢康复训练器及信号处理方法
CN101339413B (zh) * 2008-08-07 2010-11-10 北京师范大学 基于脑电中人脸识别特异性波的开关控制方法
JP5531237B2 (ja) * 2009-02-24 2014-06-25 本田技研工業株式会社 脳情報出力装置、ロボット、および脳情報出力方法
NZ595980A (en) * 2009-04-21 2014-07-25 Univ Sydney Tech A method and system for controlling a device
US20120282578A1 (en) * 2009-08-27 2012-11-08 The Board Of Regents Of The University Of Texas System System for strategic memory and reasoning (smart)
US8217900B1 (en) * 2009-11-12 2012-07-10 James Harrison Bowen Light beam operated peripheral data input device for use in and out of sunlight
US9326725B2 (en) * 2010-03-30 2016-05-03 Children's National Medical Center Apparatus and method for human algometry
WO2011127609A1 (en) * 2010-04-16 2011-10-20 Applied Brain And Vision Sciences Inc. Encephalography method and apparatus incorporating independent component analysis and a spectral shaping filter
WO2011140303A1 (en) * 2010-05-05 2011-11-10 University Of Maryland, College Park Time domain-based methods for noninvasive brain-machine interfaces
US8935005B2 (en) * 2010-05-20 2015-01-13 Irobot Corporation Operating a mobile robot
WO2011150407A2 (en) * 2010-05-28 2011-12-01 The Regents Of The University Of California Cell-phone based wireless and mobile brain-machine interface
KR101154030B1 (ko) 2010-06-14 2012-06-07 한국과학기술원 장애인들을 위한 컴퓨터 인터페이스 방법 및 이를 이용한 시스템
WO2012027336A1 (en) * 2010-08-23 2012-03-01 The Regents Of The University Of California Orthesis system and methods for control of exoskeletons
US8989857B2 (en) * 2010-11-15 2015-03-24 Sandy L. Heck Control system and apparatus utilizing signals originating in the periauricular neuromuscular system
US9238133B2 (en) * 2011-05-09 2016-01-19 The Invention Science Fund I, Llc Method, device and system for modulating an activity of brown adipose tissue in a vertebrate subject
US8690934B2 (en) * 2011-05-09 2014-04-08 The Invention Science Fund I, Llc Method, device and system for modulating an activity of brown adipose tissue in a vertebrate subject
US8725264B2 (en) * 2011-08-04 2014-05-13 Fundacio Privada Institut de Neurorehabilitacio Guttmann Method for treating neuropathic pain
KR101314570B1 (ko) * 2011-10-12 2013-10-07 서울대학교산학협력단 정밀한 제어를 위한 뇌-기계 인터페이스 장치 및 방법
TWI449515B (zh) * 2011-10-19 2014-08-21 Univ Nat Central 步進延遲閃爍序列之腦機介面控制方法及其系統
US9389685B1 (en) * 2013-07-08 2016-07-12 University Of South Florida Vision based brain-computer interface systems for performing activities of daily living
US20150095228A1 (en) * 2013-10-01 2015-04-02 Libo Su Capturing images for financial transactions
KR102224715B1 (ko) * 2013-10-14 2021-03-09 삼성전자주식회사 3차원 인터랙션 장치, 이를 포함하는 디스플레이 장치, 및 상기 3차원 인터랙션 장치의 구동 방법
WO2015160715A1 (en) * 2014-04-14 2015-10-22 Brown University Systems and methods for mobile medical monitoring
US11266342B2 (en) * 2014-05-30 2022-03-08 The Regents Of The University Of Michigan Brain-computer interface for facilitating direct selection of multiple-choice answers and the identification of state changes
CN104536572B (zh) * 2014-12-30 2017-12-05 天津大学 一种基于事件相关电位的跨个体通用型脑机接口方法
JP2016129661A (ja) * 2015-01-09 2016-07-21 パナソニックIpマネジメント株式会社 判定システム、制御信号出力システム、リハビリシステム、判定方法、制御信号出力方法、コンピュータプログラム、脳波信号取得システム
PT108690B (pt) * 2015-07-13 2023-04-04 Fund D Anna Sommer Champalimaud E Dr Carlos Montez Champalimaud Sistema e método para interface cérebro-máquina de aprendizagem de operante
US11508261B2 (en) * 2015-09-25 2022-11-22 Institut National De La Sante Et De La Recherche Medicale (Inserm) Method for obtaining a numerical model associating an objective measurement to a subjective sensation using ultrasound imaging technique and associated device
US10928472B2 (en) * 2016-01-14 2021-02-23 Technion Research & Development Foundation Limited System and method for brain state classification
CA3087780A1 (en) * 2017-02-01 2018-08-09 Cerebian Inc. System and method for measuring perceptual experiences
EP3672478A4 (en) * 2017-08-23 2021-05-19 Neurable Inc. BRAIN COMPUTER INTERFACE WITH HIGH SPEED EYE TRACKING

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2899194B2 (ja) * 1993-06-30 1999-06-02 キヤノン株式会社 意思伝達支援装置及び意思伝達支援方法
JP2003248541A (ja) * 2002-02-22 2003-09-05 Mitsubishi Electric Corp 脳波信号を用いた制御装置及び制御方法
JP2005100366A (ja) * 2003-08-18 2005-04-14 Yamaguchi Univ 眼球運動を用いた視線入力コミュニケーション方法
JP3116351U (ja) * 2005-09-02 2005-12-02 独立行政法人労働者健康福祉機構 車椅子移動支援装置
JP2007097946A (ja) * 2005-10-06 2007-04-19 Hiroshima Pref Gov 電動車椅子
WO2010082496A1 (ja) * 2009-01-19 2010-07-22 パナソニック株式会社 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム
JP2012053656A (ja) * 2010-09-01 2012-03-15 National Institute Of Advanced Industrial & Technology 意思伝達支援装置及び方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"基本操作", URBANO V02 取扱説明書, JPN6020044162, 31 August 2015 (2015-08-31), pages 33, ISSN: 0004469662 *
加納 慎一郎 SHIN'ICHIRO KANOH: "足動作のイメージの有無を脳波から検出するBCIシステムの基礎的検討 A Basic Study on Brain-Computer", 電子情報通信学会技術研究報告 VOL.106 NO.370 IEICE TECHNICAL REPORT, vol. 第106巻, JPN6020044166, 15 November 2006 (2006-11-15), JP, pages 9 - 12, ISSN: 0004469665 *
増田: "ワン・ステップ通信", ASCII 第14巻 第8号, vol. 第14巻, JPN6020044165, 1 August 1990 (1990-08-01), JP, pages 422 - 423, ISSN: 0004469664 *
本田 幸夫 YUKIO HONDA: "サービスロボットの現状と今後 The Future Trend of Public and Private Use of Robotics", 日本ロボット学会誌 第30巻 第10号 JOURNAL OF THE ROBOTICS SOCIETY OF JAPAN, vol. 第30巻第10号, JPN6020044163, 15 December 2012 (2012-12-15), pages 65 - 67, ISSN: 0004469663 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11972049B2 (en) 2017-08-23 2024-04-30 Neurable Inc. Brain-computer interface with high-speed eye tracking features
US12001602B2 (en) 2017-11-13 2024-06-04 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
JP2021511567A (ja) * 2018-01-18 2021-05-06 ニューラブル インコーポレイテッド 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース

Also Published As

Publication number Publication date
US20190104968A1 (en) 2019-04-11
CN108351701B (zh) 2022-03-11
CN108351701A (zh) 2018-07-31
ITUB20153680A1 (it) 2017-03-16
WO2017046698A1 (en) 2017-03-23
US11291385B2 (en) 2022-04-05
CA3001961A1 (en) 2017-03-23
JP6942120B2 (ja) 2021-09-29
EP3350672A1 (en) 2018-07-25

Similar Documents

Publication Publication Date Title
JP6942120B2 (ja) 支援技術を制御するためのシステムおよびその方法
Nam et al. GOM-Face: GKP, EOG, and EMG-based multimodal interface with application to humanoid robot control
Barea et al. Wheelchair guidance strategies using EOG
Felzer et al. HaWCoS: the" hands-free" wheelchair control system
Vansteensel et al. Brain-computer interfaces for communication
Barea et al. System for assisted mobility using eye movements based on electrooculography
KR20200101906A (ko) 고속 눈 추적 피처들을 갖는 뇌-컴퓨터 인터페이스
US20090088659A1 (en) Biological Sensing With Haptic Feedback
CN111656304B (zh) 通信方法及***
Rupp et al. Brain–computer interfaces and assistive technology
Cecotti et al. A multimodal virtual keyboard using eye-tracking and hand gesture detection
CN113040791A (zh) 振动触发设备、手指抬起装置及触感手指运动康复***
Navarro et al. EOG-based wheelchair control
Orejuela-Zapata et al. Self-help devices for quadriplegic population: A systematic literature review
Barbosa et al. Toward a reliable gaze-independent hybrid BCI combining visual and natural auditory stimuli
Zou et al. eyeSay: Make eyes speak for ALS patients with deep transfer learning-empowered wearable
Kaneswaran et al. Towards a brain controlled assistive technology for powered mobility
Müller-Putz et al. Principles of hybrid brain–computer interfaces
Kumar et al. Human-computer interface technologies for the motor impaired
CN111158471A (zh) 一种基于眼动和脑机接口技术的人机交互方法
Šumak et al. Design and development of contactless interaction with computers based on the Emotiv EPOC+ device
Lakshmi et al. A Novel Approach of Human Hunger Detection especially for physically challenged people
WO2017195903A1 (ja) 生体情報処理装置、生体情報処理方法及びプログラム
Perrin et al. A comparative psychophysical and EEG study of different feedback modalities for HRI
Park Brain-computer interface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210721

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210802

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210907

R150 Certificate of patent or registration of utility model

Ref document number: 6942120

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150