JP2016513319A - 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(bci)システム - Google Patents

収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(bci)システム Download PDF

Info

Publication number
JP2016513319A
JP2016513319A JP2015557986A JP2015557986A JP2016513319A JP 2016513319 A JP2016513319 A JP 2016513319A JP 2015557986 A JP2015557986 A JP 2015557986A JP 2015557986 A JP2015557986 A JP 2015557986A JP 2016513319 A JP2016513319 A JP 2016513319A
Authority
JP
Japan
Prior art keywords
user
brain
mental
brain activity
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015557986A
Other languages
English (en)
Other versions
JP6125670B2 (ja
Inventor
ピー. クローフォード,リチャード
ピー. クローフォード,リチャード
ジェイ. アンダーソン,グレン
ジェイ. アンダーソン,グレン
ピー. クーンズ,デイヴッド
ピー. クーンズ,デイヴッド
ワイアット,ピーター
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2016513319A publication Critical patent/JP2016513319A/ja
Application granted granted Critical
Publication of JP6125670B2 publication Critical patent/JP6125670B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04Constructional details of apparatus
    • A61B2560/0475Special features of memory means, e.g. removable memory cards

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本明細書は一般に、収集される生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(BCI)システムを提供する実施形態を記載する。一部の実施形態において、ユーザーに刺激が与えられる。ユーザーに刺激を与えることに応じて、ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンが収集される。ユーザーの脳活動に関連する収集された生物物理的信号時間的パターンおよび空間的パターンは、ユーザー脳シグネチャを識別するために相互に関連付けられる。脳活動に関連する生物物理的信号の収集された時間的パターンおよび空間的パターンの相互関連付けによって識別されたユーザー脳シグネチャに基づいて、プロセッサ制御機能が実行される。

Description

情報伝達と環境の制御は日々の生活に重要である。特に、障害者は情報伝達のために途方もない努力をしてきた。脳‐コンピューターインターフェース(BCI)により、脳とコンピューターまたは電子デバイスとの直接的な情報伝達が可能になる。BCIは、既存の情報伝達方法では不十分である用途(騒音の多い工業用途、レーダーに捕捉されない動作が強いられる軍事環境等)においても適用可能である。消費者市場では、BCIはゲーム用または娯楽用のインターフェースとしての利点をもたらす可能性があり、或いは既存のものを加速し、或いは全く新しいコンピューターとユーザーのインタラクションを可能にする可能性がある。
脳の各部位は、機能に関わらずニューロンと呼ばれる神経細胞で構成されている。全体として、脳は約1千億個のニューロンを含む高密度のネットワークである。これらのニューロンは、その他の何千ものニューロンと情報伝達を行って、物理的プロセスを調整し思考を生み出す。ニューロンは、物理的接続を介して他のニューロンに電気信号を送るか、神経伝達物質と呼ばれる化学物質を交換するかのいずれかによって、情報伝達を行う。ニューロンは、情報伝達を行うときに酸素およびグルコースを消費するが、この消費は、脳の活動領域への血流が増加することによって補充される。
脳モニタリング技術の発展により、脳が情報を処理したり様々な刺激に反応したりするときの電気的変化、化学的変化、流体的変化等を観察することができる。多種多様なユーザーとアプリケーションに対して新しい通信と制御オプションとを提供し得る脳‐コンピューターインターフェース(BCI)システムにおいて、研究が継続されている。脳活動のモニタリングにより、特徴的な心的プロファイルのデータベースを収集することができる。
デバイスおよびデータの安全上の脅威は至る所に存在し、高度に精密で正確な認証システムおよび方法には非常に高い価値が付されてきた。認証システムでは、いくつかの形態の生物学的に特異なシグネチャまたは生体認証が採用される(指紋、網膜パターン、音声特性等)が、脳の唯一性を認証技術として利用する開発はほとんどない。
一部のBCIシステムは、脳波記録(electroencephalography;EEC)に頼っている。EECには、時間分解能は比較的高いが空間分解能が比較的低いという特徴がある。BCIシステムの更なる研究が進行中であり、その信頼性の高い利用に関する多くの疑問と課題に取り組んでいる。
一実施形態に係る、脳活動の類似性の相関を用いて心理的かつ社会学的なマッチングを提供するシステムを示す図である。 一実施形態に係る、個人に対して唯一性の確率を識別し割り当てるために、脳の解剖学的構造および活動を既知の情報および事前記録シグネチャと比較するシステムを示す図である。 一実施形態に係る、BCI入力を収集するための消費者向け(consumer grade)のウェアラブルシステムを示す。 一実施形態に係る神経イメージング装置のコンポーネントを示す図である。 一実施形態に係る神経イメージング装置のコンポーネントを示す図である。 一実施形態に係る神経イメージング装置のコンポーネントを示す図である。 一実施形態に係る、コンピューター経験の制御を提供する方法のフローチャートである。 一実施形態に係る視覚検索を示す図である。 一実施形態に係る視覚検索を示す図である。 一実施形態に係る、テレパシー検索を提供するBCIシステムを示す図である。 一実施形態に係るBCIシステムを用いた無線テレパシー情報伝達を示す図である。 一実施形態に係る、テレパシーコンテキスト検索を実行するためのネットワークシステムを示す。 一実施形態に係るBCIシステムを用いてテレパシー拡張現実を提供するためのフローチャートである。 一実施形態に係るARの提示および制御の例を示す図である。 一実施形態に係るARの提示および制御の例を示す図である。 一実施形態に係るARの提示および制御の例を示す図である。 一実施形態に係るARの提示および制御の例を示す図である。 一実施形態に係る、テレパシー拡張現実を提供できるシステムを示す。 一実施形態に係る、BCIシステムによって提供される心的デスクトップ空間を再現するのに用いられる視空間の皮質再現を示す図である。 一実施形態に係る光学システムを示す図である。 一実施形態に係る、生理的に分離された視空間の区画を示す図である。 一実施形態に係る、BCIシステムによって利用される一次運動野および一次感覚野を示すヒト大脳皮質のモデルである。 ヒト大脳皮質の中心前回の一次運動野の形態的構造を示すモデルである 一実施形態に係る、BCI測定値および他のモダリティをアプリケーションに割り当てるためのユーザーインターフェースを示す。 一実施形態に係る、BCI入力その他のモダリティ入力を受け取るBCIシステムを示す図である。 一実施形態に係る、ユーザーの意図を判定する方法のフローチャートを示す。 一実施形態に係る、アプリケーションを制御するためのBCI入力を割り当てる方法を示すフローチャートである。 一実施形態に係る、BCIシステムによりコンテキスト因子を調整する方法のフローチャートである。 収集される生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(BCI)システムを提供する例示的機械のブロック図である。
本明細書に記載の実施形態によれば、識別/認証を行う目的で脳/頭蓋骨の解剖学的特徴(脳回形成(gyrification)、皮質厚、頭皮厚等)が用いられてよい。測定される刺激/反応脳特徴(例えば解剖学的および生理学的な)を特異的なパターンに変換して、識別および/または認証目的で脳を分類することができる。刺激に応じた脳活動の類似性に従って、人々を相互に関連付けることができる。他の(例えば解剖学的および生理的な)脳シグネチャについての情報と、類似する脳との比較とは、新しい刺激に対する脳の反応を予測するのに用いることができ、また、識別および/または認証目的で用いることができる。脳の識別および/または認証技術を他の識別および/または認証技術(例えばパスワードその他の生体認証パラメータ)と組み合わせて用いて、識別/認証の感度および特異度を高めることができる。
脳またはニューロンの活動信号の感知における最近の技術的進歩によって、より高度なBCIの利用法およびシステムを創造する機会が与えられる。現在では、収集される生物物理的信号の時間的パターンおよび空間的パターンに基づき、ヒトの心理状態または心的表象を測定し識別することが可能である。例えば、生物物理的信号の時間的パターンおよび空間的パターンは、限定ではないが電気センサー、流体センサー、化学センサー、磁気センサーを用いて得ることができる。
電気信号を収集する装置の例として、脳波記録(electroencephalography;EEG)が挙げられる。EEGでは、頭皮に直接取り付けられる電極を用いて、脳の活動によって発生する弱い(5〜100μV)電位を測定する。流体信号を測定し検知する装置の例としてはドプラ超音波検査が挙げられ、化学信号を測定する装置の例としては機能的近赤外分光法(functional near-infrared spectroscopy;fNIRS)が挙げられる。ドプラ超音波検査は、脳に血液を供給する動脈ネットワークにおいて、脳血流速度(cerebral blood flow velocity;CBFV)を測定する。そのような動脈内のCBFVは認知の活性化によって増大し、この増大をドプラ超音波検査を用いて検知することができる。fNIRS技術は、近赤外光を頭皮表面から脳に投射し、光が屈折して表面に反射される際の様々な波長での光学変化を測定することによって、機能する。fNIRSは効果的に脳血液動態を測定し、局所血液量および酸素化の変化を検出する。脳活動に関連する組織酸素化の変化により、近赤外光子の吸収および散乱が様々な量に変化するので、fNIRSを用いて脳活動の機能マップを構築することができる。磁気信号を測定する装置の例としては、脳磁図(magnetoencephalography;MEG)が挙げられる。MEGは、脳の電気的活動によって発生する磁界を測定する。MEGによって、より深いイメージングが可能になる。また、頭蓋骨は実質的に磁気波を通すので、MIGはEEGよりもはるかに感度が高い。
生物物理的センサー装置を利用することにより、上記その他に記載されるように、生物物理的信号の時間的パターンおよび空間的パターンを用いて、ヒトの心理状態または心的表象を測定および識別して、認知作業負荷、注意/注意散漫、気分、社会学的動態、記憶その他の情報を明らかにすることができる。これらのデータを利用することにより、ヒトと機械とのインタラクションにおける好機を得るための新領域が切り開かれる。
ビジネス、政治制度および社会では、マーケティング、メッセージング、ソーシャルネットワーキング等の目的について似た考えをもつ人々を見つけることが重視される。したがって、似た考えをもつ(或いは、逆に異なる考えをもつ)人々の識別に役に立つ可能性のあるシステムおよび技術が重視される。類似する刺激に対して脳がどのように反応するのかについての情報を用いて、異なる人々または異なる集団間の“心的類似性”を確認し点数化することができる。これを心的特性、人格的特性または社会学的特性の他の測定と併せて利用して、マッチング評価をより高度化することができる。
人々に脳モニタリング装置を装着させてから一連の想像上のまたは示唆に富む経験(任意の想像上の感覚チャネル、視覚的、聴覚的、触覚的等を通して)を経験させることにより、結果として生じる空間的かつ時間的な脳活動パターンを捕捉し特徴付けることができる。異なる人々の脳活動がどの程度同じように反応するかによって、心的類似性の尺度が提示され得る。逆に、人々の脳活動が同じ刺激に対してどの程度異なるように反応するかによって、心的相違の尺度が提示され得る。刺激セットへの反応の集積は、特徴的な心的プロファイルを構築する際に用いることができ、また、パーソナリティ特性を特徴付ける概念(例えばMeyers-Briggs(登録商標)や五因子モデル(Five Factor Model;FFM))に相当し得る心的好みのモデルの確立に役立てることができる。
心的反応の特定の類似性または相関がより良いペアリングに役立つという理論に基づいて、人々の政治的、心的または社会的な適合性(或いは不適合性)は、生物物理的信号の時間的パターンおよび空間的パターンおよび刺激反応データを用いて予測することができる。このような他者との比較は、Match.com(登録商標)のような出会い系サービスの一部として利用されるウェブベースのシステムおよびインフラを用いて行われ得る。
このアイデアが有用であることが分かるであろう具体例として、心的プロファイルを仕事に対する満足度情報と比較して潜在的な職業マッチ(またはミスマッチ)の識別および予測に役立てたり、人間関係に対する満足度と比較して潜在的な社会的適合性(または不適合性)の識別および予測に役立てたり、政治的傾向と比較して政党のアライメント(またはミスアライメント)の識別および予測に役立てたり、製品の利用、満足度または興味と比較してマーケティング目標を識別したりすることが挙げられる。
図1は、一実施形態に係る、脳活動の類似性の相関を用いて心理的かつ社会学的なマッチングを提供するシステム100を示す。システムは、BCIシステムへの入力を定義するために、空間的情報および脳半球情報を収集する。刺激ライブラリ110は、対象112,114の脳活動を誘発するために提供される。刺激ライブラリ110は、脳を働かせるように設計される様々な媒体(例えば、写真、映画、オーディオトラック、記述式または口頭の質問または問題)のうちいずれかを含む刺激のセットを有する。刺激の選択肢は膨大であり、一般的な刺激(例えば、感受性のテスト用に設計されるもの)から非常に特異的なもの(例えば、家族および育児についての定位)まで多岐にわたり得る、特定の刺激ライブラリ110のフォーカスが想定される。脳活動は、対象112,114に対して刺激が提示されるときに、データ収集記録システム120,122によって記録される。結果的な脳活性パターンを測定する神経イメージング装置の例として、EEG、fNIRS、MEG、MRI(磁気共鳴イメージング;磁気共鳴画像法)、超音波等が挙げられる。しかしながら、実施形態は本明細書で具体的に言及される測定システムに限定されるものではない。
次に、記録された脳活動は、パターン認識分類システム130を用いて処理される。パターン認識分類システム130は、記録された脳活動を処理して、脳活性パターンを特徴付け分類する。パターン認識の分野には、分類、クラスタリング、回帰、カテゴリー・シーケンス・ラベリング、実数値シーケンス・ラベリング、構文解析、ベイジアン・ネットワーク、マルコフ確率場、集合学習等の、適用可能な技術およびアルゴリズムが数多くある。脳活動の取得または分析の更なる方法として、変形ランベルト・ベールの法則、事象関連コンポーネント、マルチボクセルパターン分析、スペクトル分析、fNIRSに対するMVPA(マルチボクセルパターン分析)の利用等が挙げられる。単純な脳EEG信号の特徴付けは、識別目的で利用することができる。汎用のパターン認識技術およびアルゴリズムを実装することができる。対象112,114の心的プロファイルモデルを展開するために、パターンおよび分類の結果132は、心的プロファイルモデリングシステム140において、データベース150からの個人データおよび他の特性と組み合わせられる。このように、心的プロファイルモデリングシステム140は、特定の刺激に応じた心的プロファイルを構築するために、脳のパターン認識結果を他の個人データおよび特性(性別、年齢、地理的な位置、遺伝情報等)と組み合わせたモデルを作成する。
データベース150からの個人データおよび他の特性は、アンケート、観察等によって取得されてよく、また、パーソナリティ特性データベースに保持されてよい。心的プロファイルモデリングシステム140は、対象の心的プロファイルを他の心的プロファイルのデータベースと比較することにより、対象の心的プロファイルマッチを生成する。心的プロファイル分析システム160は、対象間の確率を相互に関連付ける。心的プロファイル分析システム160は、ある範囲のトピック(社会性、問題解決、音楽ジャンルの類似、財政的傾向等)について、心的マッチの統計値および確率を計算する。汎用の統計的手法を用いて、既知の条件を前提として、パターン認識を確率的関係に変換してよい。
したがってシステム100は、刺激110に応じる記録された脳活動パターンを、その刺激に関する特徴的な心的プロファイルに変換する。刺激ライブラリ110は、各個人の心的プロファイルのライブラリに変換される。また、心的プロファイルは、データベース150からの個人データおよび特性の統合を含む。心的プロファイル分析システム160は、刺激または刺激セットに関する2人のパターンマッチング結果の類似または相違の程度に基づいて、心的プロファイルの類似または相違を導出する。この結果すなわち心的プロファイルマッチ結果170は、“心的マッチ”の確率的スコアを表す。
また、BCIシステムを用いて、脳シグネチャを用いるユーザー識別および認証を提供することができる。人には、その人の遺伝子的、環境的および状況的な影響に応じたそれぞれ固有の脳の解剖学的モデルおよび生理的特徴があり、識別および認証の目的で利用することができる。
図2は、一実施形態に係るシステム200を示す。システム200は、個人に対して唯一性の確率を識別し割り当てるために、脳の解剖学的構造および活動を既知の情報および事前記録シグネチャと比較する。したがって、脳の解剖学的モデルおよび生理的唯一性を、セキュリティおよび/または認証の目的で用いることができる。図2に、活動に対する脳反応に基づく較正プロセス202および認証プロセス204を示す。較正プロセス202において、刺激210が第1の対象212に供給される。刺激210は、ユーザーに提示され、ある特徴的な脳活動反応を誘発し得る画像、文章または質問を含んでよい。対象の反応は、データ収集記録システム220によって測定される。また、データ収集記録システム220は、脳の解剖学的構造および活動に関連する活動を測定する。結果的な脳活性パターンを測定する神経イメージング装置の例としては、EEG、fNIRS、MEG、MRI、超音波等が挙げられる。
脳の解剖学的構造および活動に関するデータは、パターン認識装置230に提供される。パターン認識装置230は、脳の解剖学的構造および活動を分析して、パターンを識別する。脳の解剖学的特徴(脳回形成、皮質厚等)が識別される。繰り返すが、パターン認識の分野には、分類、クラスタリング、回帰、カテゴリー・シーケンス・ラベリング、実数値シーケンス・ラベリング、構文解析、ベイジアン・ネットワーク、マルコフ確率場、集合学習等の、適用可能な技術およびアルゴリズムが数多くある。脳活動の取得または分析の更なる方法として、変形ランベルト・ベールの法則、事象関連コンポーネント、マルチボクセルパターン分析、スペクトル分析、fNIRSに対するMVPA(マルチボクセルパターン分析)の利用等が挙げられる。識別目的で、単純な脳EEG信号の特徴付けが用いられてよい。汎用のパターン認識技術およびアルゴリズムが実装されてよい。
脳測定結果は、心的プロファイルメモリシステム240に保存される。データベース250は、母集団の脳の解剖学的構造および活動のシグネチャの集積を保持する。認証プロセス204の間に、刺激270が第2の対象272に供給される。第2の対象272は第1の対象212であってよく、或いは、データがデータベース250に保持されている別の対象であってよい。対象の反応は、データ収集記録システム274によって測定される。反応は、脳の解剖学的構造および活動に関連するデータを含んでよい。繰り返すが、脳の解剖学的構造は、超音波および/またはEEG、fNIRS、MEG、MRI等の技術を用いて取得されてよい。脳の解剖学的構造および活動に関連するデータは、パターン認識装置276に提供される。パターン認識装置276は、脳の解剖学的構造および活動に関連するデータを分析して、パターンを識別する。繰り返すが、脳の解剖学的特徴(脳回形成、皮質厚等)が識別される。
分析装置260は、パターン認識装置からの結果を受け取り、母集団の脳の解剖学的構造および活動のシグネチャの集積を保持するデータベースから、対象に関連する以前処理された脳測定結果および予測データを受け取る。分析装置260は、認証中の対象が対象の以前処理された脳測定結果および予測データと相関するか否かを判定する。このように、脳の解剖学的構造および活動のパターンは、較正期間、以前のシグネチャ収集の間に収集されたか、或いは‘類似の’脳シグネチャのライブラリから推測的に予測された、既知または予測されたシグネチャと比較される。分析装置260は、認証に対して真正の信頼性を与える。認証に対する真正の信頼性は、既知の条件を前提としてパターン認識を確率的関係に変換する統計的手法に基づいてよい。
対象272からの反応が容認不可であると分析装置260が判定した場合、対象は拒否されてよい。一方、認証中の対象272の脳測定結果が対象の以前処理された脳測定結果および予測データと相関する場合、対象は許可されてよい。このような脳シグネチャ識別技術は、認証方法の感度および特異度を向上させるために、他の未定の認証方法(例えば手書き文字認識)と組み合わせて用いられてよい。
したがって、本システムを用いて、脳の解剖学的構造および活動を既知の情報および事前記録シグネチャと比較して、唯一性の確率を識別し割り当てることができる。或いは、本システムは、潜在的により識別力があり安全なアプローチを用いてよく、該アプローチは、ユーザーが心的に経験することである特徴的な脳活動を誘発し得る一連の記憶された思考(例えば子ども、車、滝)、筋活性化のパターン(例えばジャンプ、テニスボールのサーブ、ピアノの演奏)または想像上の活動(例えば猫を可愛がる、13×14を解く、バナナを食べる)を利用してよい。
別の実施形態において、BCIシステムを用いて、ユーザーが処理装置(コンピューター、ラップトップ、携帯電話、タブレットコンピューター、スマートテレビ、リモートコントロール、電子レンジ等)を制御できるようにすることができる。BCIシステムを用いて、精神状態をメディアおよび検索サービスに関連付けることにより、装置にアクティビティを実行するように指示することができる。現在のBCIシステムはEEGに基づくが、EEGには、時間分解能は比較的良好であるが空間分解能が比較的低いという特徴がある。低い空間分解能による制限は、高いレベルの情報の抽出に有用であることが示されている特定の分析手法と相性がよくない。現在既存の技術に基づいて製造される製品は、精密測定用の応用には不十分であるかもしれないが、該技術は娯楽レベルの実装を提供するには既に利用可能である。
図3は、一実施形態に係る、BCI入力を収集するためのウェアラブルシステム300の例を示す。ウェアラブル脳システム300はEEGセンサー310を利用してよく、EEGセンサー310は、ヘッドバンド312により前頭部に接触して適所に保持される。EEGセンサー310の代替または追加として、ウェアラブルシステム300はいくつかの電極316を有してよく、電極316は、EEG信号を検出するためにユーザーの頭部に取り付けられてよい。ウェアラブル脳イメージング装置300は、脳の電気的活動を測定することにより、ユーザーが1つの因子(例えば、小さな送風機が出力する空気圧のレベル)を全体的に制御できるようにすることができる。EEGの性質上、空間分解能は、頭皮分布の全体の統計的推定値が制限され、統計的推定値により、一般に、BCI−EEG装置がスペクトル分析を利用して、EEG信号に含まれる固有の周波数バンドを分析および分離することになる。
図4a〜4cは、一実施形態に係る神経イメージング装置400のコンポーネントを示す。はるかに高性能なBCI入力センサーは、EEGから神経画像アプローチに移行する。神経画像アプローチでは、MRIやPETスキャンと同様の高い空間分解能が得られる。光学的脳イメージングにより、或いは光学的イメージングとEEGとの組み合わせでも、数百或いは数千の固有の活性化パターンを区別するのに用いられる空間分解能および時間分解能がシステムに提供される。図4aにおいて、複数のセンサーおよびソース412を有する帽子またはヘルメット410が対象に提供される。センサーおよびソース412は処理装置420に対して設けられ、処理装置420は対象に結合されてよい。図4bは、検出器430と、神経イメージング装置400において用いられるソース432とを示す。センサー432はEEGを含んでよい。近赤外分光法(NIRS)検出器430が用いられてもよい。図4cは制御モジュール440を示す。
BCIシステムを用いて制御コンピューター経験を提供する一実施形態では、テレパシー検索が用いられる。ユーザーが様々な媒体(例えば音楽や画像)に曝露されている間にBCIパターンをモニタすることにより、BCIシステムは関連のデータベースを作成することができる。続いて、ユーザーが検索モードである場合、心的イメージによりそれらの脳活動パターンを再作成して、検索をより効率的にするのに役立てることができる。制御コンピューター経験を提供する別の実施形態では、テレパシー情報伝達が用いられる。2以上のユーザーを同じ媒体セットに訓練することにより、脳活動パターンをモニタする間に、システムは、ユーザー同士で情報伝達を取る際に使用し得る共通の心的語彙を創出し得る。制御コンピューター経験を提供する別の実施形態では、テレパシー拡張現実が用いられる。ユーザーは、3Dモデルおよび/またはそのようなモデルのアニメーションとペアにされる心的イメージを訓練して、特定のアクションを実行することができる。このように、モデルについて考えることにより、ユーザーはAR機能を有するデバイスを介して見ながら、3Dモデルまたはアニメーションを出現させることができる。
図5は、一実施形態に係る、コンピューター経験の制御を提供する方法500のフローチャートである。ユーザーの脳活動の尺度が記録される間に、刺激が該ユーザーに提示される(510)。相関の信頼性を向上するために、刺激は音と組み合わせられた画像のような合成刺激であってよい。誘導試験を用いて、特定の刺激と信頼できる相関を有する1以上の脳活動尺度が識別される(520)。脳活動尺度は1以上の種類であってよく、例えばfNIRSおよびEEGであってよい。脳活動‐刺激ペアリングの候補が保存される(530)。誘導試験を用いて、ユーザーが実際に見ること、聞くこと、触ること等に照らして刺激を想像しているときに、信頼性の高い相関をもつ脳活動‐刺激ペアリングが識別される(540)。脳活動−想像上の刺激ペアリングのリストが保存される(550)。相関する脳活動尺度が検出された場合に、刺激が読み出され表示されて、テレパシー検索、テレパシー情報伝達およびテレパシーARが可能となる(560)。誘導検定を用いて脳活動‐刺激ペアリングを再検定することにより、相関の強度がリフレッシュされる(570)。
テレパシー検索に関して、ユーザーは一般に自分がどのようなコンテンツを探しているかを知っており、検索ツールに検索語を入力する。例えば、“Song 1”という歌をライブラリで検索する際、ユーザーは、曲名、歌手、アルバム名、ジャンルその他と重複する検索語を入力する。しかしながら、複雑な検索に検索能力のレベルはユーザーによって様々であり、また、効果的な検索を非常に定義しにくい検索リクエストのファジー概念をもつ場合がある。結果として、検索結果が不十分なものになる。しかしながら、一実施形態に従って実行されるテレパシー検索により、ユーザーは、ユーザーの心的視覚化を用いることで、画像または音楽のデータベースに対してハンズフリー検索を実行することができる。一実施形態に係るテレパシー検索により、画像検索、ビデオ検索、音楽検索或いはウェブ検索のような検索が可能になる。また、テレパシー検索により、ユーザーは実際の単語を知らなくても検索を実行することができる。
BCIシステムの基礎となるコンセプトでは、思考の固有のパターンが、思考の基本要素(動作、明暗パターン、注意状況等)に応じて現れるユーザーの脳パターンに分類されるコンテンツのデータベースとマッチされる。ユーザーの脳パターンが記録され相互に関連付けられると、BCIシステムは脳パターンのみから思考を再構築する。ユーザーが検索を開始すると、その新しい思考は、データベースに保存されている以前の思考およびコンテンツからの既知の要素とマッチされる。検索結果は、データベース内のコンテンツと関連することが既知である要素とマッチする、新しい思考に含まれる要素の数に基づいて加重されてよい。ユーザーが思考を抱き、思考にマッチする結果を返すテレパシー検索をBCIシステムに実行させることができるという点で、検索結果は一見するとテレパシーによるものである。
一例として、ユーザーが画像を検索しているとする。記憶は画像の心的表象として保存され、容易に言葉に変換できるものであってもなくてもよい。おそらく、画像は、図6aに示されるような、黒いハトに追われる白いハトの写真610である。
上述の写真をインターネット検索する場合、言語で“黒いハトに追われる白いハト”と検索することができる。純粋に視覚的な概念をテキスト検索に変換すると、図6bに示すように、疑似の結果(spurious result)620が生じる。視覚化を視覚検索に変換はすることは直観的であるだけでなく、言語情報が出力からテキストベース検索に容易に変換されない場合に、検索がより効果的になる可能性をもつ。
テレパシー検索がテキストベース検索よりも優れた非言語的検索の結果をもたらし得る別の例には、音楽の検索がある。例えば、ユーザーがAnimotionの1984年の名作“Obsession”を欲しがっているが、アーティスト、曲名、アルバムおよび歌詞が思い出せないとする。ユーザーがその曲の音楽を思い浮かべることができれば、テレパシー検索を実行するBCIシステムは、ユーザーがテキスト入力を提供しなくても、ユーザーの“Obsession”の音の思考に脳活性化をマッチさせる音楽の結果を提供する。BCIシステムは、学習フェーズからの脳活動のパターンを、曲を思い浮かべることによって生じる脳活性化とマッチさせることにより、このような検索を実行することができる。
認知心理学はニューラルネットワークモデルを強力に支持し、脳における表象が、特定の時間的および空間的関係において同時に生じる脳活動の分布パターンとして保存されるという説がある。例えば、特定の入力(例えば写真)に対する反応により、時間および脳の皮質空間的位置について特定のパターンで脳全域に分布する神経活動の分布が生じ、出力として入力の視覚表象が創出される。
同じように、刺激知覚の精神物理学的プロセスは、個別のコンポーネントによって開始される。個別のコンポーネントは脳内で信号伝達され、それから、注意の範囲内にある要素に基づいて再構築される。例えば、視聴者が物体を知覚すると、最初に色情報、形状情報、動作情報等が個別のコンポーネントとして脳に入り、注意または別のメカニズムが該要素を結合して、一貫した知覚を形成する。このような概念は重要である。なぜなら、刺激は物体全体として表象されるのではなく、脳の単一の統合された部分で表象されるのではないからである。
一実施形態に係るテレパシー検索は、マルチボクセルパターン分析(MVPA)のような技術を用いて実装されてよい。MVPAの基礎となる知識は、刺激は分布して表象され、また、個別の要素の復元として知覚されるというものである。MVPAは定量的な神経イメージング技法であり、特定の思考(例えば視覚刺激を知覚すること、聴覚刺激を知覚すること、同時に3つのことを記憶すること、物体のある側面には焦点を合わせずに別の側面に注意を払うこと)と相関する脳活動の分布パターンを識別する。MVPAは、複雑な心的表象または状態を識別する、脳全体に分布した活動の空間的パターンおよび時間的パターンを識別する。心的表象は、記憶活動(例えば、聴覚刺激等の知覚入力の長期記憶または表象を読み出すこと)等の認知活動であってよい。MVPAは、伝統的に、刺激に反応して或いは狭義の認知活動(例えば長期記憶の読出し)の一部として所与の瞬間に活性化する体積ピクセル(すなわちボクセル)で測定される脳活動の時間的相関を利用する。また、生物物理的信号の時間的パターンおよび空間的パターンを用いて、ヒトの心理状態または心的表象を測定し識別して、認知作業負荷、注意/注意散漫、気分、社会学的動態、記憶その他の情報を明らかにすることができる。
MVPAは、特定の刺激に反応する活性化のヒト固有のパターンを識別し、脳の活性化パターンのみからその刺激を再構築することができる。例えば、MVPAがビデオから脳反応を学習するように訓練された後、ユーザーの脳の活性化からのビデオを再構築することができる。まず、ユーザーにビデオクリップを見せ、各ビデオに応じた各ユーザーの特異的な活動パターンをMVPAを用いて分析して、ビデオの要素に関連する脳活動を識別することができる。学習エピソードの後、脳活動のみでビデオから十分な要素を識別して、データベースに保存されたビデオの要素に脳活動をマッチさせることにより、ビデオを再構築することができる。
しかしながら、MVPAは主にMRI神経イメージングに適用される。MRIは有力な神経イメージング手法であるが、大型の超伝導磁石に頼るので、モバイル環境では脳イメージング装置を実用することができない。fNIRS等の光学的イメージング法は比較的新しいが、多種多様な利用および適用に拡張可能な低コストのウェアラブルソリューションの可能性をもたらす。
一実施形態によれば、MVPAおよびfNIRSを組み合わせて、MVPAにおいて実行可能な分析アプローチに実行可能なウェアラブルデバイスを提供して、数十から潜在的には数百の脳活動パターンを区別可能な新奇のBCI−ソフトウェアインタラクションおよび機能を提供することができる。
テレパシー検索を提供するBCIシステムに関して、学習フェーズは刺激に反応する脳活性パターンの学習に用いられ、検索フェーズは心的表象を検索可能なコンテンツとマッチする際に用いられる。学習フェーズにおいて、システムは、所与の種類のコンテンツ(例えばビデオ、音楽)に応じる脳活動の安定的なパターンを識別する。パターンは、コンテンツの種類に適した方法(例えば、写真またはビデオの場合は画像プロパティ)で分類される。繰り返すが、利用可能な神経イメージング装置の例として、fNIRS、EEG、MEG、MRI等が挙げられる。繰り返すが、脳活動の取得または分析の方法の例として、変形ランベルト・ベールの法則、事象関連コンポーネント、マルチボクセルパターン分析、スペクトル分析、fNIRSに対するMVPAの利用が挙げられる。
図7は、一実施形態に係る、テレパシー検索を提供するBCIシステム700を示す。図7において、BCI追跡モジュール710は、ディスプレイ720上の画像または単語に関する脳活動測定値をモニタする。BCI検索調整モジュール730は、ユーザーが検索を実行している間に、以前のBCIと単語との関連を読み出す。このような関連は、検索結果の加重または順序付けに用いられる。訓練システム740は、ユーザーの脳活動を測定している間に刺激(景色、音、におい、感触等)または組合わせを表示し、こうすることで、BCI尺度が特定の画像または単語と関連付けられる。
図8は、一実施形態に係るBCIシステム800を用いた無線テレパシー情報伝達を示す。図8において、2人の対象、第1のユーザーすなわちユーザー810と第2のユーザーすなわちユーザー820との間に無線情報伝達802が提供される。一実施形態に係るBCIシステムにより、ユーザーは脳波その他の脳活動尺度を用いて、単語および記号を伝達することができる。ユーザーはまず、例えばテレパシー検索に関して上記で説明したように、同じ刺激に対する共通の脳活動尺度について、BCIシステムを訓練する。そして、一方のユーザーがその刺激に関する思考パターンを用いたとき、BCIシステムはその同じ刺激を表示することにより、他方のユーザーに通知し、こうして一種の“マインドリーディング”が可能となる。ユーザーインターフェースは、単純な単語および記号を用いるテキストチャットUIのような外観であってよい。ユーザーインターフェースは、聴覚ベースまたは触覚ベースのシステムであってよい。
無線情報伝達は、映像830および/または音850を含んでよい。映像に関して、ユーザーは、各々の脳活動尺度が取られている間、同じ画像を見る(832)。第1のユーザー(ユーザー810)が画像Xを引き出すことを考える(834)。第2のユーザー(ユーザー812)は、ユーザーが考えていた画像Xが表示されるのを見る(836)。
音に関して、ユーザーは、各々の脳活動尺度が取られている間、同じ音を聞く(852)。第1のユーザー(ユーザー810)が音Xを引き出すことを考える(854)。第2のユーザー(ユーザー812)は、ユーザー810が考えていた音Xをヘッドフォンを介して聞く(856)。送出側のユーザーはUI上で識別されてよい。ユーザーは、メッセージの受取りを選択することを考えることができる。
繰り返すが、利用可能な神経イメージング置の例として、fNIRS、EEG、MEG、MRI等があげられる。繰り返すが、脳活動の取得または分析の方法の例として、変形ランベルト・ベールの法則、事象関連コンポーネント、マルチボクセルパターン分析、スペクトル分析等が挙げられる。
図9は、一実施形態に係るテレパシーコンテキスト検索を実行するネットワークシステム900を示す。図9において、ネットワーク化されたBCIモジュール910は、他のユーザーのBCIシステム920からの無線伝送をモニタする。UI930(例えばチャットインターフェース)は、別の人間からの脳活動尺度に関連する刺激を表示する。刺激の例としては、音、単語、触覚等の他の感覚または組合わせも挙げられる。訓練システム940は、ユーザーの脳活動が測定される間、刺激(例えば景色、音、におい、触覚等)または組合わせをユーザーに表示する。これにより、脳活動尺度を特定の画像に関連付けることができる。生体認証・環境センサーアレイ950は、刺激の提供および脳活動測定結果の取得に用いられてよい。ユーザー活動(例えばウォーキング、ランニング、誰かとの会話)を判定するコンテキスト構築ブロック960が展開されてよい。センサーアレイ950は、ユーザーの頭部に装着されてよい。
図10は、一実施形態に係る、BCIシステムを用いてテレパシー拡張現実を提供するためのフローチャート1000である。BCIシステムにより、ユーザーは、意識的に思考を指揮することにより、拡張現実(AR)オブジェクトを見て、聞き、感じることができる。BCI入力をモニタし、ユーザーが意図的に呼び出し得ない対応するAR経験を提示することにより、ARオブジェクトが提示されてよい。先の関連の開示において説明されたように、BCIシステムは脳活動尺度を特定の画像に関連付けるように訓練され、よって、ユーザーがマッチング脳活動パターンを生じたときにその画像を表示することができる。
図10において、BCIシステムはBCI入力をモニタする(1010)。パターンマッチが検出されたか否かについて、判定がなされる(1020)。検出されない場合(1022)、システムはBCI入力のモニタを継続し、マッチの有無についてBCI入力を分析する。パターンマッチが検出された場合(1024)、BCIシステムは、パターンマッチと相関するARを反映するレンダリングを作成する(1030)。そして、システムはAR経験を再生する(1040)。その後、BCIプロセスは戻って(1042)、BCI入力のモニタリングと、マッチの有無についてのBCI入力の分析とを継続してよい。
AR経験は、BCIシステムによるモニタリングの結果として起動される。AR経験は、視覚、聴覚、触覚その他の感覚ベースの経験であってよい。更に、ユーザーは、ARキャラクターの動作を思考によって指揮することができる。これにより、ユーザーは、動いたり競争したりするARキャラクターを制御するゲームをプレーすることができる。更に、BCIシステムは、現在のBCI入力とインタラクトし得るキューについて、環境をモニタしてよい。例えば、システムがオブジェクト認識を実行することができ、ユーザーがアニメーションに関する脳活動尺度を生じた場合、認識されたオブジェクトをアニメーション形式で提示してよい。別の実施形態において、ユーザーは、オブジェクトの姿勢を考えることにより、オブジェクトの3D定位を発動することができる。MINDBENDER(登録商標)等の単純なシステムにより、ユーザーは集中を利用してオブジェクトを動かすことができる。しかしながら、そのような単純なシステムはARの提示または制御を伴わない。
図11a〜11dは、一実施形態に係るARの提示および制御の例を示す。ユーザーがトカゲ1112に対応する脳活動尺度を生じた場合、図11aのAR1110が提示されてよい。この例では、ユーザーはマーカー軌跡1120を配列し、トカゲ1112との脳活動マッチを生じ、そしてAR経験が表示されるのを見る。図11bにおいて、AR1110はタブレット1114からマーカー軌跡1120上に移動している。図11cにおいて、AR1110はマーカー軌跡1120に沿って、ラップトップ1140に向かって更に移動している。図11dにおいて、AR1110はラップトップ1140に到達している。図11a〜11dの表示は、電話、ヘッドマウントディスプレイその他の知覚モダリティによるものであってよい。
図12は、一実施形態に係るテレパシー拡張現実を提供することができるシステム1200を示す。繰り返すが、fNIRS、EEG、MEG、変形ランベルト・ベールの法則、事象関連コンポーネント等のセンサーおよび検出器1210が、生体認証・環境センサーアレイ1212と共に利用されてよい。脳活動センサーアレイは、ユーザーの頭部に装着されてよい。一実施形態において、AR対応のコンピューティングデバイス1220は、メディアシステム1230と共に用いられてよい。メディアシステム1230の例として2つのフェイシングカメラ(facing camera)1232が挙げられ、そのうち一方はトップフェイシングカメラであってよい。
ARレンダリングモジュール1240は、確実な方法で、自動的にARキャラクターを環境に融合させることができる。認識されたセンサー入力のデータベース1250が用いられ、ARキャラクターおよびAR環境コンテンツが実施される。顔検出サブシステム1260は、対象の顔を識別するために設けられてよい。更に、ビデオアナリティクス1270は、オブジェクト認識1272、投射ビーコン追跡1274および環境特性認識1276を含んでよく、例えば、ARキャラクターが床を通り抜けないようにそのアクションを拘束する水平面を認識する。RFIDスキャナシステム1280は、タグが埋め込まれたオブジェクトのスキャンに用いられてよい。統合プロジェクター1234も利用されてよい。
BCIシステム1200は更に、BCI‐ARマッピングモジュール1282を備えてよい。BCI‐ARマッピングモジュール1282は、BCIミドルウェア1284から入力を受信し、入力をAR経験にマッピングする。脳活動パターンのデータベース1286は、AR経験へのマッチを提供する。このようなマッチは、ユーザーに関して“追加設定なし(out of the box)”の全般的なものであってよく、或いはマッチングプロセスを経て作成されてもよい。AR提示システム1288はBCIセンサー1210に接続されてよく、無線であっても有線であってもよい。また、ユーザーがARキャラクターの“マインドコントロール”で競うことのできるゲームモジュール1290が実装されてよい。
図13は、一実施形態に係る、BCIシステム1300によって提供される心的デスクトップ空間の再現に用いられる視空間の皮質再現を示す。BCIシステム1300により、デジタルデバイスおよびコンテンツ機能のアクセス、ナビゲーション、コマンドおよび制御に関して、心的デスクトップの利用が可能となる。現在利用可能な人間‐コンピューターインターフェースは、デジタルデバイスおよびコンテンツのアクセスおよび制御のためのインタラクティブ・プラットフォームを提供するために、身体的感覚(例えば視覚)と身体の動作(例えば、手でマウスまたはキーボードを操作すること)に頼っている。このような身体的かつ知覚的な入力および制御は限られており、より新奇で効果的な人間‐コンピューターインターフェースの表現の可能性が制限される。脳‐コンピューターインターフェースを提供する既存のシステムは脳波記録(EEC)技術に基づき、出力を定義し入力をオープンエンドのままにしておく所定のライブラリから機能を制御する。更に、電気的活動のスペクトル分析を用いて入力が提供される。この点は、一実施形態に係る視覚的BCI作業領域で心的ジェスチャーが用いる空間的情報および脳半球情報の利用と、根本的に異なる。
図13に関して記載される実施形態によれば、BCIシステム1300により、ユーザーは視野の様々な区画に意識を集中させることで、コンピューティングデバイスを操作することができる。この視野を“心的デスクトップ”と称する。ユーザーがこの視野の左上象限を思い浮かべるか或いは注意を向けると、関連するコマンドを実行することができる。しかしながら、これは、ユーザーが目の焦点をその領域に移すのではなく、単にその領域について考える(すなわち視覚化する)ことができることを意味する。視野の領域は、脳活動尺度に対して特に強いマッピングをもつ。
図13は、左視野1310および右視野1320を含む心的デスクトップを示す。左視野1310は、左左上象限1312、左右上象限1314、左左下象限1316および左右下象限1318を含むように構成される。右視野1320は、右左上象限1322、右右上象限1324、右左下象限1326および右右下象限1328を含むように構成される。
網膜からの視覚信号は、視神経が部分的に交叉する(1332)視交叉1330に到達する。各網膜側の画像は、視交叉1330の視神経を介して脳の反対側に移る。一方、一時的な画像は同じ側に留まる。このようにして、両目の左右の視野からの画像が脳の適切な側に送られ、両側が結合される。これによって、右視野に注意を払う両目の部分を、脳の左視覚系において処理することが可能となる(逆もまた同様である)。視索の終点は左膝状体1340および右膝状体1360である。左膝状体1340および右膝状体1360は、目の網膜から受け取られる視覚情報の一次的な中継局である。左膝状体1340および右膝状体1360は、視索を介して視交叉1330から、また網様体賦活系から、情報を受け取る。左膝状体および右膝状体からの信号は、一次視覚野1390への直接経路として機能する視放射1370,1372を通って送られる。更に、左膝状体1340および右膝状体1360は、一次視覚野から多数の強力なフィードバック結合を受ける。マイヤー係蹄1380,1382は視放射の一部であり、それぞれ左外側膝状体1340および右外側膝状体1360を終了させ、一次視覚野1390へ突き出る。視覚野1390は、視覚情報の処理を担当する。
“心的デスクトップ”に関して、コンピューターインターフェースのナビゲーション、コマンドおよび制御を達成するために、視標追跡技術が用いられてよい。しかしながら、視標追跡技術は物理的空間に限定され、典型的なオペレーティングシステムモデルと同じ制約を受ける。例えば、視線を上げて左に移すことが、その領域にマウスポインタを移動させる場合に用いられてきた。
コンピューターインターフェースは、コンピューターディスプレイ上の物理的空間に再現されるデジタルのデスクトップ空間を利用する。対照的に、一実施形態に係る心的デスクトップは、物理的デスクトップを心的作業領域(すなわち心的デスクトップ)にデタッチし、半側視野と呼ばれる個人の視野の領域に基づいて、作業領域を視空間領域に分割する。
視覚情報は、本来左目と右目とによって分離されだけでなく、左目および右目において上下左右の区画に分離される。このような区画によって半視野が形成され、半視野はそれぞれ対応する脳領域において再現される。対応する脳領域において網膜の領域が再現されるので、半視野周辺の脳の組織は網膜部位組織(retinotopic organization)と呼ばれる。
心的デスクトップの作業領域は、視空間内の領域を見る、すなわち思い浮かべることにより、割り当てられる情報(例えばアプリケーションショートカット、ファイル、メニュー)のアクセスを促進する。つまり、心的デスクトップは、ユーザーが現在のオペレーティングシステムにおけるデジタルデスクトップと同じように使うための、想像上のデスクトップ空間を形成する。
心的デスクトップは、ヒト一次視覚野の網膜部位組織を介して8つの半側視野を抽出することにより、BCIシステムによって実行されてよい。図14は、一実施形態に係る光学システム1400の図である。図14において、視神経1410は、目1412から脳の後頭葉のヒト一次視覚野1420につながる。
視覚信号は、目1412から視神経1410を通って視交叉に伝わる。例えば、正中線の右側に右上視野を見るすなわち視覚化すると、右目の右上の同じ半視野に対応する視覚野に、同時に脳活動が生じる。視覚野の網膜部位組織により、ユーザーがアクセスを望む領域を心的デスクトップが識別する際に利用可能な情報に脳活動からデコードされた視空間情報を利用することができる。上述のように、各網膜側の画像は、視交叉1430の視神経1410を介して脳の反対側に移る。一方、一時的な画像は同じ側に留まる。外側膝状体1440(左および右)は、目1412から受け取られる視覚情報の一次的な中継局である。
信号は、膝状体1440から視放射1450を通って送られる。視放射1450は、一次視覚野1420への直接経路である。無意識の視覚入力は、網膜から上丘1460に直接送られる。
表1は、視交叉と、左膝状体および右膝状体と、マイヤー係蹄を含む視放射とを介する、左視野および右視野の象限の視覚野へのマッピングを示す。
Figure 2016513319
図15は、一実施形態に係る、生理的に分離された視空間1500の区画を示す。BCIシステムは、生理的に分離された視空間の区画にコンテンツを割り当てる。図15において、視空間1500は、左半視野1510および右半視野1520にまとめられる。視空間1500はまた、上半視野1530および下半視野1540にまとめられる。このように、一実施形態によれば、視空間1500はコンテンツを割り当てられてよく、これは視空間1500の適切な領域の視覚化に基づいてユーザーが実行し得る。コンテンツは、例えばアプリケーションショートカット、ファイルポインタ、ファイル等、どんなものでもよい。ユーザーは、特定の半視野を単純に見るすなわち視覚化すれば、その位置に割り当てられたコンテンツならどんなものでもアクセスすることができ、コンテンツは、その生理的に分離された視空間の区画に従って見られるすなわち視覚化される。視空間1500の8つの半視野はそれぞれ、半視野空間での視覚化その他の活動によってアクセスされる空間において該領域に割り当てられたコンテンツを有してよい。例えば、左左上半視野に第1のアプリケーションショートカット1550が割り当てられてよく、左左下半視野にファイルポインタ1552が割り当てられてよい。
各個人の視野をマッピングして、図15に示す視空間1500の領域を視野の領域に対応するように定義するときに、訓練システムが利用されてよい。心的デスクトップの鮮明さは、視野の空間境界によって改良されてよい。更に、ユーザーは、ヘッドマウントディスプレイを用いて、心的デスクトップ上で利用可能な視空間1500の区画の視覚化を促進することができる。個人の心的デスクトップは、心的デスクトップの作業領域をどのようなデバイスでも有効にするために、リモートで保存されてよい(例えばクラウドストレージ)。
図16は、一実施形態に係るBCIシステムに利用されるヒト大脳皮質1600のモデルであり、一次運動野1610および一次感覚野1612を示す。一次運動野1610と一次感覚野1612はそれぞれ、縦のスライスで示される中心溝1630の前方と後方にある。中心溝1630は、大脳皮質のしわであり、頭頂葉1640を前頭葉1650から分け、一次運動野1610を一次体性感覚野1660から分ける脳の目立つ目印を表す。
一実施形態によれば、心的ジェスチャーは、ヒトの脳にみられる一次運動皮質および/または体性感覚皮質のような、形態的に組織化された脳領域から生じる脳活動にマップされる。これらの2つの脳領域はそれぞれ、対応する身***置の制御専用の別々の領域に分割される領域を有する。図16において、補足運動野1660は前頭葉1650のおおよそ正中線に示されている。補足運動野1660は、大脳皮質1600の中でも動作の制御に寄与する部分である。一次運動野1610は、前頭葉1650の後方部分に位置する。一次運動野1610は、動作の計画および実行に関与する。後頭頂葉1640は、身体と外部の物体とを空間内で局在化する役割を果たす3つの感覚系、すなわち視覚系、聴覚系および体性感覚系から、入力を受け取る。体性感覚系は、触覚すなわち皮膚による物理的接触によって、外部環境内の物体についての情報を提供し、筋肉および関節の刺激によって、身体部位のポジションおよび動作についての情報を提供する。後頭頂葉1640の出力の多くは、運動前野1670の領域に向かう。運動前野1670は、前頭葉1650内の、一次運動野1610のちょうど前方に位置する。運動前野1670は、四肢運動の準備および実行に関与し、他の領域と連携して適切な運動を選択する。
身体的入力または知覚入力を利用するユーザーインターフェースは、所定のアクションを実行するためにプロトコルセットを用いる。例えば、キーボードはそれぞれに文字が割り当てられたキーを用い、マウスは反応を示すためにX−Y位置およびクリックを用いる。同様に、BCIシステムは、BCI入力の幅広く実際的な利用を確立するための基盤を必要とする。一実施形態によれば、BCIシステムは、機能を実行する、或いは他の種類の入力を提供するために、心的ジェスチャーを実装し処理する。心的ジェスチャーは思考ジェスチャーのライブラリであり、思考ジェスチャーは脳活動から解釈されて、キーボード上のキーが出力の柔軟な調整のために所定の入力を提供するのと同じように、コンピューター入力として使用される。
例えば、タッチ対応表面には、ピンチ、スクイーズ、スワイプ等のジェスチャーが予め設定されている。このようなタッチジェスチャーは、タッチインターフェースと各タスクでの利用とを構築するための基盤としての役割を果たす。同様に、心的ジェスチャーは、BCIジェスチャーすなわち心的ジェスチャーのライブラリを介するBCI入力の基盤の確立について同じ原理に従って、各タスク、更にはプラットフォームでの利用を可能にする。
心的ジェスチャーは、思考によって実行可能であり、脳活動から直接的に記録される。実際の動作に基づくタッチジェスチャーとは対照的に、心的ジェスチャーは想像上の運動動作である。心的ジェスチャーのライブラリと、単一の様式(例えばタッチ)ではなく多様な想像上の動作を用いることの柔軟性とを組み合わせると、BCIシステムに対して極めて強力なインターフェースの可能性が示される。従来の入力に優る心的ジェスチャーの利点の例として、(1)ユーザーは情報を身体的に入力する必要がなく、四肢をもたない人や四肢を動かせない人がアクションを実行できるようになること、(2)心的ジェスチャーは、身体的入力(例えばキック)ほど実際的ではない想像上の運動動作からでも生じ得ること、(3)可能な心的ジェスチャーの種類により、手動入力に頼る従来の入力(マウス、キーボード、トラックパッド等)に優る柔軟性と実用性が拡大されること、(4)多くの脳が独立した運動信号を発生し得る左右分化した脳半球を有するので、心的ジェスチャーは半球特異的であり得ること、が挙げられる。
心的ジェスチャーの例として、限定ではないが、単一の指動作、様々な数の指動作(例えば1、2または3の指動作)、手を振ること、キック、つま先動作、まばたき、首を曲げること、うなずき、腰を曲げること等が挙げられる。心的ジェスチャーによって表される動作は純粋に想像上の動作であり、様々なコンピューター入力と関連付けられてよい。例えば、オペレーティングシステムは、単一の指動作と2本の指動作とに異なる機能性を割り当ててよい。或いは、メディアプレーヤーは、異なる心的ジェスチャーにその各機能(例えば再生/一時停止、巻き戻し、シャッフル等)を割り当てることができる。
心的ジェスチャーの可能な実装例のひとつに、開発者が彼らのソフトウェアの独自機能に割り当てる心的ジェスチャーのライブラリを有する、ソフトウェア開発キット(SDK)がある。SDKは、システム用のアプリケーションの作成を可能にするソフトウェア開発ツールセットである。SDKにより、開発者は、柔軟でオープンエンドに利用可能な心的ジェスチャーにアクセスできるようになる。例えば、ビデオゲームの開発者は、心的ジェスチャーSDKを用いて、ビデオゲームのアスペクトに対するBCI制御を開発することができる。モバイル相手先ブランド名製造業者(mobile original equipment manufacturer;OEM)は、心的ジェスチャーSDKを用いて、モバイルデバイスの独自機能に対する心的ジェスチャー制御を開発することができる。
また、心的ジェスチャーは、複数の入力ソースを組合わせ可能な別のシステムと共に用いることができる。クロスモーダルの知覚的コンピューティングソリューションがある場合、心的ジェスチャーは、他の知覚入力と組み合わされる追加的な入力ソースであってよい。例えば、エアージェスチャーを心的ジェスチャーと組み合わせて、左側または右側の心的ジェスチャー入力に基づいて、左手または右手のエアージェスチャーをコードすることができる。
図17は、ヒト大脳皮質の中心前回の一次運動野1710の形態的構造を示すモデル1700である。身体の各部位は大脳皮質の別々の領域によって再現され、大脳皮質の量はそれぞれの身体部位の制御に関連する。図17は、足1720、臀部1722、胴体1724、腕1726、手1728、顔1730、舌1732および喉頭1734の動作の準備および実行を担当する領域を示す。
心的デスクトップの実装には、隣接する領域を区別するのに十分な狭さの大脳皮質の区域から信号を抽出するのに十分な高さの空間分解能を有するのであれば、どのような脳イメージング装置が用いられてもよい。現在利用可能な装置の例として、密電極EEG、fNIRS、MRI、MEGが挙げられる。
脳からの各信号について、脳半球(左または右)、空間的位置および領域が運動信号源のコードを担当する。例えば、左人さし指の活動または想像上の活動により、右脳半球の指領域において活動が生じる。心的ジェスチャーは左の単一の指動作をコードし、活動している領域の位置と量は、正確な指と指の数(すなわち、1、2、3または4本の指ジェスチャー)をコードする。
このように、一実施形態に係る心的ジェスチャーを入力に用いる心的デスクトップを実装するためのシステムは、fNIRS、EEG、MEG、MRI、超音波等の神経イメージング装置を含んでよい。脳活動の取得または分析の方法の例として、変形ランベルト・ベールの法則、事象関連コンポーネント、マルチボクセルパターン分析、スペクトル分析、fNIRSに対するMVPAの利用が挙げられる。
一実施形態によれば、BCIシステムは、コンピューターのコンテンツおよび機能を視野の異なる区画にマップする心的デスクトップを提供する。BCIシステムにより、ユーザーは上記で言及したシステムのアプリケーションの訓練を受けることができる。コンピューターのナビゲーション、コマンドおよび制御を達成するために、脳活動から解釈される思考ジェスチャーのライブラリが用いられてよい。更に、ソフトウェア開発者が心的ジェスチャーを利用できるようにするために、開発システムが提要されてよい。
図18は、一実施形態に係る、BCI尺度および他のモダリティをアプリケーションに割り当てるためのユーザーインターフェース1800を示す。図18において、左にアプリケーション1810の列を示し、右にBCI尺度および他のモダリティ1820を示す。他のアプリケーション1810、他のBCI尺度および他のモダリティ1820が実装されてよい。BCI尺度および他のモダリティ1820は、左側のアプリケーション1810の少なくとも1つに対する割当てのために選択されてよい。このように、一実施形態に係るBCIシステムはマルチモーダルシステムにおいて使用されてよい。
BCIを他のモダリティ(例えばジェスチャー、声、視標追跡、顔/表情追跡)と組み合わせることにより、新しいユーザーエクスペリエンスと、ユーザーが電子デバイスを制御する新しい方法とを提供することができる。このように、一実施形態に係るBCIシステムは、BCIタイプの入力と他のモダリティとの両方を認識する。更に、脳活動誘発を伴うフィードバックループに対するアプローチが実装されてよく、コンテキスト検知によりBCI入力の利用が変更されてよい。
図19は、一実施形態に係る、BCI入力1910およびタオのモダリティ入力1912を受け取るBCIシステム1900を示す。図19において、アプリケーション1920を伴って実装されるBCIシステム1900に、BCI入力1910が供給される。アプリケーション1920を伴って実装されるBCIシステム1900には、追加モダリティ1912も供給される。しかしながら、一部のBCI入力1910と追加モダリティ1912とは、相互排他的であってよく、共に用いられてもよい。知覚コンピューティング‐BCIデータベース1930を用いて、入力とBCI入力とがどの程度自然に協働するかについてのヒューリスティクスを保持してよい。調整モジュール1940は、BCI入力1912、追加入力モダリティ1912およびデータベース1930からの知覚コンピューティング入力を受信し、決定されたユーザー意図について決定を行う。調整モジュール1940は、BCIアプリケーション調整モジュール1970からの結果に基づいてユーザー意図の最終決定を行い、最終コマンドを開始する。UI1960は、図19に示すように、アプリケーション1920に対してBCI1910および追加モダリティ1912の入力を割り当てる際に用いられてよい。アプリケーション関連性データベース1932は、BCI/アプリケーション関連性を保存するために用いられてよい。BCIアプリケーション調整モジュール1970は、割り当てられたアプリケーションが動作しているか否かをモニタし、関連アプリケーションについてBCI制御を開始する。
BCI入力品質モジュール1972は、センサー入力を劣化させる環境信号をモニタする。BCIシステムは更に、因子条件の因子データベース1934を有する。因子データベース1934は、上述の変数と、特定の形式の入力1910,1912を阻害するレベルとを含む。ディレクターモジュール1980は、入力1910,1912を受け取り、因子データベース1934に対して該入力を加重し、アプリケーション1920にコマンドを送って入力1910,1912をどのように使用するか(例えばオフにする、オンにする、一部の尺度の加重を他よりも大きくする等)を制御する。コンテキスト構築ブロックサブシステム1982は、環境因子およびユーザー因子を測定する。ディレクターモジュール1980により、干渉の可能性が発生しているか否かの判定がなされる。干渉が検出された場合、ディレクターモジュール1980はBCI入力1910を調節する。
手のジェスチャー、声、視標追跡等の入力モダリティの場合、1つの課題は、そのようなモダリティのうち1つを用いて、システムに緊急コマンドを通知することである(例えば声コマンド)。システムは、実際のコマンドの前後の偶発性のノイズまたは動作を、コマンドとして解釈するおそれがある。コマンド直前のユーザーからのBCIパターンにより、次の大きなセンサー検出イベントがコマンドとして解釈されてよいことを示すことができる。
システムが1以上のモダリティから同時に入力を受ける場合、BCI入力は、どのモダリティが優先されるべきかを示すことができる。クロスモーダルBCI入力の利用例のひとつは、ジェスチャーが右と左のどちらのハンドジェスチャーベースであるかを判定するためにBCI入力を利用することである。或いは、BCI入力は、入力コマンドを強化するために、別のモダリティと同時に用いられてよい。例えば、脳活動パターンは声コマンドと同時に測定されてよい。脳活動パターンは、システムが2つの類似する発音コマンドを区別できるようにするために用いられてよい。
一実施形態に係るBCIシステムは、装着者の視点からの音声およびビデオを記録するライフブロギング(life blogging)および“完全記憶”システムを含み、認知障害をもつ人々の援助に用いることができる。ソフトウェアアルゴリズムは、センサー入力のアスペクトの決定に用いられてよい。例えば、記憶障害をもつ高齢者がかかる装置を装着し、BCIが電気パターンおよび/または血流から混乱状態を検出した場合、システムは、ユーザーに視野内の人や物の名前を思い出させる音声情報をイヤホンから提供することができる。
見るコマンドおよび考えるコマンドおよび追跡が提供されてよい。ユーザーは、視標追跡入力を用いてターゲットを選択し、BCIシステムを用いて、集中を向けているターゲットに作用するための入力を提供することができる。例えば、ユーザーが見ているオブジェクトが、脳活動パターンに基づいて色を変える。この例は、視覚的媒体にも適用可能である。例えば、ユーザーがキャラクターに集中を向けると、ユーザーの脳活動パターンは、そのキャラクターにより興味深いものとしてマークを付けることができえる。更に、ユーザーが読書をするとき、混乱を検出して理解できなかった文章を示すことができ、これは教育に有用である。
BCI入力は、クロスモダリティ割込みに対処するのに用いられてよい。BCI入力は、別のモダリティに応答しているシステムに割り込むのに用いられてよい。例えば、ゲームにおいて、ユーザーはエアージェスチャーを用いてキャラクターをある方向に動かし、それからBCI入力の変更を用いてキャラクターを停止させることができる。また、BCI入力と共にUIフィードバックが用いられてもよい。例えば、BCIシステムは、システムがBCI入力を識別した場合に様々なフィードバックをユーザーに提供してよく、これによりユーザーは、入力が受け取られ確認されたことを知ることができる。BCIフィードバックは、他のモダリティフィードバック(例えばジェスチャー)と共に生じ得る。更に、UIはBCI入力のユーザーマッピングに用いられてよい。ユーザーインターフェースにより、ユーザーは脳活動パターンを所与のモダリティにマップすることができ、結果として、対応するBCIパターンが生じた場合に、システムが該モダリティにとって絶好のタイミングでコマンドを有効化することができる。ユーザーは、脳活動パターンを所与のモダリティにマップすることができ、よって、検知される入力が脳活動パターンおよび別のモダリティと相関するので、システムのコマンドの認識の信頼性が高くなる。ユーザーはまた、別のパターンが異なるモダリティをアクティブにする一方で、1つのパターンが相関するモダリティがアクティブである可能性を意味するように、異なるモダリティを異なる脳活動パターンにマップすることができる。
BCI入力はまた、システムリソースのアクティブ化に用いられてよい。例えばシステムは、ユーザーがより覚醒した場合に、電力状態を脱するように通知されてよい。これは、ユーザーが視覚デザインを行っているときに用いられてよい。BCIシステムは、ユーザーがブラウジングモードであるときに、プロセッサがスリープ状態に移行できるようにすることができる。脳活動パターンが、ユーザーが行動(例えば、編集を行う)を起こしそうであることが示した場合、ユーザーがその行動を開始したときにプロセッサの反応が速くなるように、システムはプロセッサの出力を上げることができる。
一実施形態によれば、BCIシステム1900により、ユーザーはBCI入力を1つのアプリケーションに割り当てることができる。該アプリケーションはフォーカスをもたなくてよく、ここでフォーカスとは、現在OSに注目されているアプリケーションを意味する。その結果、ユーザーが何か他のことをしていても、アプリケーションはBCI入力に応答する。UIにより、ユーザーはアプリケーションを割り当てることができる。
実施形態の他の例として、音楽および音声の実装が挙げられる。ここでは、ユーザーが文章を編集している間に、BCI入力が制御のために受け取られる。通信チャネルは、ユーザーが生産的である間に、インスタントメッセージ(IM)クライアントを用いて、ユーザーの状態(例えば、考えるのに忙しい)を示してよい。特定の脳領域はタスクの切替えを促進し、音楽を変更するBCI入力はタスクの切替えを促進することができる。BCIシステムは音楽プレーヤーにマップされてよく、そうすれば、脳のタスク切替部位がアクティブになったときはいつでも、音楽プレーヤーは次の曲にスキップして、新しいタスクの切替えを促進する。更に、自律走行車により、運転者は運転の要求から脱して、車両内で非運転活動を楽しめるようになる。しかしながら、運転の義務が運転者に戻ってきたとき、非運転活動は引き下がる。BCIシステムは、車載インフォテインメントシステムの娯楽機能を認知作業負荷にマップして、特定の作業負荷レベルに到達したときに娯楽機能をオフにできるようにしてよい。
BCIシステムはまた、様々なBCI入力を所与の時間に利用可能にするために、ユーザーコンテキストについての判定を行うことができる。状態インジケータは、ユーザーに、いつBCI入力が入力として利用可能であるかを示すことができる。一実施形態に係るBCIシステムにより、他のコンテキストの判定が提供されてよい。例えば、ユーザーの活動は、心拍、呼吸、動作等を測定する生体認証センサー、加速度計およびジャイロスコープ、およびユーザーの姿勢(例えば、立っているか横になっているか)によって判定されてよい。特定の活動レベルにおいて、信頼性の低いBCI入力の使用はシステムによって妨げられてよく、或いは、システムは様々な状況に適応することができる。BCIシステムはユーザーが会話に熱中しているか否かを判定してよく、その情報はBCI入力として用いられてよい。コンテキスト判定を行うためのBCI入力の例として、ユーザーの注意散漫を引き起こす信頼性の高いBCI入力を阻害する環境条件、例えば音、視覚刺激、予期せぬノイズ、臭気、再生中のメディアその他の、電気的干渉(例えば磁界、気温その他の環境因子)により正確な測定を阻害し得る因子および環境条件が挙げられる。
脳活動センサーの種類によって、ユーザーが行っている所与のタスクに対する強さおよび利点が異なる。例えば、高い空間分解能が求められる例では、システムは、空間分解能の低いEEGではなくfNIRS入力を選択してよい。他の例では、速いフィードバックが求められる場合、システムはEEGか、または同じく高い時間分解能をもつ別の技術を選択してよい。環境センサーは、どのBCI入力が最適であるかに影響を与えるユーザーの活動を判定してよい。電磁エネルギーのような環境因子は、EEGによって検出可能であることが知られている。電磁(EM)エネルギーがEEGの記録に干渉する例では、BCIシステムは優れた入力ソースに切り替えてよい。
図20は、一実施形態に係る、ユーザーの意図を判定する方法2000のフローチャートを示す。BCIシステムは、ユーザーの意図を判定する(2010)。知覚コンピューティングシステムは、ユーザー入力を解釈する(2020)。そして、調整モジュールがユーザー意図の最終決定を行い、最終コマンドを開始する(2030)。
図21は、一実施形態に係る、アプリケーションを制御するためにBCI入力を割り当てる方法2100のフローチャートである。ユーザーは、BCI入力をアプリケーションとマッチさせる(2110)。BCIアプリケーション調整モジュールは、アプリケーションの利用をモニタする(2120)。アプリケーションが使用中であるか否かの判定がなされる(2130)。アプリケーションが使用中でない場合(2132)、プロセスは、BCI入力をアプリケーションにマッチさせる段階まで戻る。アプリケーションが使用中である場合(2134)、割り当てられたBCI入力を用いてアプリケーションを制御する(2140)。
図22は、一実施形態に係る、BCIシステムによってコンテキスト因子を調整する方法2200のフローチャートである。BCI入力サブシステムは動作中である(2210)。コンテキスト構築ブロックサブシステムは、環境因子およびユーザー因子を測定する(2220)。ディレクターモジュールによって、干渉の可能性が発生しているか否かの判定がなされる(2230)。発生していない場合、2232でプロセスは始めまで戻る。干渉の可能性が検出された場合(2234)、ディレクターモジュールはBCI入力を調節する(2240)。プロセスは始めまで戻ってよい(2242)。
このように、本明細書に記載の実施形態によれば、脳/頭蓋骨の解剖学的特徴(脳回形成(gyrification)、皮質厚、頭皮厚等)を識別/認証の目的で用いることができる。測定される刺激/反応脳特性(例えば解剖学的および生理的な)は、脳を識別/認証の目的で分類するために、特定のパターンに変換されてよい。解剖学的および生理的な脳データは、ユーザーの識別および真正を判定するために結合されてよい。他の脳シグネチャ(例えば解剖学的および生理的な)についての情報と、類似の脳との比較とを、新しい刺激に対する脳反応の予測の目的で、また、識別および/または認証の目的で、用いることができる。脳の識別および/または認証の技術を他の識別および/または認証の技術(パスワード、他の生体認証パラメータ等)と組み合わせて、識別/認証の感度および特異度を高めることができる。
図23は、一実施形態に係る、収集される生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(BCI)システムを提供する例示的な機械2300を示すブロック図であり、機械2300において、本明細書に記載の手法(例えば方法)のいずれか1以上が実行可能である。代替の実施形態では、機械2300はスタンドアロン装置として動作してよく、或いは他の機械と接続(例えばネットワーク化)されてもよい。ネットワーク化された配置において、機械2300は、サーバー‐クライアントネットワーク環境におけるサーバーマシンおよび/またはクライアントマシンとして動作してよい。一例では、機械2300は、ピアツーピア(P2P)(または他の分散型の)ネットワーク環境においてピアマシンとして機能してよい。機械2300は、パーソナルコンピューター(PC)、タブレットPC、セットトップボックス(STB)、PDA(Personal Digital Assistant)、携帯電話、ウェブアプライアンス(web appliance)、ネットワークルーター、スイッチまたはブリッジその他の、該機械によってとられるアクションを特定する命令(シーケンシャル或いはその他の)を実行可能な機械であってよい。更に、単一の機械が図示されているが、“機械”という用語は、命令セット(または複数の命令セット)を個別または合同で実行して、本明細書に記載の方法のうち任意の1以上を実行する任意の機械の集合、例えばクラウドコンピューティング、SaaS(software as a service)、他のコンピュータークラスター構成等を包含するものと解釈されるものである。
本明細書に記載されるとおり、実施例は、ロジックまたは複数のコンポーネント、モジュールもしくはメカニズムを含んでよく、或いは、ロジックまたは複数のコンポーネント、モジュールもしくはメカニズムで動作してよい。モジュールは、指定された工程を実行可能な有体物(例えばハードウェア)であり、特定の方法で構成または配置されてよい。一例では、回路が、指定された方法でモジュールとして配置(例えば内部に、或いは他の回路等の外部実体に対して)されてよい。一例において、1以上のコンピューターシステム(例えばスタンドアロン、クライアントまたはサーバーコンピュータシステム)の少なくとも一部または1以上のハードウェアプロセッサ2302は、ファームウェアまたはソフトウェア(例えば命令、アプリケーション部、アプリケーション)により、指定された工程を実行するように動作するモジュールとして、構成されてよい。一例において、ソフトウェアは少なくとも1つの機械可読媒体に存在してよい。一例において、ソフトウェアは、モジュールの下層のハードウェアによって実行されると、ハードウェアに指定された工程を実行させる。
したがって、“モジュール”という用語は有体物を包含するものと理解され、指定された方法で動作するように、或いは本明細書に記載の工程の少なくとも一部を実行するように物理的に構築された、特別に構成された(例えば配線接続された)、或いは一時的に(例えば一過性に)構成された(例えばプログラム化された)実体であってよい。モジュールが一時的に構成される例を考えれば、モジュールが任意の一時にインスタンス化される必要はない。例えば、モジュールがソフトウェアを用いて構成される汎用ハードウェアプロセッサ2302を備える場合、汎用ハードウェアプロセッサは、それぞれ異なるモジュールとして異なる時間に構成されてよい。したがってソフトウェアは、ハードウェアプロセッサを構成して、例えば、特定のモジュールを一時に構成してよく、また、異なるモジュールを異なる時間に構成してもよい。“アプリケーション”という用語またはその変形は、本明細書ではルーティン、プログラムモジュール、プログラム、コンポーネント等を包含するように拡張的に用いられ、様々なシステム構成(シングルプロセッサまたはマルチプロセッサシステム、マイクロプロセッサベースの電子機器、シングルコアまたはマルチコアのシステム、それらの組合わせ等)に実装されてよい。このように、アプリケーションは、ソフトウェアの実施形態に言及する際に用いられる場合も、本明細書に記載の工程の少なくとも一部を実行するように構成されるハードウェアに言及する際に用いられる場合もある。
機械(例えばコンピューターシステム)2300は、ハードウェアプロセッサ2302(例えば中央演算処理装置(CPU)、グラフィックス・プロセッシング・ユニット(GPU)、ハードウェアプロセッサコア、またはそれらの任意の組合わせ)、メインメモリ2304およびスタティックメモリ2306を有してよく、それらの少なくとも一部はインターリンク(例えばバス)2308を介して他と通信してよい。機械2300は更に、表示部2310、英数字の入力装置2312(例えばキーボード)およびユーザーインターフェース(UI)ナビゲーション装置2314(例えばマウス)を有してよい。一例では、表示部2310、入力装置2312およびUIナビゲーション装置2314は、タッチスクリーンディスプレイであってよい。機械2300は更に、記憶装置(例えばドライブユニット)2316、信号生成装置2318(例えばスピーカー)、ネットワークインターフェース装置2320および1以上のセンサー2321(例えば全地球測位システム(GPS)センサー、コンパス、加速度計その他のセンサー)を有してよい。機械2300は、1以上の周辺機器(プリンタ、カードリーダー等)の通信または制御のための出力コントローラ2328を有してよく、例えば、直列接続(例えば、ユニバーサル・シリアル・バス(USB))、並列接続その他の有線または無線(例えば赤外線(IR))の接続を有してよい。
記憶装置2316は、本明細書に記載の手法または機能のいずれか1以上を具現化するかまたはそれに用いられる1以上のデータ構造または命令2324(例えばソフトウェア)が格納される少なくとも1つの機械可読媒体2322を有してよい。命令2324は、機械2300によって実行されている間、少なくとも部分的に、追加的な機械可読メモリ(例えばメインメモリ2304、スタティックメモリ2306)に存在してよく、或いはハードウェアプロセッサ2302に存在してもよい。一例において、ハードウェアプロセッサ2302、メインメモリ2304、スタティックメモリ2306および記憶装置2316のうち1つまたはそれらの任意の組合わせにより、機械可読媒体を構成してよい。
機械可読媒体2322は単一の媒体として示されているが、“機械可読媒体”という用語は、1以上の命令2324を保存するように構成される単一の媒体または複数の媒体(例えば、集中もしくは分散データベースならびに/または関連するキャッシュおよびサーバー)を包含し得る。
“機械可読媒体”は、機械2300による実行用の命令を保存、符号化または伝送することができ、機械2300に本開示の手法のいずれか1以上を実行させる任意の媒体、或いは、かかる命令によって使用されるか、かかる命令に関連するデータ構造を保存、符号化または伝送することができる任意の媒体を含んでよい。機械可読媒体の例として、限定ではないが、ソリッドステートメモリ、光学媒体、磁気媒体が挙げられる。一例において、集合機械可読媒体は、静止質量をもつ複数の粒子を有する機械可読媒体を備える。集合機械可読媒体の具体例として、半導体メモリ装置(例えばEPROM(Electrically Programmable Read-Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory))やフラッシュメモリ装置等の不揮発性メモリ、内部ハードディスクやリムーバブルディスク等の磁気ディスク、CD−ROMディスクやDVD−ROMディスク等の光磁気ディスクが挙げられる。
命令2324は更に、多数の転送プロトコル(フレームリレー、インターネットプロトコル(IP)、通信制御プロトコル(TCP)、ユーザー・データグラム・プロトコル(UDP)、ハイパーテキスト転送プロトコル(HTTP)等)のうちいずれか1つを利用するネットワークインターフェース装置2320により伝送媒体を用いて、通信ネットワーク2326を介して送信または受信されてよい。通信ネットワークの例として、ローカル・エリア・ネットワーク(LAN)、広域ネットワーク(WAN)、パケットデータネットワーク(例えばインターネット)、携帯電話網(例えば、符号分割多重アクセス(CDMA)、時間分割多重アクセス(TDMA)、周波数分割多重アクセス(FDMA)、直交周波数分割多重アクセス(OFDMA)等のチャネルアクセス方法、GSM(登録商標)(Global System for Mobile Communications)、UMTS(Universal Mobile Telecommunications System)、CDMA2000 1x*規格、LTE(Long Term Evolution)等のセルラーネットワーク)、POTS(Plain Old Telephone Service)ネットワーク、無線データネットワーク(例えば、電気電子技術者協会(IEEE)802.11規格(Wi−Fi)、IEEE802.16規格(WiMAX(登録商標))その他を含むIEEE802規格ファミリー)、ピアツーピア(P2P)ネットワーク、その他の既知または将来開発されるプロトコルが挙げられる。
例えば、ネットワークインターフェース装置2320は、通信ネットワーク2326に接続するために、1以上の物理的ジャック(例えばイーサネット(登録商標)用ジャック、同軸ジャック、電話用ジャック)または1以上のアンテナを有してよい。一例において、ネットワークインターフェース装置2320は、SIMO(single-input multiple-output)技術、MIMO(multiple-input multiple-output)技術およびMISO(multiple-input single-output)技術のうち少なくとも1つを用いて無線通信を行うための複数のアンテナを有してよい。“伝送媒体”という用語は、機械2300による実行用の命令を保存、符号化または伝送することのできる任意の無形媒体を包含するものとして解釈されるものであり、例として、デジタルまたはアナログの通信信号その他のかかるソフトウェアの通信を促進する無形媒体が挙げられる。
付記および実施例
実施例1は、ユーザーに供給する刺激のライブラリと、前記刺激のライブラリから前記ユーザーに刺激を供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集するデータ収集装置と、収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付けて前記ユーザーの脳シグネチャを識別し、収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンの相互関連付けによって識別された前記ユーザーの前記脳シグネチャに基づいて、プロセッサ制御機能を実行する処理装置と、を備える構成(例えばデバイス、装置、クライアントまたはシステム)を含んでよい。
実施例2は実施例1の構成を任意に含んでよい。前記処理装置は、前記ユーザーの前記脳シグネチャから導出される前記ユーザーの心的プロファイルを、所定の集団の心的プロファイルのデータベースからの心的プロファイルと比較する。
実施例3は実施例1〜2のいずれか1以上の構成を任意に含んでよい。前記処理装置は、ある範囲のトピックのいずれかについて、前記ユーザーの前記心的プロファイルのマッチの統計値および確率を計算する。
実施例4は実施例1〜3のいずれか1以上の構成を任意に含んでよい。前記処理装置は、前記ユーザーの前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンに基づいて、前記刺激に応じた前記ユーザーの心的プロファイルを構築する。
実施例5は実施例1〜4のいずれか1以上の構成を任意に含んでよい。前記処理装置は、前記ユーザーの前記脳シグネチャをデータベースから得られる個人データおよび他の特性と組み合わせて、前記ユーザーの心的プロファイルモデルを開発する。
実施例6は実施例1〜5のいずれか1以上の構成を任意に含んでよい。前記処理装置は、対象間の確率を相互に関連付け、前記ユーザーの前記心的プロファイルモデルと少なくとも1人の他のユーザーの心的プロファイルモデルとの心的マッチの統計値および確率を計算する。
実施例7は実施例1〜6のいずれか1以上の構成を任意に含んでよい。前記処理装置はユーザーの識別および認証を提供する。ユーザーの心的プロファイルは、前記刺激のライブラリから前記ユーザーへの刺激の提示に基づいて、前記処理装置によって較正段階の間に作成される。前記処理装置は更に、認証されているユーザーの心的プロファイルが、前記較正段階の間に作成された前記ユーザーの前記心的プロファイルと相関するか否かを判定する。
実施例8は実施例1〜7のいずれか1以上の構成を任意に含んでよい。前記処理装置は、ユーザーの脳‐コンピューターインターフェースシステムからの伝送をモニタし、前記ユーザーからの脳活動測定結果に関連する刺激を表示し、前記脳活動測定結果を検索して前記脳活動測定結果に関連する検索オブジェクトの場所を特定し、前記脳活動測定結果と関連する前記脳活動測定結果と相関する検索オブジェクトとのマッチに基づいて検索結果を返すことにより、テレパシーコンテキスト検索を実行するように構成される。
実施例9は実施例1〜8のいずれか1以上の構成を任意に含んでよい。前記処理装置は、脳‐コンピューターインターフェースセンサーおよび検出器と生体認証・環境センサーアレイとから入力を受信することにより、テレパシー拡張現実を提供する。前記処理装置は、入力および認識されたセンサー入力のデータベースから取得されるデータと、ARキャラクターと、AR環境コンテンツとをAR経験にマップするように構成される前記処理装置は、ARキャラクターを前記環境に融合させ、前記脳‐コンピューターインターフェースセンサーおよび検出器と前記生体認証・環境センサーアレイとからの前記入力から導出されるユーザー意図に基づいて、前記AR経験をユーザーに提示する
実施例10は実施例1〜9のいずれか1以上の構成を任意に含んでよい。前記処理装置は、ユーザーの左目および右目のそれぞれについて左半視野および右半視野を再現する心的デスクトップを作成する。前記処理装置は更に、それぞれの目を上方区画と下方区画とに分離し、ここで前記心的デスクトップは、前記ユーザーの視野において情報が割り当てられた8つの領域を備える。前記処理装置は、前記心的デスクトップの領域の心的視覚化を検出し、心的に視覚化された前記領域に割り当てられた前記情報に従って機能を実行する。
実施例11は実施例1〜10のいずれか1以上の構成を任意に含んでよい。前記処理装置は、前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンと、アプリケーションによる実装用に受信される追加入力モダリティと、知覚コンピューティング‐BCIデータベースからの知覚コンピューティング入力とを含む受信された入力を分析するように構成される。前記処理装置は更に、前記入力および知覚コンピューティングデータベースから取得される前記入力と関連する相互関連性データと、因子データベースから取得される因子とに基づいて、前記ユーザーの意図を判定するように構成される。ここで、前記処理装置は、判定された前記ユーザーの意図に基づいてコマンドを開始する。
実施例12は実施例1〜11のいずれか1以上の構成を任意に含んでよい。前記処理装置は、干渉が発生しているか否かを判定し、前記干渉を占めるように前記ユーザーの前記生物物理的信号の時間的パターンおよび空間的パターンを調節するように構成される。
実施例13は実施例1〜12のいずれか1以上の構成を任意に含んでよく、前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンと追加モダリティ入力とをアプリケーションに割り当てるためのユーザーインターフェースを更に備える。
実施例14は、実施例1〜13のいずれか1つの構成を含んでよく、或いは実施例1〜13のいずれか1つの構成と任意に組み合わされてよく、ユーザーに刺激を供給するステップと、前記刺激を前記ユーザーに供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集するステップと、収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付けて、ユーザー脳シグネチャを識別するステップと、収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンの相互関連付けによって識別された前記ユーザー脳シグネチャに基づいて、プロセッサ制御機能を実行するステップと、を含む構成(例えば工程を実行するための方法または手段)を含む。
実施例15は実施例14の構成を任意に含んでよい。前記プロセッサ制御機能は、前記ユーザーの識別されたパターンとユーザー群に共通するパターンとの類似を少なくとも1つ判定することを含む。
実施例16は実施例14〜15のいずれか1以上の構成を任意に含んでよく、更に、ユーザーに脳モニタ装置を提供するステップと、前記ユーザーに前記刺激に関連する一連の経験を経験させるステップと、を含む。ここで、収集された前記時間的パターンおよび空間的パターンを相互に関連付ける前記ステップは、収集された前記空間的および時間的な脳活動パターンを特徴づけて、前記ユーザー脳シグネチャを特定するステップを含む。
実施例17は実施例14〜16のいずれか1以上の構成を任意に含んでよい。プロセッサ制御機能を実行する前記ステップは更に、前記ユーザー脳シグネチャに基づいて、前記ユーザーの特徴的な心的プロファイルを構築するステップと、心的嗜好および人格特性のモデルを確立するステップと、確立されたモデルを用いて前記ユーザーの人々の団体との親和性を予測するステップと、を含む。
実施例18は実施例14〜17のいずれか1以上の構成を任意に含んでよい。収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付ける前記ステップは更に、刺激に応じて記録された脳活動パターンを前記刺激に関連する特徴的な心的プロファイルに変換するステップと、各個人について前記刺激に対する心的プロファイルをデータベースに保持するステップと、個人データおよび特性を前記心的プロファイルに組み込むステップと、前記ユーザーの前記刺激に応じた前記心的プロファイルと他のユーザーの前記刺激に関連する少なくとも1つの心的プロファイルとの心的マッチを識別するステップと、心的マッチの確率的またはパーセンテージスコアを提供するステップと、を含む。
実施例19は実施例14〜18のいずれか1以上の構成を任意に含んでよい。ユーザーに刺激を供給し、前記ユーザーに刺激を供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集し、収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付ける工程は、更に、前記刺激に基づいてユーザーの脳シグネチャを較正するステップと、現在測定される脳シグネチャと前記較正された脳シグネチャとを比較することにより、前記ユーザーを認証するステップと、を含む。
実施例20は実施例14〜19のいずれか1以上の構成を任意に含んでよい。ユーザーの脳シグネチャを較正する前記ステップは、ユーザーに刺激セットを提示して脳活動反応を誘発するステップと、提示された前記刺激セットに応じた脳の解剖学的構造および活動を測定するステップと、前記脳の解剖学的構造および活動の測定結果のパターン認識を実行して、前記ユーザーの脳シグネチャを創出するステップと、創出された前記脳シグネチャを保存するステップと、保存された前記脳シグネチャを所定の集団の解剖学的および生理学的脳シグネチャのデータベースに加えるステップと、を含む。
実施例21は実施例14〜20のいずれか1以上の構成を任意に含んでよい。刺激セットを提示する前記ステップは更に、前記ユーザーに思考を経験させて、特定の特徴的な脳活動を誘発するステップを含む。
実施例22は実施例14〜21のいずれか1以上の構成を任意に含んでよい。前記ユーザーに思考を経験させるステップは、前記ユーザーに、一連の記憶された思考と、筋活性化パターンと、想像上の活動とからなる群から選択される1つを経験させるステップを含む。
実施例23は実施例14〜22のいずれか1以上の構成を任意に含んでよい。脳の解剖学的構造および活動を測定する前記ステップは、機能的近赤外分光法、脳波記録、脳磁図、磁気共鳴イメージングおよび超音波のうち少なくとも1つを用いて、脳の解剖学的構造および活動を測定するステップを含む。
実施例24は実施例14〜23のいずれか1以上の構成を任意に含んでよい。脳の解剖学的構造および活動を測定する前記ステップは、解剖学的特徴を測定するステップを含む。
実施例25は実施例14〜24のいずれか1以上の構成を任意に含んでよい。解剖学的特徴を測定する前記ステップは、脳回形成(gyrification)、皮質厚および頭皮厚のうち少なくとも1つを測定するステップを含む。
実施例26は実施例14〜25のいずれか1以上の構成を任意に含んでよい。前記脳の解剖学的構造および活動の測定結果のパターン認識を実行するステップは更に、変形ランベルト・ベールの法則、事象関連コンポーネント、マルチボクセルパターン分析(MVPA)、スペクトル分析およびfNIRSに対するMVPAのうち少なくとも1つに基づいてパターン認識を実行するステップを含む。
実施例27は実施例14〜26のいずれか1以上の構成を任意に含んでよい。前記脳の解剖学的構造および活動の測定結果のパターン認識を実行するステップは更に、解剖学的および生理学的測定結果を、識別および認証のために脳を分類するのに利用可能な特異的パターンに変換するステップを含む。
実施例28は実施例14〜27のいずれか1以上の構成を任意に含んでよい。前記ユーザーを認証する前記ステップは、以前に適用された刺激セットをユーザーに提示して、脳活動反応を誘発するステップと、前記以前に適用された刺激セットに基づいて、前記ユーザーの脳の解剖学的構造および活動を測定するステップと、前記脳の解剖学的構造および活動の測定結果のパターン認識を実行して、前記ユーザーの脳シグネチャを創出するステップと、前記脳シグネチャを前記ユーザーの前記較正された脳シグネチャと比較することにより、前記パターン認識の実行によって得られた前記ユーザーの前記脳シグネチャを分析するステップと、を含む。
実施例29は実施例14〜28のいずれか1以上の構成を任意に含んでよい。前記ユーザーの前記脳シグネチャを分析する前記ステップは、前記脳シグネチャを所定の集団の解剖学的および生理的学な脳シグネチャと比較するステップを含む。
実施例30は実施例14〜29のいずれか1以上の構成を任意に含んでよい。前記ユーザーの前記脳シグネチャを分析する前記ステップは、前記脳シグネチャを追加的な識別および認証技術を用いて照合して、前記識別および認証技術の感度および特異度を高めるステップを含む。
実施例31は実施例14〜30のいずれか1以上の構成を任意に含んでよい。前記脳シグネチャを追加的な識別および認証技術を用いて照合する前記ステップは、前記脳シグネチャを、手書き文字認識結果、パスワードクエリおよび追加的な生体認証パラメータのうち少なくとも1つを用いて照合するステップを含む。
実施例32は実施例14〜31のいずれか1以上の構成を任意に含んでよい。前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは、収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンに応じた機能を実行するように装置に指示するステップを含む。
実施例33は実施例14〜32のいずれか1以上の構成を任意に含んでよい。ユーザーに刺激を供給し、前記刺激を前記ユーザーに供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集し、収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付け、前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記工程は、更に、ユーザーに刺激セットを提示するステップと、前記ユーザーの脳−コンピューターインターフェース(BCI)測定結果を取得するステップと、前記BCI測定結果から、所定の刺激と信頼性の高い相関を有する脳活動‐刺激ペアリングの候補を識別するステップと、脳活動‐刺激ペアリングの候補を保存するステップと、前記ユーザーが前記刺激を想像しているときに、信頼性の高い相関を有する脳活動‐刺激ペアリングを決定するステップと、前記ユーザーが前記刺激を想像しているときに、前記信頼性の高い相関を有する脳活動‐刺激ペアリングを保存するステップと、相関するBCI測定結果が検出された場合に前記刺激を読み出し表示して、テレパシーコンピューター制御を実行するステップと、を含む。
実施例34は実施例14〜33のいずれか1以上の構成を任意に含んでよい。ユーザーに刺激セットを提示する前記ステップは更に、相関の信頼性を高めるために、前記ユーザーに合成刺激を提示するステップを含む。
実施例35は実施例14〜34のいずれか1以上の構成を任意に含んでよい。前記テレパシーコンピューター制御は、検索オブジェクトに関連するBCI尺度とペアにされる刺激の心的イメージを再形成することにより、前記ユーザーによって実行されるテレパシー検索を含む。
実施例36は実施例14〜35のいずれか1以上の構成を任意に含んでよい。前記テレパシー検索は、ユーザーの思考パターンを、前記思考パターンに関連する脳活動測定結果に応じて作成される、前記ユーザーの脳パターンに分類されるコンテンツのデータベースとマッチングして検索結果を生成し、前記データベースに含まれるコンテンツと関連することが既知の要素とマッチする前記思考パターンの要素の数に基づいて、前記検索結果を加重することによって、実行される。
実施例37は実施例14〜36のいずれか1以上の構成を任意に含んでよい。前記テレパシー検索は、画像の検索であって、前記ユーザーが前記検索のオブジェクトである前記画像を考える、画像の検索と、前記ユーザーの前記画像の思考に脳活動‐刺激ペアリングがマッチする画像の結果を提供するステップと、を含む。
実施例38は実施例14〜37のいずれか1以上の構成を任意に含んでよい。前記テレパシー検索は、音楽作品の検索であって、前記ユーザーが前記音楽作品に関連する音を考える、検索と、前記ユーザーの前記音楽作品に関連する前記音の思考に脳活動‐刺激ペアリングがマッチする音楽の結果を提供するステップと、を含む。
実施例39は実施例14〜38のいずれか1以上の構成を任意に含んでよい。前記テレパシー検索は、マルチボクセルパターン分析(MVPA)と機能的近赤外分光法(fNIRS)との組み合わせを用いて実行され、特定の思考と相関する脳活動の分布パターンを識別するテレパシー検索を含む。
実施例40は実施例14〜39のいずれか1以上の構成を任意に含んでよい。前記テレパシーコンピューター制御はテレパシー情報伝達を含む。ここで、共通の心的語彙による訓練を受けた少なくとも2人のユーザーは、前記共通の心的語彙を用いて、脳活動‐刺激ペアリングに基づいて互いに情報伝達を行う。
実施例41は実施例14〜40のいずれか1以上の構成を任意に含んでよい。送信側ユーザーは受信側ユーザーのユーザーインターフェース上で識別され、送信側ユーザーは受信側ユーザーのことを考えて、メッセージを送信する受信側ユーザーを選択する。
実施例42は実施例14〜41のいずれか1以上の構成を任意に含んでよい。前記テレパシーコンピューター制御は、心的イメージを所定のアクションを実行するモデルに関連付ける脳活動‐刺激ペアリングを考えることによって実行されるテレパシー拡張現実(AR)を含む。
実施例43は実施例14〜42のいずれか1以上の構成を任意に含んでよい。前記所定のアクションは、前記ユーザーに、前記脳活動‐刺激ペアリングに関連するARオブジェクトによって創出される知覚信号を提示することを含む。ここで、前記知覚信号は、視覚信号、聴覚信号および触覚信号を含む。
実施例44は実施例14〜43のいずれか1以上の構成を任意に含んでよい。前記所定のアクションは、BCI入力のモニタリングにより、前記ユーザーによって意図的に呼び出されないAR経験を提示することを含む。
実施例45は実施例14〜44のいずれか1以上の構成を任意に含んでよい。前記所定のアクションは、脳活動‐刺激ペアリングを考えることにより、ARキャラクターの動作を指揮することを含む。
実施例46は実施例14〜45のいずれか1以上の構成を任意に含んでよい。前記所定のアクションは、前記脳活動‐刺激ペアリングを用いて、モニタされた環境キューにより開始されるアクションを含む。
実施例47は実施例14〜46のいずれか1以上の構成を任意に含んでよい。前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは、前記ユーザーにより、心的注意を前記ユーザーの視野の異なる区画に集中させることにより、コンピューティングデバイスを操作するステップを含む。
実施例48は実施例14〜47のいずれか1以上の構成を任意に含んでよい。ユーザーに刺激を供給し、前記刺激を前記ユーザーに供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集し、収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付け、前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記工程は、更に、ユーザーの視野の領域に基づいて、心的デスクトップ作業領域を視空間領域に分割するステップと、ユーザーの視野を前記ユーザーの一次視覚野の領域にマップするように前記ユーザーを訓練するステップであって、前記一次視覚野の前記領域は前記視空間領域の1つに対応する、ステップと、前記視空間領域によって再現される前記視野の生理学的に分離された区画に、コンテンツを割り当てるステップと、前記視空間領域の1つを心的に視覚化することによって割り当てられた情報にアクセスして、前記視覚化された視空間領域に割り当てられたコンテンツにアクセスするステップと、を含む。
実施例49は実施例14〜48のいずれか1以上の構成を任意に含んでよい。前記視空間領域は、左目および右目のそれぞれの左半視野および右半視野を含み、各半視野は上方区画と下方区画とに分割される。
実施例50は実施例14〜49のいずれか1以上の構成を任意に含んでよい。ユーザーに刺激を供給し、前記刺激を前記ユーザーに供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集し、収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付け、前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記工程は、更に、ユーザーによって、コンピューター入力の提供に関連する身***置の動作を想像するステップと、前記対応する身***置の動作の制御専用の、組織分布的にまとまった脳領域から生じる脳活動を記録するステップと、前記組織分布的にまとまった脳領域における前記記録された脳活動を、前記対応する身***置の前記動作と相互に関連付けるステップと、前記身***置の動作を視覚化して前記組織分布的にまとまった脳領域において活動を創出することにより、心的ジェスチャーを実行するステップと、前記記録された脳活動に対応する脳活動を検出するステップと、前記記録された脳活動に対応する前記脳活動の検出に応じて、前記対応する身***置の前記動作に関連するコンピューター入力を実行するステップと、を含む。
実施例51は実施例14〜50のいずれか1以上の構成を任意に含んでよく、更に、知覚コンピューティング入力を受信するステップを含む。ここで、前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは、前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを前記知覚コンピューティング入力と相互に関連付けて、前記ユーザーの意図を判定するステップと、判定された前記ユーザーの意図に基づいて、電子デバイスを制御するコマンドを開始するステップと、を含む。
実施例52は実施例14〜51のいずれか1以上の構成を任意に含んでよい。知覚コンピューティング入力を受信する前記ステップは、ジェスチャー、声、視標追跡および表情入力を受信するステップを含む。
実施例53は実施例14〜52のいずれか1以上の構成を任意に含んでよい。知覚コンピューティング入力を受信する前記ステップは、ジェスチャー、声、視標追跡および表情入力のうち少なくとも1つを受信するステップを含む。
実施例54は実施例14〜53のいずれか1以上の構成を任意に含んでよい。収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付ける前記ステップは更に、次のセンサー検出イベントがコマンドであることを示すコマンドを開始する前に、前記ユーザーの前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンに対して、パターンを識別するステップ、を含む。
実施例55は実施例14〜54のいずれか1以上の構成を任意に含んでよく、更に、知覚コンピューティング入力を受信するステップを含む。ここで、プロセッサ制御機能を実行する前記ステップは更に、前記脳活動と優先される知覚コンピューティング入力とからのモダリティを示すステップを含む。
実施例56 実施例14〜55のいずれか1以上の構成を任意に含んでよく、更に、知覚コンピューティング入力の受信と同時に前記ユーザーの前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを測定するステップと、同時期に生じた前記ユーザーの前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンと受信された前記知覚コンピューティング入力とを用いて、入力コマンドを強化するステップと、を含む。
実施例57は実施例14〜56のいずれか1以上の構成を任意に含んでよい。ユーザーに刺激を供給し、前記刺激を前記ユーザーに供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集し、収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付け、前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記工程は、更に、前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを測定するステップと、前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンに基づいて、前記ユーザーの状態を判定するステップと、判定された前記状態に基づいて、前記ユーザーに反応を提供するステップと、を含む。
実施例58は実施例14〜57のいずれか1以上の構成を任意に含んでよく、更に、知覚コンピューティング入力を受信するステップを含む。ここで、前記知覚コンピューティング入力は、ターゲットを選択する視標追跡を含む。前記ユーザーの前記生物物理的信号の時間的パターンおよび空間的パターンは、前記ターゲットに作用するのに用いられる。
実施例59は実施例14〜58のいずれか1以上の構成を任意に含んでよい。前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは更に、前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを用いて、別のモダリティに応答しているシステムに割り込むステップを含む。
実施例60は実施例14〜59のいずれか1以上の構成を任意に含んでよい。前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは更に、前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを用いて、前記ユーザーの前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンが識別され受信された場合にフィードバックを前記ユーザーに提供するステップを含む。
実施例61は実施例14〜60のいずれか1以上の構成を任意に含んでよい。前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは更に、相関する前記収集された前記生物物理的信号の時間的パターンおよび空間的パターンに基づいて、ユーザーの状態の変化が変化したと判定された場合に、システムに状たちを変更するように通知するステップを含む。
実施例62は実施例14〜61のいずれか1以上の構成を任意に含んでよく、更に、前記脳活動が生じたときに絶好のタイミングで、前記ユーザーの脳活動をコマンドの有効化にマップするステップを含む。
実施例63は実施例14〜62のいずれか1以上の構成を任意に含んでよく、更に、知覚コンピューティング入力を取得するステップと、知覚コンピューティング入力と前記ユーザーの前記生物物理的信号の時間的パターンおよび空間的パターンとがどのように相互に関連するのかについてのヒューリスティクスを保持するように構成されるデータベースからデータを収集するステップと、前記ユーザーの前記生物物理的信号の時間的パターンおよび空間的パターンと、前記知覚コンピューティング入力と、前記データベースからの前記入力を分析して、ユーザー意図を判定するステップと、判定された前記ユーザー意図に基づいてコマンドを生成するステップと、を含む。
実施例64は実施例14〜63のいずれか1以上の構成を任意に含んでよく、更に、環境因子およびユーザー因子を測定するステップと、干渉の可能性を判定するステップと、判定された前記干渉の可能性に基づいて、前記ユーザーの前記生物物理的信号の時間的パターンおよび空間的パターンを調節するステップと、を含む。
実施例65は実施例14〜64のいずれか1以上の構成を任意に含んでよい。前記プロセッサ制御機能は、心的イメージを所定のアクションを実行するためのモデルと関連付ける脳活動‐刺激ペアリングを考えることによって、テレパシー拡張現実(AR)を実行することと、BCI入力のモニタリングにより、前記ユーザーにより意図的に呼び出されないAR経験を提示することと、脳活動‐刺激ペアリングを考えることにより、ARキャラクターの動作を指揮することと、前記脳活動‐刺激ペアリングをモニタされる環境キューと共に用いて開始されるアクションと、からなるアクション群から選択される1つを備える。
実施例66は、実施例1〜65のいずれか1つの構成を含んでよく、或いは実施例1〜65のいずれか1つの構成と任意に組み合わされてよく、ユーザーに刺激を供給するステップと、前記刺激を前記ユーザーに供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集するステップと、収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付けて、ユーザー脳シグネチャを識別するステップと、収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンの相互関連付けによって識別された前記ユーザー脳シグネチャに基づいて、プロセッサ制御機能を実行するステップと、を含む構成(例えば、工程を実行する手段や、機械によって実行されると前記機械に工程を実行させる命令を有する機械可読媒体)を含む。
実施例67は実施例66の構成を任意に含んでよい。ユーザーに刺激を供給し、前記ユーザーに刺激を供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集し、収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付ける工程は、更に、前記刺激に基づいてユーザーの脳シグネチャを較正するステップと、現在測定される脳シグネチャと前記較正された脳シグネチャとを比較することにより、前記ユーザーを認証するステップと、を含む。
実施例68は実施例66〜67のいずれか1以上の構成を任意に含んでよい。ユーザーの脳シグネチャを較正する前記ステップは、ユーザーに刺激セットを提示して脳活動反応を誘発するステップと、提示された前記刺激セットに応じた脳の解剖学的構造および活動を測定するステップと、前記脳の解剖学的構造および活動の測定結果のパターン認識を実行して、前記ユーザーの脳シグネチャを創出するステップと、創出された前記脳シグネチャを保存するステップと、保存された前記脳シグネチャを所定の集団の解剖学的および生理学的脳シグネチャのデータベースに加えるステップと、を含む。
実施例69は実施例66〜68のいずれか1以上の構成を任意に含んでよい。前記ユーザーを認証する前記ステップは、以前に適用された刺激セットをユーザーに提示して、脳活動反応を誘発するステップと、前記以前に適用された刺激セットに基づいて、前記ユーザーの脳の解剖学的構造および活動を測定するステップと、前記脳の解剖学的構造および活動の測定結果のパターン認識を実行して、前記ユーザーの脳シグネチャを創出するステップと、前記脳シグネチャを前記ユーザーの前記較正された脳シグネチャと比較することにより、前記パターン認識の実行によって得られた前記ユーザーの前記脳シグネチャを分析するステップと、を含む。
実施例70は実施例66〜69のいずれか1以上の構成を任意に含んでよい。前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは、収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンに応じた機能を実行するように装置に指示するステップを含む。
実施例71は実施例66〜70のいずれか1以上の構成を任意に含んでよい。ユーザーに刺激を供給し、前記刺激を前記ユーザーに供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集し、収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付け、前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記工程は、更に、ユーザーに刺激セットを提示するステップと、前記ユーザーの脳−コンピューターインターフェース(BCI)測定結果を取得するステップと、前記BCI測定結果から、所定の刺激と信頼性の高い相関を有する脳活動‐刺激ペアリングの候補を識別するステップと、脳活動‐刺激ペアリングの候補を保存するステップと、前記ユーザーが前記刺激を想像しているときに、信頼性の高い相関を有する脳活動‐刺激ペアリングを決定するステップと、前記ユーザーが前記刺激を想像しているときに、前記信頼性の高い相関を有する脳活動‐刺激ペアリングを保存するステップと、相関するBCI測定結果が検出された場合に前記刺激を読み出し表示して、テレパシーコンピューター制御を実行するステップと、を含む。
実施例72は実施例66〜71のいずれか1以上の構成を任意に含んでよい。前記テレパシーコンピューター制御は、検索オブジェクトに関連するBCI尺度とペアにされる刺激の心的イメージを再形成することにより、前記ユーザーによって実行されるテレパシー検索を含む。
実施例73は実施例66〜72のいずれか1以上の構成を任意に含んでよい。前記テレパシー検索は、ユーザーの思考パターンを、前記思考パターンに関連する脳活動測定結果に応じて作成される、前記ユーザーの脳パターンに分類されるコンテンツのデータベースとマッチングして検索結果を生成し、前記データベースに含まれるコンテンツと関連することが既知の要素とマッチする前記思考パターンの要素の数に基づいて、前記検索結果を加重することによって、実行される。
実施例74は実施例66〜73のいずれか1以上の構成を任意に含んでよい。前記テレパシーコンピューター制御はテレパシー情報伝達を含む。ここで、共通の心的語彙による訓練を受けた少なくとも2人のユーザーは、前記共通の心的語彙を用いて、脳活動‐刺激ペアリングに基づいて互いに情報伝達を行う。
実施例75は実施例66〜74のいずれか1以上の構成を任意に含んでよい。送信側ユーザーは受信側ユーザーのユーザーインターフェース上で識別される。
実施例76は実施例66〜75のいずれか1以上の構成を任意に含んでよい。送信側ユーザーは受信側ユーザーのことを考えて、メッセージを送信する受信側ユーザーを選択する。
実施例77は実施例66〜76のいずれか1以上の構成を任意に含んでよい。前記テレパシーコンピューター制御は、心的イメージを所定のアクションを実行するためのモデルに関連付ける脳活動‐刺激ペアリングを考えることによって実行されるテレパシー拡張現実(AR)を含む。
実施例78は実施例66〜77のいずれか1以上の構成を任意に含んでよい。前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは、前記ユーザーにより、心的注意を前記ユーザーの視野の異なる区画に集中させることにより、コンピューティングデバイスを操作するステップを含む。
実施例79は実施例66〜78のいずれか1以上の構成を任意に含んでよい。ユーザーに刺激を供給し、前記刺激を前記ユーザーに供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集し、収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付け、前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記工程は、更に、ユーザーの視野の領域に基づいて、心的デスクトップ作業領域を視空間領域に分割するステップと、ユーザーの視野の領域に基づいて、心的デスクトップ作業領域を視空間領域に分割するステップと、ユーザーの視野を前記ユーザーの一次視覚野の領域にマップするように前記ユーザーを訓練するステップであって、前記一次視覚野の前記領域は前記視空間領域の1つに対応する、ステップと、前記視空間領域によって再現される前記視野の生理学的に分離された区画に、コンテンツを割り当てるステップと、前記視空間領域の1つを心的に視覚化することによって割り当てられた情報にアクセスして、前記視覚化された視空間領域に割り当てられたコンテンツにアクセスするステップと、を含む。
実施例80は実施例66〜79のいずれか1以上の構成を任意に含んでよく、更に、知覚コンピューティング入力を受信するステップを含む。ここで、前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは、前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを前記知覚コンピューティング入力と相互に関連付けて、前記ユーザーの意図を判定するステップと、判定された前記ユーザーの意図に基づいて、電子デバイスを制御するコマンドを開始するステップと、を含む。
実施例81は実施例66〜80のいずれか1以上の構成を任意に含んでよい。知覚コンピューティング入力を受信する前記ステップは、ジェスチャー、声、視標追跡および表情入力を受信するステップを含む。
実施例82は実施例66〜81のいずれか1以上の構成を任意に含んでよい。知覚コンピューティング入力を受信する前記ステップは、ジェスチャー、声、視標追跡および表情入力のうち少なくとも1つを受信するステップを含む。
実施例83は実施例66〜82のいずれか1以上の構成を任意に含んでよい。収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付ける前記ステップは更に、次のセンサー検出イベントがコマンドであることを示すコマンドを開始する前に、前記ユーザーの前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンに対して、パターンを識別するステップ、を含む。
実施例84は実施例66〜83のいずれか1以上の構成を任意に含んでよく、更に、知覚コンピューティング入力を受信するステップを含む。プロセッサ制御機能を実行する前記ステップは更に、前記脳活動と優先される知覚コンピューティング入力とからのモダリティを示すステップを含む。
実施例85は実施例66〜84のいずれか1以上の構成を任意に含んでよく、更に、知覚コンピューティング入力の受信と同時に前記ユーザーの前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを測定するステップと、同時期に生じた前記ユーザーの前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンと受信された前記知覚コンピューティング入力とを用いて、入力コマンドを強化するステップと、を含む。
実施例86は実施例66〜85のいずれか1以上の構成を任意に含んでよい。ユーザーに刺激を供給し、前記刺激を前記ユーザーに供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集し、収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付け、前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記工程は、更に、前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを測定するステップと、前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンに基づいて、前記ユーザーの状態を判定するステップと、判定された前記状態に基づいて、前記ユーザーに反応を提供するステップと、を含む。
実施例87は実施例66〜86のいずれか1以上の構成を任意に含んでよく、更に、知覚コンピューティング入力を受信するステップを含む。ここで、前記知覚コンピューティング入力は、ターゲットを選択する視標追跡を含む。前記ユーザーの前記生物物理的信号の時間的パターンおよび空間的パターンは、前記ターゲットに作用するのに用いられる。
実施例88は実施例66〜87のいずれか1以上の構成を任意に含んでよい。前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは更に、前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを用いて、別のモダリティに応答しているシステムに割り込むステップを含む。
実施例89は実施例66〜88のいずれか1以上の構成を任意に含んでよい。前記テレパシーコンピューター制御は、検索オブジェクトに関連するBCI尺度とペアにされる刺激の心的イメージを再形成することにより、前記ユーザーによって実行されるテレパシー検索と、共通の心的語彙による訓練を受けた少なくとも2人のユーザーが、前記共通の心的語彙を用いて、脳活動‐刺激ペアリングに基づいて互いに情報伝達を行うテレパシー情報伝達と、心的イメージを所定のアクションを実行するためのモデルに関連付ける脳活動‐刺激ペアリングを考えることによって実行されるテレパシー拡張現実(AR)と、からなる制御群から選択される1つを備える。
実施例90は実施例66〜89のいずれか1以上の構成を任意に含んでよい。前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは、検出された心的注意を前記ユーザーの視野の異なる区画に集中させることにより、コンピューティングデバイスを操作することと、ユーザーの視野の領域に基づいて、心的デスクトップ作業領域を視空間領域に分割することにより、心的デスクトップを提供し、ユーザーの視野を前記ユーザーの一次視覚野の領域にマップするように前記ユーザーを訓練し、ここで前記一次視覚野の前記領域は前記視空間領域の1つに対応し、前記視空間領域によって再現される前記視野の生理学的に分離された区画に、コンテンツを割り当て、前記視空間領域の1つを心的に視覚化することによって割り当てられた情報にアクセスして、前記視覚化された視空間領域に割り当てられたコンテンツにアクセスすることと、前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを前記知覚コンピューティング入力と相互に関連付けて、前記ユーザーの意図を判定し、判定された前記ユーザーの意図に基づいて、電子デバイスを制御するコマンドを開始することと、前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを測定し、前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンに基づいて、前記ユーザーの状態を判定し、判定された前記状態に基づいて、前記ユーザーに反応を提供することにより、前記ユーザー脳シグネチャに基づくプロセッサ制御機能を実行することと、前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを用いて、別のモダリティに応答しているシステムに割り込むことと、からなる機能群から選択される1つを備える。
上述の詳細な説明は添付の図面の参照を含み、添付の図面は詳細な説明の一部を構成する。図面は、例示として、実施可能な特定の実施形態を示す。これらの実施形態は、本明細書において「実施例」ともよばれる。かかる実施例は、図示または記載される要素とは別の要素を含んでよい。しかしながら、図示または記載された要素を含む実施例も考慮される。更に、特定の実施例(またはそれらの1以上の態様)に関して、または、本明細書に図示または記載の他の実施例(またはそれらの1以上の態様)に関して、図示または記載の要素(またはそれらの1以上の態様)の任意の組合わせまたは置換を用いる実施例も考慮される。
本明細書で参照された公刊物、特許および特許文献は、参照により個別に援用されるかのように、参照によりその全体が本明細書に援用される。本明細書と参照に援用された文献との間で用法が一致しない場合、援用された引用での用法は、本明細書での用法に対して補助的なものである。不一致が矛盾する場合、本明細書での用法が支配する。本明細書において、要素が単数で記載される場合、特許文献では一般的であるように、1または2以上の場合が包含され、その他の例または「少なくとも1つ」または「1以上」の使用と無関係である。本明細書では、「または」という表現は非排他的なものであり、よって、「AまたはB」は、別段の指定がない限り「AだがBではない」、「BだがAではない」および「AおよびB」の場合を包含する。添付の特許請求の範囲において、“including”と“in which”は、それぞれ“comprising”と“wherein”の分かりやすい同義の英語として用いられる。また、以下の特許請求の範囲において、「含む」「有する」「備える」はオープンエンドであり、すなわち、請求項中でかかる語句の後に列挙されるものに加えて要素を有するシステム、装置、項目またはプロセスも、該請求項の範囲に包含されるものとみなされる。更に、以下の特許請求の範囲において、「第1」「第2」「第3」等の語句はラベルとして用いられるに過ぎず、当該オブジェクトの番号順を示唆する意図はない。
上記の記載は例示を意図するものであり、限定を意図するものではない。例えば、上記の実施例(またそれらの1以上の態様)は、他と組み合わせて用いられてよい。例えば当該技術分野の当業者が上記記載を見て成すもののような、他の実施形態が用いられてよい。要約書は、読者が本技術の開示の性質を素早く確認できるようにするためのものであり、例えば、米国の37C.F.R.§1.72(b)に準拠する。この理解により、要約書は特許請求の範囲の範囲または意味の解釈または限定に用いられるものではないと思量される。また、上記の詳細な説明において、本開示を簡素化するために、様々な特徴がグループ化される場合がある。しかしながら、実施形態は該特徴のサブセットを含み得るので、特許請求の範囲には本明細書に記載の特徴が記載されない場合がある。更に、実施形態に含まれる特徴は、特定の実施例において開示された特徴よりも少なくてよい。このように、請求項が別々の実施形態として自立した状態で、以下の特許請求の範囲は詳細な説明に援用される。本明細書に記載の実施形態の範囲は、かかる請求項が権利を付与される均等物の全範囲と共に、添付の特許請求の範囲を参照して決定されるものとする。

Claims (30)

  1. 脳‐コンピューターインターフェースを提供するシステムであって、
    ユーザーに供給する刺激のライブラリと、
    前記刺激のライブラリから前記ユーザーに刺激を供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集するデータ収集装置と、
    収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付けて前記ユーザーの脳シグネチャを識別し、収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンの相互関連付けによって識別された前記ユーザーの前記脳シグネチャに基づいて、プロセッサ制御機能を実行する処理装置と、
    を備える、システム。
  2. 前記処理装置は、前記ユーザーの前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンに基づいて、前記刺激に応じた前記ユーザーの心的プロファイルを構築する、
    請求項1に記載のシステム。
  3. 前記処理装置は、ユーザーの識別および認証を提供し、
    ユーザーの心的プロファイルは、前記刺激のライブラリから前記ユーザーへの刺激の提示に基づいて、前記処理装置によって較正段階の間に作成され、
    前記処理装置は更に、認証されているユーザーの心的プロファイルが、前記較正段階の間に作成された前記ユーザーの前記心的プロファイルと相関するか否かを判定する、
    請求項1または2に記載のシステム。
  4. 前記処理装置は、ユーザーの脳‐コンピューターインターフェースシステムからの伝送をモニタし、前記ユーザーからの脳活動測定結果に関連する刺激を表示し、前記脳活動測定結果を検索して前記脳活動測定結果に関連する検索オブジェクトの場所を特定し、前記脳活動測定結果と関連する前記脳活動測定結果と相関する検索オブジェクトとのマッチに基づいて検索結果を返すことにより、テレパシーコンテキスト検索を実行するように構成される、
    請求項1または2に記載のシステム。
  5. 前記処理装置は、脳‐コンピューターインターフェースセンサーおよび検出器と生体認証・環境センサーアレイとから入力を受信することにより、テレパシー拡張現実を提供し、
    前記処理装置は、入力および認識されたセンサー入力のデータベースから取得されるデータと、拡張現実キャラクターと、拡張現実環境コンテンツとを拡張現実経験にマップするように構成され、
    前記処理装置は、拡張現実キャラクターを環境に融合させ、前記脳‐コンピューターインターフェースセンサーおよび検出器と前記生体認証・環境センサーアレイとからの前記入力から導出されるユーザー意図に基づいて、前記拡張現実経験をユーザーに提示する、
    請求項1または2に記載のシステム。
  6. 前記処理装置は、ユーザーの左目および右目のそれぞれについて左半視野および右半視野を再現する心的デスクトップを作成し、
    前記処理装置は更に、それぞれの目を上方区画と下方区画とに分離し、ここで前記心的デスクトップは、前記ユーザーの視野において情報が割り当てられた8つの領域を備え、
    前記処理装置は、前記心的デスクトップの領域の心的視覚化を検出し、心的に視覚化された前記領域に割り当てられた前記情報に従って機能を実行する、
    請求項1または2に記載のシステム。
  7. 前記処理装置は、知覚コンピューティング入力と、前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンと、前記知覚コンピューティング入力と前記ユーザーの前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンとの相互関連性とに基づいて、前記ユーザーの意図を判定するように構成され、
    前記処理装置は、判定された前記ユーザーの意図に基づいてコマンドを開始する、
    請求項1または2に記載のシステム。
  8. 脳‐コンピューターインターフェース(BCI)を提供する方法であって、
    ユーザーに刺激を供給するステップと、
    前記刺激を前記ユーザーに供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集するステップと、
    収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付けて、ユーザー脳シグネチャを識別するステップと、
    収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンの相互関連付けによって識別された前記ユーザー脳シグネチャに基づいて、プロセッサ制御機能を実行するステップと、
    を備える、方法。
  9. 前記プロセッサ制御機能は、前記ユーザーの識別されたパターンとユーザー群に共通するパターンとの類似を少なくとも1つ判定することを含む、
    請求項8に記載の方法。
  10. ユーザーに刺激を供給し、前記刺激を前記ユーザーに供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集し、収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付ける前記ステップは、
    前記刺激に基づいてユーザーの脳シグネチャを較正するステップと、
    現在測定される脳シグネチャと前記較正された脳シグネチャとを比較することにより、前記ユーザーを認証するステップと、
    を更に含む、請求項8に記載の方法。
  11. 前記ユーザーを認証する前記ステップは、
    以前に適用された刺激セットをユーザーに提示して、脳活動反応を誘発するステップと、
    前記以前に適用された刺激セットに基づいて、前記ユーザーの脳の解剖学的構造および活動を測定するステップと、
    前記脳の解剖学的構造および活動の測定結果のパターン認識を実行して、前記ユーザーの脳シグネチャを創出するステップと、
    前記脳シグネチャを前記ユーザーの前記較正された脳シグネチャと比較することにより、前記パターン認識の実行によって得られた前記ユーザーの前記脳シグネチャを分析するステップと、
    を含む、請求項10に記載の方法。
  12. 前記ユーザーの前記脳シグネチャを分析する前記ステップは、前記脳シグネチャを所定の集団の解剖学的および生理的学な脳シグネチャと比較するステップを含む、
    請求項11に記載の方法。
  13. 前記プロセッサ制御機能は、検索オブジェクトに関連する脳‐コンピューターインターフェース尺度と対になる刺激の心的イメージを再作成することによって、前記ユーザーによって実行されるテレパシー検索を含む、
    請求項8に記載の方法。
  14. 前記テレパシー検索は、ユーザーの思考パターンを、前記思考パターンに関連する脳活動測定結果に応じて作成される、前記ユーザーの脳パターンに分類されるコンテンツのデータベースとマッチングして検索結果を生成し、前記データベースに含まれるコンテンツと関連することが既知の要素とマッチする前記思考パターンの要素の数に基づいて、前記検索結果を加重することによって、実行される、
    請求項13に記載の方法。
  15. 前記プロセッサ制御機能はテレパシー情報伝達を含み、
    共通の心的語彙による訓練を受けた少なくとも2人のユーザーは、前記共通の心的語彙を用いて、脳活動‐刺激ペアリングに基づいて互いに情報伝達を行う、
    請求項8に記載の方法。
  16. 前記プロセッサ制御機能は、心的イメージを所定のアクションを実行するためのモデルと関連付ける脳活動‐刺激ペアリングを考えることによって、テレパシー拡張現実を実行することと、脳‐コンピューターインターフェース入力のモニタリングにより、前記ユーザーにより意図的に呼び出されない拡張現実経験を提示することと、脳活動‐刺激ペアリングを考えることにより、拡張現実キャラクターの動作を指揮することと、前記脳活動‐刺激ペアリングをモニタされる環境キューと共に用いることと、からなるアクション群から選択される1つを含む、
    請求項8に記載の方法。
  17. 前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは、検出された心的注意を前記ユーザーの視野の異なる区画に集中させることにより、コンピューティングデバイスを操作するステップを含む、
    請求項8に記載の方法。
  18. ユーザーに刺激を供給し、前記刺激を前記ユーザーに供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集し、収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付け、前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは、
    ユーザーの視野の領域に基づいて、心的デスクトップ作業領域を視空間領域に分割するステップと、
    ユーザーの視野を前記ユーザーの一次視覚野の領域にマップするように前記ユーザーを訓練するステップであって、前記一次視覚野の前記領域は前記視空間領域の1つに対応する、ステップと、
    前記視空間領域によって再現される前記視野の生理学的に分離された区画に、コンテンツを割り当てるステップと、
    前記視空間領域の1つを心的に視覚化することによって割り当てられた情報にアクセスして、前記視覚化された視空間領域に割り当てられたコンテンツにアクセスするステップと、
    を更に含む、請求項8に記載の方法。
  19. ユーザーに刺激を供給し、生物物理的信号の時間的パターンおよび空間的パターンを収集し、収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付け、前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは、
    ユーザーによって、コンピューター入力の提供に関連する身***置の動作を想像するステップと、
    対応する前記身***置の動作の制御専用の、組織分布的にまとまった脳領域から生じる脳活動を記録するステップと、
    前記組織分布的にまとまった脳領域における前記記録された脳活動を、対応する前記身***置の前記動作と相互に関連付けるステップと、
    前記身***置の動作を視覚化して前記組織分布的にまとまった脳領域において活動を創出することにより、心的ジェスチャーを実行するステップと、
    前記記録された脳活動に対応する脳活動を検出するステップと、
    前記記録された脳活動に対応する前記脳活動の検出に応じて、対応する前記身***置の前記動作に関連するコンピューター入力を実行するステップと、
    を更に含む、請求項8に記載の方法。
  20. 少なくとも1つの機械可読媒体であって、機械によって実行されると前記機械に請求項8乃至19のいずれか一項に記載の方法を実行させる命令を有する、機械可読媒体。
  21. 脳‐コンピューターインターフェースを提供するシステムであって、
    ユーザーに刺激を供給する手段と、
    前記ユーザーに刺激を供給する前記手段の刺激の供給に応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集する手段と、
    収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付けて前記ユーザーの脳シグネチャを識別し、収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンの相互関連付けによって識別された前記ユーザーの前記脳シグネチャに基づいて、プロセッサ制御機能を実行する手段と、
    を備えるシステム。
  22. 前記相互に関連付ける手段は、前記ユーザーの前記脳シグネチャから導出される前記ユーザーの心的プロファイルを、所定の集団の心的プロファイルのデータベースからの心的プロファイルと比較する、
    請求項21に記載のシステム。
  23. 前記相互に関連付ける手段は、ある範囲のトピックのいずれかについて、前記ユーザーの心的プロファイルのマッチの統計値および確率を計算する、
    請求項21または22に記載のシステム。
  24. 前記相互に関連付ける手段は、前記ユーザーの前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを、個人データおよび特性と組み合わせて、前記刺激に応じた前記ユーザーの心的プロファイルを構築する、
    請求項21に記載のシステム。
  25. 前記相互に関連付ける手段は、前記ユーザーの前記脳シグネチャをデータベースから得られる個人データおよび他の特性と組み合わせて、前記ユーザーの心的プロファイルモデルを展開する、
    請求項21または24に記載のシステム。
  26. 前記相互に関連付ける手段は、対象間の確率を相互に関連付け、前記ユーザーの前記心的プロファイルモデルと少なくとも1人の他のユーザーの心的プロファイルモデルとの心的マッチの統計値および確率を計算する、
    請求項25に記載のシステム。
  27. 前記相互に関連付ける手段は、ユーザーの識別および認証を提供し、
    ユーザーの心的プロファイルは、前記ユーザーに刺激を供給する前記手段からの刺激の提示に基づいて、前記相互に関連付ける手段によって較正段階の間に作成され、
    前記相互に関連付ける手段は更に、認証されているユーザーの心的プロファイルが、前記較正段階の間に作成された前記ユーザーの前記心的プロファイルと相関するか否かを判定する、
    請求項21または24に記載のシステム。
  28. 前記相互に関連付ける手段は、ユーザーの脳‐コンピューターインターフェースシステムからの伝送をモニタし、前記ユーザーからの脳活動測定結果に関連する刺激を表示し、前記脳活動測定結果を検索して前記脳活動測定結果に関連する検索オブジェクトの場所を特定し、前記脳活動測定結果と前記関連の脳活動測定結果と相関する検索オブジェクトとのマッチに基づいて検索結果を返すことにより、テレパシーコンテキスト検索を実行するように構成される、
    請求項21または24に記載のシステム。
  29. 前記相互に関連付ける手段は、脳‐コンピューターインターフェースセンサーおよび検出器と生体認証・環境センサーアレイとから入力を受信することにより、テレパシー拡張現実を提供し、
    前記相互に関連付ける手段は、入力および認識されたセンサー入力のデータベースから取得されるデータと、拡張現実キャラクターと、拡張現実環境コンテンツとを拡張現実経験にマップし、
    前記相互に関連付ける手段は、前記脳‐コンピューターインターフェースセンサーおよび検出器と前記生体認証・環境センサーアレイとからの前記入力から導出されるユーザー意図に基づいて、前記拡張現実経験をユーザーに提示する、
    請求項21または24に記載のシステム。
  30. 前記相互に関連付ける手段は、ユーザーの左目および右目のそれぞれについて左半視野および右半視野を再現する心的デスクトップを作成し、
    前記相互に関連付ける手段は更に、それぞれの目を上方区画と下方区画とに分離し、ここで前記心的デスクトップは、前記ユーザーの視野において情報が割り当てられた8つの領域を備え、
    前記相互に関連付ける手段は、前記心的デスクトップの領域の心的視覚化を検出し、心的に視覚化された前記領域に割り当てられた前記情報に従って機能を実行する、
    請求項21または24に記載のシステム。
JP2015557986A 2013-03-15 2013-03-15 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(bci)システム Active JP6125670B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/032037 WO2014142962A1 (en) 2013-03-15 2013-03-15 Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals

Publications (2)

Publication Number Publication Date
JP2016513319A true JP2016513319A (ja) 2016-05-12
JP6125670B2 JP6125670B2 (ja) 2017-05-10

Family

ID=51537329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015557986A Active JP6125670B2 (ja) 2013-03-15 2013-03-15 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(bci)システム

Country Status (6)

Country Link
US (1) US20160103487A1 (ja)
EP (1) EP2972662A4 (ja)
JP (1) JP6125670B2 (ja)
KR (1) KR101680995B1 (ja)
CN (1) CN105051647B (ja)
WO (1) WO2014142962A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017221525A1 (ja) * 2016-06-23 2017-12-28 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JPWO2017022228A1 (ja) * 2015-08-05 2018-05-24 セイコーエプソン株式会社 脳内映像再生装置
JP2019521379A (ja) * 2016-06-20 2019-07-25 マジック リープ, インコーポレイテッドMagic Leap,Inc. 視覚的処理および知覚の疾患を含む神経学的疾患の評価および修正のための拡張現実ディスプレイシステム
JP2019533864A (ja) * 2016-07-11 2019-11-21 アークトップ リミテッド ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム
WO2019235458A1 (ja) * 2018-06-04 2019-12-12 国立大学法人大阪大学 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体
JP2022510244A (ja) * 2018-12-04 2022-01-26 ブランヴィヴォ リミテッド コンテンツを特徴づけるために脳特徴活動マップデータベースを利用するための装置および方法

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405366B2 (en) * 2013-10-02 2016-08-02 David Lee SEGAL Systems and methods for using imagined directions to define an action, function or execution for non-tactile devices
US10069867B2 (en) * 2013-11-29 2018-09-04 Nokia Technologies Oy Method and apparatus for determining privacy policy for devices based on brain wave information
AU2015221370A1 (en) 2014-02-21 2016-09-15 Trispera Dental Inc. Augmented reality dental design method and system
CN104363983B (zh) * 2014-08-06 2017-03-01 中国科学院自动化研究所 脑活动检测方法和***
US20170039473A1 (en) * 2014-10-24 2017-02-09 William Henry Starrett, JR. Methods, systems, non-transitory computer readable medium, and machines for maintaining augmented telepathic data
US20160148529A1 (en) * 2014-11-20 2016-05-26 Dharma Systems Inc. System and method for improving personality traits
JP6373402B2 (ja) * 2014-11-21 2018-08-15 国立研究開発法人産業技術総合研究所 脳波による認証装置、認証方法、認証システム及びプログラム
US11556809B2 (en) * 2014-12-14 2023-01-17 Universitat Zurich Brain activity prediction
US9836896B2 (en) 2015-02-04 2017-12-05 Proprius Technologies S.A.R.L Keyless access control with neuro and neuro-mechanical fingerprints
US9577992B2 (en) 2015-02-04 2017-02-21 Aerendir Mobile Inc. Data encryption/decryption using neuro and neuro-mechanical fingerprints
US9590986B2 (en) 2015-02-04 2017-03-07 Aerendir Mobile Inc. Local user authentication with neuro and neuro-mechanical fingerprints
US10357210B2 (en) 2015-02-04 2019-07-23 Proprius Technologies S.A.R.L. Determining health change of a user with neuro and neuro-mechanical fingerprints
WO2016141373A1 (en) * 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality
IL239191A0 (en) * 2015-06-03 2015-11-30 Amir B Geva Image sorting system
US9507974B1 (en) * 2015-06-10 2016-11-29 Hand Held Products, Inc. Indicia-reading systems having an interface with a user's nervous system
US10373143B2 (en) 2015-09-24 2019-08-06 Hand Held Products, Inc. Product identification using electroencephalography
US9672760B1 (en) 2016-01-06 2017-06-06 International Business Machines Corporation Personalized EEG-based encryptor
US10169560B2 (en) * 2016-02-04 2019-01-01 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Stimuli-based authentication
JP6668811B2 (ja) * 2016-02-23 2020-03-18 セイコーエプソン株式会社 訓練装置、訓練方法、プログラム
US10044712B2 (en) 2016-05-31 2018-08-07 Microsoft Technology Licensing, Llc Authentication based on gaze and physiological response to stimuli
US10694946B2 (en) * 2016-07-05 2020-06-30 Freer Logic, Inc. Dual EEG non-contact monitor with personal EEG monitor for concurrent brain monitoring and communication
US10621636B2 (en) 2016-08-17 2020-04-14 International Business Machines Corporation System, method and computer program product for a cognitive monitor and assistant
KR101798640B1 (ko) 2016-08-31 2017-11-16 주식회사 유메딕스 뇌파 획득 장치 및 이를 이용한 행동 패턴 실험 장치
US10445565B2 (en) * 2016-12-06 2019-10-15 General Electric Company Crowd analytics via one shot learning
WO2018116248A1 (en) 2016-12-21 2018-06-28 Innereye Ltd. System and method for iterative classification using neurophysiological signals
CN110691550B (zh) * 2017-02-01 2022-12-02 塞雷比安公司 确定感知体验的处理***和方法、计算机可读介质
KR101939611B1 (ko) * 2017-07-11 2019-01-17 연세대학교 산학협력단 뇌기능 정합 방법 및 장치
AU2018316619A1 (en) * 2017-08-15 2020-03-05 Akili Interactive Labs, Inc. Cognitive platform including computerized elements
JP2020532031A (ja) 2017-08-23 2020-11-05 ニューラブル インコーポレイテッド 高速視標追跡機能を有する脳−コンピュータインタフェース
US11723579B2 (en) 2017-09-19 2023-08-15 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement
JP7496776B2 (ja) * 2017-11-13 2024-06-07 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳-コンピュータインターフェース
JP2021504853A (ja) * 2017-11-21 2021-02-15 アークトップ リミテッド 脳活動の迅速な復号と連携したインタラクティブ電子コンテンツ送付
US10582316B2 (en) 2017-11-30 2020-03-03 Starkey Laboratories, Inc. Ear-worn electronic device incorporating motor brain-computer interface
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
CN108108603A (zh) * 2017-12-04 2018-06-01 阿里巴巴集团控股有限公司 登录方法及装置和电子设备
US10952680B2 (en) 2017-12-27 2021-03-23 X Development Llc Electroencephalogram bioamplifier
US10671164B2 (en) 2017-12-27 2020-06-02 X Development Llc Interface for electroencephalogram for computer control
CN108056774A (zh) * 2017-12-29 2018-05-22 中国人民解放军战略支援部队信息工程大学 基于视频刺激材料的实验范式情绪分析实现方法及其装置
WO2019133997A1 (en) 2017-12-31 2019-07-04 Neuroenhancement Lab, LLC System and method for neuroenhancement to enhance emotional response
WO2019144025A1 (en) * 2018-01-22 2019-07-25 Hrl Laboratories, Llc Neuro-adaptive body sensing for user states framework (nabsus)
US10901508B2 (en) * 2018-03-20 2021-01-26 X Development Llc Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control
US10682069B2 (en) * 2018-03-23 2020-06-16 Abl Ip Holding Llc User preference and user hierarchy in an electroencephalography based control system
US10551921B2 (en) * 2018-03-23 2020-02-04 Abl Ip Holding Llc Electroencephalography control of controllable device
US10682099B2 (en) * 2018-03-23 2020-06-16 Abl Ip Holding Llc Training of an electroencephalography based control system
US10866638B2 (en) * 2018-03-23 2020-12-15 Abl Ip Holding Llc Neural control of controllable device
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
US20190336024A1 (en) * 2018-05-07 2019-11-07 International Business Machines Corporation Brain-based thought identifier and classifier
US20210155958A1 (en) 2018-06-13 2021-05-27 Cornell University Bioluminescent markers of neural activity
US10999066B1 (en) 2018-09-04 2021-05-04 Wells Fargo Bank, N.A. Brain-actuated control authenticated key exchange
CN113382683A (zh) 2018-09-14 2021-09-10 纽罗因恒思蒙特实验有限责任公司 改善睡眠的***和方法
KR102029760B1 (ko) 2018-10-17 2019-10-08 전남대학교산학협력단 사용자 감정 분석을 이용한 이벤트 탐지 시스템 및 방법
US20210390366A1 (en) * 2018-10-25 2021-12-16 Arctop Ltd Empathic Computing System and Methods for Improved Human Interactions With Digital Content Experiences
EP3651038A1 (en) * 2018-11-12 2020-05-13 Mastercard International Incorporated Brain activity-based authentication
WO2020132941A1 (zh) * 2018-12-26 2020-07-02 中国科学院深圳先进技术研究院 识别方法及相关装置
US11803627B2 (en) * 2019-02-08 2023-10-31 Arm Limited Authentication system, device and process
RU2704497C1 (ru) * 2019-03-05 2019-10-29 Общество с ограниченной ответственностью "Нейроботикс" Способ формирования системы управления мозг-компьютер
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110192861A (zh) * 2019-06-14 2019-09-03 广州医科大学附属肿瘤医院 一种智能辅助脑功能实时检测***
US10684686B1 (en) 2019-07-01 2020-06-16 INTREEG, Inc. Dynamic command remapping for human-computer interface
KR102313622B1 (ko) 2019-08-21 2021-10-19 한국과학기술연구원 생체신호 기반 아바타 제어시스템 및 방법
CN110824979B (zh) * 2019-10-15 2020-11-17 中国航天员科研训练中心 一种无人设备控制***和方法
CN114746830A (zh) * 2019-11-20 2022-07-12 奈克斯特曼德公司 视觉脑机接口
US11780445B2 (en) * 2020-01-13 2023-10-10 Ford Global Technologies, Llc Vehicle computer command system with a brain machine interface
CN114981755A (zh) * 2020-02-04 2022-08-30 Hrl实验室有限责任公司 用于一个或多个任务的异步大脑控制的***和方法
WO2021231609A1 (en) * 2020-05-12 2021-11-18 California Institute Of Technology Decoding movement intention using ultrasound neuroimaging
CN111752392B (zh) * 2020-07-03 2022-07-08 福州大学 脑机接口中精准视觉刺激控制方法
CN113509188B (zh) * 2021-04-20 2022-08-26 天津大学 脑电信号的扩增方法、装置、电子设备以及存储介质
KR102460337B1 (ko) * 2020-08-03 2022-10-31 한국과학기술연구원 초음파 자극 제어 장치 및 방법
CN112016415B (zh) * 2020-08-14 2022-11-29 安徽大学 结合集成学习与独立分量分析的运动想象分类方法
CN111984122A (zh) * 2020-08-19 2020-11-24 北京鲸世科技有限公司 脑电数据匹配方法及***、存储介质及处理器
IL310479A (en) * 2021-07-29 2024-03-01 Moshe Ofer Methods and systems for processing and introducing non-sensory information
CN114489335B (zh) * 2022-01-21 2023-12-01 上海瑞司集测科技有限公司 脑机接口的检测方法、装置、存储介质及***
US11782509B1 (en) * 2022-05-19 2023-10-10 Ching Lee Brainwave audio and video encoding and playing system
CN115344122B (zh) * 2022-08-15 2024-06-18 中国科学院深圳先进技术研究院 声波无创脑机接口及控制方法
CN116035592B (zh) * 2023-01-10 2024-06-14 北京航空航天大学 基于深度学习的转头意图识别方法、***、设备及介质
CN116400800B (zh) * 2023-03-13 2024-01-02 中国医学科学院北京协和医院 一种基于脑机接口和人工智能算法的als患者人机交互***及方法
CN116570835B (zh) * 2023-07-12 2023-10-10 杭州般意科技有限公司 一种基于场景和用户状态的干预刺激模式的确定方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236096A (ja) * 2001-02-08 2002-08-23 Hitachi Ltd 光トポグラフィ装置とデータ生成装置
JP2004248714A (ja) * 2003-02-18 2004-09-09 Kazuo Tanaka 生体信号を用いた認証方法および認証装置
JP2005160805A (ja) * 2003-12-03 2005-06-23 Mitsubishi Electric Corp 個人認識装置および属性判定装置
JP2006072606A (ja) * 2004-09-01 2006-03-16 National Institute Of Information & Communication Technology インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置
JP2007202882A (ja) * 2006-02-03 2007-08-16 Advanced Telecommunication Research Institute International 活動補助システム
JP2010257343A (ja) * 2009-04-27 2010-11-11 Niigata Univ 意思伝達支援装置
WO2012044084A2 (ko) * 2010-10-01 2012-04-05 주식회사 바로연결혼정보 이상형을 연결시켜주기 위한 감성 매칭시스템 및 매칭방법
JP2012511397A (ja) * 2008-12-09 2012-05-24 ニューロフォーカス・インコーポレーテッド 神経応答データを使用する脳パタン解析装置
WO2012165602A1 (ja) * 2011-05-31 2012-12-06 国立大学法人名古屋工業大学 認知機能障害判別装置、認知機能障害判別システム、およびプログラム
JP2012239475A (ja) * 2011-05-13 2012-12-10 Honda Motor Co Ltd 脳活動計測装置、脳活動計測方法、脳活動推定装置、及び脳活動推定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1363535B1 (en) * 2001-01-30 2012-01-04 R. Christopher Decharms Methods for physiological monitoring, training, exercise and regulation
US8533042B2 (en) * 2007-07-30 2013-09-10 The Nielsen Company (Us), Llc Neuro-response stimulus and stimulus attribute resonance estimator
US8244475B2 (en) * 2007-12-27 2012-08-14 Teledyne Scientific & Imaging, Llc Coupling human neural response with computer pattern analysis for single-event detection of significant brain responses for task-relevant stimuli
WO2010016992A2 (en) * 2008-07-09 2010-02-11 Florida Atlantic University System and method for analysis of spatio-temporal data
CN101571748A (zh) * 2009-06-04 2009-11-04 浙江大学 一种基于增强现实的脑机交互***
CN101963930B (zh) * 2009-07-21 2013-06-12 纬创资通股份有限公司 自动化测试装置
US20110112426A1 (en) * 2009-11-10 2011-05-12 Brainscope Company, Inc. Brain Activity as a Marker of Disease

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236096A (ja) * 2001-02-08 2002-08-23 Hitachi Ltd 光トポグラフィ装置とデータ生成装置
JP2004248714A (ja) * 2003-02-18 2004-09-09 Kazuo Tanaka 生体信号を用いた認証方法および認証装置
JP2005160805A (ja) * 2003-12-03 2005-06-23 Mitsubishi Electric Corp 個人認識装置および属性判定装置
JP2006072606A (ja) * 2004-09-01 2006-03-16 National Institute Of Information & Communication Technology インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置
JP2007202882A (ja) * 2006-02-03 2007-08-16 Advanced Telecommunication Research Institute International 活動補助システム
JP2012511397A (ja) * 2008-12-09 2012-05-24 ニューロフォーカス・インコーポレーテッド 神経応答データを使用する脳パタン解析装置
JP2010257343A (ja) * 2009-04-27 2010-11-11 Niigata Univ 意思伝達支援装置
WO2012044084A2 (ko) * 2010-10-01 2012-04-05 주식회사 바로연결혼정보 이상형을 연결시켜주기 위한 감성 매칭시스템 및 매칭방법
JP2012239475A (ja) * 2011-05-13 2012-12-10 Honda Motor Co Ltd 脳活動計測装置、脳活動計測方法、脳活動推定装置、及び脳活動推定方法
WO2012165602A1 (ja) * 2011-05-31 2012-12-06 国立大学法人名古屋工業大学 認知機能障害判別装置、認知機能障害判別システム、およびプログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017022228A1 (ja) * 2015-08-05 2018-05-24 セイコーエプソン株式会社 脳内映像再生装置
US11734896B2 (en) 2016-06-20 2023-08-22 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
JP2019521379A (ja) * 2016-06-20 2019-07-25 マジック リープ, インコーポレイテッドMagic Leap,Inc. 視覚的処理および知覚の疾患を含む神経学的疾患の評価および修正のための拡張現実ディスプレイシステム
JP7385993B2 (ja) 2016-06-20 2023-11-24 マジック リープ, インコーポレイテッド 視覚的処理および知覚の疾患を含む神経学的疾患の評価および修正のための拡張現実ディスプレイシステム
US11145219B2 (en) 2016-06-23 2021-10-12 Sony Corporation System and method for changing content based on user reaction
WO2017221525A1 (ja) * 2016-06-23 2017-12-28 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US11216548B2 (en) 2016-07-11 2022-01-04 Arctop Ltd Method and system for providing a brain computer interface
JP7365373B2 (ja) 2016-07-11 2023-10-19 アークトップ リミテッド ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム
JP2019533864A (ja) * 2016-07-11 2019-11-21 アークトップ リミテッド ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム
JPWO2019235458A1 (ja) * 2018-06-04 2021-07-29 国立大学法人大阪大学 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体
WO2019235458A1 (ja) * 2018-06-04 2019-12-12 国立大学法人大阪大学 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体
JP7352914B2 (ja) 2018-06-04 2023-09-29 国立大学法人大阪大学 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体
JP2022510244A (ja) * 2018-12-04 2022-01-26 ブランヴィヴォ リミテッド コンテンツを特徴づけるために脳特徴活動マップデータベースを利用するための装置および方法
JP7382082B2 (ja) 2018-12-04 2023-11-16 ブランヴィヴォ リミテッド コンテンツを特徴づけるために脳特徴活動マップデータベースを利用するための装置および方法

Also Published As

Publication number Publication date
KR20150106954A (ko) 2015-09-22
EP2972662A4 (en) 2017-03-01
EP2972662A1 (en) 2016-01-20
CN105051647A (zh) 2015-11-11
WO2014142962A1 (en) 2014-09-18
JP6125670B2 (ja) 2017-05-10
CN105051647B (zh) 2018-04-13
US20160103487A1 (en) 2016-04-14
KR101680995B1 (ko) 2016-11-29

Similar Documents

Publication Publication Date Title
JP6125670B2 (ja) 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(bci)システム
Gunes et al. Categorical and dimensional affect analysis in continuous input: Current trends and future directions
CN112034977B (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
KR102277820B1 (ko) 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법
Gunes et al. Bodily expression for automatic affect recognition
Jaimes et al. Multimodal human–computer interaction: A survey
Vinola et al. A survey on human emotion recognition approaches, databases and applications
Jang et al. Human intention recognition based on eyeball movement pattern and pupil size variation
CN112970056A (zh) 使用高速和精确的用户交互跟踪的人类-计算机接口
US20170095192A1 (en) Mental state analysis using web servers
Yang et al. Behavioral and physiological signals-based deep multimodal approach for mobile emotion recognition
Al Osman et al. Multimodal affect recognition: Current approaches and challenges
Nie et al. SPIDERS+: A light-weight, wireless, and low-cost glasses-based wearable platform for emotion sensing and bio-signal acquisition
Karbauskaitė et al. Kriging predictor for facial emotion recognition using numerical proximities of human emotions
Alharbi et al. A survey of incorporating affective computing for human-system co-adaptation
Edughele et al. Eye-tracking assistive technologies for individuals with amyotrophic lateral sclerosis
Amara et al. Emotion recognition for affective human digital twin by means of virtual reality enabling technologies
Akhtar et al. Visual nonverbal behavior analysis: The path forward
Koelstra Affective and Implicit Tagging using Facial Expressions and Electroencephalography.
Bianchi-Berthouze et al. 11 Automatic Recognition of Affective Body Expressions
Zhang et al. A survey on mobile affective computing
Tang et al. Eye movement prediction based on adaptive BP neural network
Hadar Implicit Media Tagging and Affect Prediction from video of spontaneous facial expressions, recorded with depth camera
Destyanto Emotion Detection Research: A Systematic Review Focuses on Data Type, Classifier Algorithm, and Experimental Methods
El Mougy Character-IoT (CIoT): Toward Human-Centered Ubiquitous Computing

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170405

R150 Certificate of patent or registration of utility model

Ref document number: 6125670

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250