JP6643771B2 - 脳活動解析装置、脳活動解析方法および脳活動解析プログラム - Google Patents

脳活動解析装置、脳活動解析方法および脳活動解析プログラム Download PDF

Info

Publication number
JP6643771B2
JP6643771B2 JP2015202275A JP2015202275A JP6643771B2 JP 6643771 B2 JP6643771 B2 JP 6643771B2 JP 2015202275 A JP2015202275 A JP 2015202275A JP 2015202275 A JP2015202275 A JP 2015202275A JP 6643771 B2 JP6643771 B2 JP 6643771B2
Authority
JP
Japan
Prior art keywords
brain activity
subject
feature vector
image
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015202275A
Other languages
English (en)
Other versions
JP2017076193A (ja
Inventor
之康 神谷
之康 神谷
友慈 堀川
友慈 堀川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2015202275A priority Critical patent/JP6643771B2/ja
Publication of JP2017076193A publication Critical patent/JP2017076193A/ja
Application granted granted Critical
Publication of JP6643771B2 publication Critical patent/JP6643771B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Description

この発明は、脳機能画像法を用いた脳活動解析装置および脳活動解析方法に関する。
（一般物体認識技術）
制約のない実世界シーンの画像に対して計算機がその中に含まれる物体を一般的な名称で認識する技術を、「一般物体認識」と呼ぶ。言い換えれば、「一般物体認識」とは、識別器を機械学習で訓練する際のデータベースには存在しない入力画像の物体のカテゴリを予測する（分類する）ことを意味する。
これに対して、「特定物体認識」とは、識別器を訓練する際のデータベースは認識対象とする物体の画像をすでに持つことを前提として、入力画像に写る物体とデータベース内の画像を照合し同定することである。
特定物体認識に使用される技術において、よく使用される特徴量としては、たとえば、「ＳＩＦＴ（Scale Invariant Feature Transform）」がある。これは，１９９９年にUniversity of British Columbia のDavid G.Loweによって提案された手法であり、スケールの変化に不変な特徴量である。ＳＩＦＴでは，画像が拡大しても縮小しても同じものとしてマッチングでき、さらに、スケールだけではなく、回転に対しても不変な特徴量を得ることができる。
当然ながら、一般物体認識には、特定物体認識よりも、より多くの技術的課題が存在する。たとえば、制約のない画像における「一般的な名称」を表す同一クラスの範囲が広く、同一クラスに属する対象のアピアランス（外観、見え）の変化がきわめて大きいために、１）対象の特徴抽出、２）認識モデル（識別器）の構築、３）学習データセットの構築が、困難であるためである。
一般物体認識の技術としては、たとえば、２０００年代に入り、計算機技術の発展により大量のデータを高速処理できるようになると、いわゆる「統計的機械学習」が、一般画像認識の技術に適用されるようになった。
ここでは、特に、画像中の局所特徴量を利用する手法として、「Bag-of-keypoints」あるいは「Bag-of-visual words」と呼ばれる技術が発展した。
「Bag-of-visual words」では、画像中の位置を無視して、画像を局所的特徴（visual words）の集合として考え、局所特徴の特徴ベクトルををベクトル量子化することで、画像の特徴量は、画像から抽出した数千個程度の局所的特徴（visual words）の出現頻度のヒストグラムとして表現される。
そして、このような局所特徴として、上述したＳＩＦＴ技術を用いて、特徴点を所定次元のベクトルとして記述する（ＳＩＦＴ記述子と呼ぶ）。
一般的には、Bag-of-visual wordsによる特徴表現は、学習画像に対する、１）特徴点抽出、２）ＳＩＦＴ記述子ベクトルの計算、３）全学習画像の全ＳＩＦＴ記述子ベクトルのk-means法によるクラスタリングによるコードブックの作成、４）コードブックに基づいて各画像について、ＳＩＦＴ記述子ベクトルのヒストグラムの作成、という手順で実行される。
たとえば、特許文献１には、物体認識部が、動画解析部から画像データを受け取り、該画像データから特定物体認識を行うための特徴量データ、例えば、ＳＩＦＴ特徴量（局所的な領域の濃度変化特徴を表す特徴量）などの局所特徴量から計算されるＢａｇ Ｏｆ Ｆｅａｔｕｒｅｓ特徴量（例えば、あらかじめ局所特徴量の集合をＫｍｅａｎｓ法によりクラスタリングしておき、代表的な局所特徴量を任意の個数見つけ出し、画像１枚における求めた代表的な局所特徴量の出現度合いを表した特徴量）を抽出する機能と、該特徴量データと、物体認識データベースの中に保存されている物体特徴量とを比較して特定物体認識処理を行う機能と、該特定物体認識結果と特定物体の位置情報を、動画データベースに保存する機能と、該画像データと物体認識データベースの中に保存されている一般物体認識器と一般物体名称から一般物体認識処理を行う機能と、該一般物体認識結果を動画データベースに保存する機能と、を有する構成について、開示がある。
ただし、このような局所特徴量から計算されるＢａｇ Ｏｆ Ｆｅａｔｕｒｅｓ特徴量による物体認識には、一定の限界があった。これは、主として、物体の認識にあたり、画像中の物体の見え（アピアランス）の違いに対して不変（ある意味での鈍感さ）と考えられる画像の局所的な特徴を採用しつつも、類似カテゴリとの区別を可能とする弁別力（ある意味での敏感さ）を両立させる必要があることが、理由の一つと考えられる。
ところが、最近、畳込みニューラルネットワーク（convolutional neural network）を用いた、いわゆる「ディープラーニング（深層学習）」が、一般物体認識において、高い能力を発揮することが実証されている（たとえば、非特許文献１を参照）。
畳込みニューラルネットワークは、神経科学の知見に基づく構造を持つ順伝播型ニューラルネットワークの一種である。
生物の視覚系では，外界から眼に取り込まれ網膜に結んだ像は，脳の視覚野に電気的な信号として伝達される。脳の視覚野にある無数の神経細胞の中には、網膜の特定の場所に特定のパタンが入力されると興奮し、それ以外のときは興奮しないという、選択的な振る舞いを示すものがあることが知られている。
そのような細胞には単純型細胞(simple cell)、複雑型細胞(complex cell) と呼ばれる２種類があり、網膜（あるいは視野）の特定の位置に，特定の方向・太さの線分が提示されたときのみ選択的に反応する。単純型細胞と複雑型細胞との入力の位置選択性の違いがあり、前者はそれが厳密だが、後者は一定の寛容性を持つという特性がある。
畳込みニューラルネットワークは、このような単純型細胞の機能と複雑型細胞の機能とを、ニューラルネットワークの構成としてモデル化したものである。
一方で、人間の脳の視覚野の活動についても、非侵襲な計測方法である核磁気共鳴画像法（ＭＲＩ:Magnetic Resonance Imaging）が発展したことにより、ほぼリアルタイムに近い条件で、観察することが可能となってきている。
核磁気共鳴画像法を利用して、ヒトの脳の活動に関連した血流動態反応を視覚化する方法である機能的磁気共鳴画像法（ｆＭＲＩ：functinal Magnetic Resonance Imaging）を始めとする脳機能画像法は、感覚刺激や認知課題遂行による脳活動と安静時や対照課題遂行による脳活動の違いを検出して、関心のある脳機能の構成要素に対応する脳賦活領域を特定すること、すなわち脳の機能局在を明らかにすることにもちいられてきた。
血流量の変化がＮＭＲ信号強度に変化をもたらすのは、血液中の酸素化および脱酸素化ヘモグロビンは磁気的な性質が異なることを利用している。酸素化ヘモグロビンは反磁性体の性質があり、周りに存在する水の水素原子の緩和時間に影響を与えないのに対し、脱酸素化ヘモグロビンは常磁性体であり、周囲の磁場を変化させる。したがって、脳が刺激を受け、局部血流が増大し、酸素化ヘモグロビンが増加すると、その変化分をＭＲＩ信号として検出する事ができる。被験者への刺激は、たとえば、視覚による刺激や聴覚による刺激、あるいは所定の課題（タスク）の実行等が用いられる。
ここで、脳機能研究においては、微小静脈や毛細血管における赤血球中の脱酸素化ヘモグロビンの濃度が減少する現象（ＢＯＬＤ効果）に対応した水素原子の核磁気共鳴信号（ＭＲＩ信号）の上昇を測定することによって脳の活動の測定が行われている。
特に、人の運動機能に関する研究では、被験者に何らかの運動を行わせつつ、上記ＭＲＩ装置によって脳の活動を測定することが行われている。
ところで、ヒトの場合、非侵襲的な脳活動の計測が必要であり、この場合、ｆＭＲＩデータから、より詳細な情報を抽出できるデコーディング技術が発達してきており、低次視覚野の脳活動のデコーディングにより、被験者が今見ている画像を再構成することに成功いしている（たとえば、非特許文献２）。特に、ｆＭＲＩが脳におけるボクセル単位（volumetric pixel : voxel）で脳活動を解析することで、脳活動の空間的パターンから、刺激入力や認識状態を推定することが可能となっている。
さらに、実際に何を見ているのかだけでなく、脳活動から、人が何を想像しているのかや（非特許文献３）、さらには、何を夢見ているのか（非特許文献４）、といった精神活動の内容を解釈することも可能となってきている。
特開２０１５−３２９０５号公報
A. Krizhevsky, I. Sutskever and G. E. Hinton, "ImageNet classification with deep convolutional neural networks，" In Proceedings of Neural Information Processing Systems, 2012. Kamitani Y, Tong F. "Decoding the visual and subjective contents of the human brain．" Nat Neurosci. 2005; 8: 679-85. Reddy, L., Tsuchiya, N. & Serre, T. "Reading the mind's eye: Decoding category information during mental imagery．" Neuroimage 50, 818-825 (2010). Horikawa, T., Tamaki, M., Miyawaki, Y. & Kamitani, Y. "Neural decoding of visual imagery during sleep．" Science 340, 639-642 (2013).
上述のように、最近の研究は、視認されまたは想像された内容を、fMRIにより脳活動を計測することでデコードすることを達成している。
ほとんどのこれらの研究は、分類ベースのアプローチに依存したものであり、統計的分類器（デコーダ）が脳活性パターンと解読されるべきターゲットの視覚的な内容の関係を学習するように訓練される。
しかしながら、そのようなアプローチは可能な出力の数に基本的な拘束を課したものであり、分類器からの出力は、デコーダのトレーニングに使用されたクラスの数に制限されており、デコーダがトレーニング中で使用されない、任意のクラスに関する予測をすることができない。
すなわち、その予測はトレーニングサンプルに制限されており、画像認識における一般物体認識に相当するような予測については、未だ、達成されていない。
また、脳活動から、一般的に物体のカテゴリをデコードする方法を確立できれば、脳活動からデコードされた情報を利用する技術に対する実用的な利点をもたらし、人間の脳がどのようにして莫大な数の物体を表現するかについても、理解が進むものと考えられる。
この発明は、上記のような問題点を解決するためになされたものであって、その目的は、被験者が、デコーダのトレーニングの中で使用されなかった物体を含むような物体画像を見ているあるいは想像している間に測定された脳活動信号からであっても、視認されまたは想像された物体のカテゴリを識別することが可能な脳活動解析装置、脳活動解析方法および脳活動解析プログラムを提供することである。
この発明の他の目的は、被験者が、物体画像を見ているあるいは想像している間に測定された脳活動信号から、視認されまたは想像された物体のカテゴリを識別するに当たり、識別器の機械学習に要する時間を短縮することが可能な脳活動解析装置、脳活動解析方法および脳活動解析プログラムを提供することである。
この発明の１つの局面に従うと、脳活動解析装置であって、画像に含まれる物体のカテゴリ情報が関連付けられた複数の参照画像データを格納する画像データベースと、参照画像データについて、視覚特徴ベクトルを抽出する視覚特徴抽出部と、対象者の脳内の所定領域における脳活動を示す信号を測定するための脳活動検知装置からの信号を受信するためのインタフェースと、複数の試験画像を被験者に提示した際に、被験者の脳内の所定領域における脳活動を示す信号として予め測定された信号に基づく機械学習により、脳活動パターンから推定した推定視覚特徴ベクトルを生成するための特徴予測手段と、視覚特徴抽出部により抽出された視覚特徴ベクトルと、推定視覚特徴ベクトルとの相関の大きさに基づいて、対象者の所定領域に生じている脳活動パターンに対応する物体のカテゴリを識別する識別手段とを備える。
好ましくは、画像データベース中に格納される参照画像データの物体のカテゴリの数は、被験者に提示した試験画像における物体のカテゴリの数よりも多い。
好ましくは、特徴予測手段の機械学習に使用され、試験画像に対応する視覚特徴ベクトルは、同一のカテゴリに属する複数の参照画像データに対する視覚特徴ベクトルを平均したものである。
好ましくは、視覚特徴抽出部は、多層構造を有する畳込みニューラルネットワークである。
好ましくは、特徴予測手段が予測する推定視覚特徴ベクトルは、畳込みニューラルネットワークの中間の層の発火パターンから抽出された特徴量である。
好ましくは、特徴予測手段が予測する推定視覚特徴ベクトルは、ＳＩＦＴ＋ＢｏＦによる画像特徴ベクトルである。
この発明の他の局面に従うと、対象者の脳内の所定領域における脳活動を示す信号を測定するための脳活動検知装置からの信号に基づいて、演算装置が、対象者が視認しているまたは想像している物体のカテゴリに識別を行うための脳活動解析方法であって、演算装置が、複数の試験画像を被験者に提示した際に、被験者の脳内の所定領域における脳活動を示す信号として予め測定された信号に基づいて、脳活動パターンから推定視覚特徴ベクトルを推定する処理を機械学習するステップと、演算装置が、脳活動検知装置からの信号に基づいて、推定視覚特徴ベクトルを推定するステップと、演算装置が、画像に含まれる物体のカテゴリ情報が関連付けられた複数の参照画像データを格納する画像データベースにより参照画像データに対して抽出された視覚特徴ベクトルと、推定視覚特徴ベクトルとの類似度の大きさを算出するステップと、演算装置が、算出された類似度の大きさに基づいて、対象者の所定領域に生じている脳活動パターンに対応する物体のカテゴリを識別するステップとを備える。
この発明のさらに他の局面に従うと、対象者の脳内の所定領域における脳活動を示す信号を測定するための脳活動検知装置からの信号に基づいて、対象者が視認しているまたは想像している物体のカテゴリに識別を行う処理をコンピュータに実行させるための脳活動解析プログラムであって、コンピュータの演算装置が、複数の試験画像を被験者に提示した際に、被験者の脳内の所定領域における脳活動を示す信号として予め測定された信号に基づいて、脳活動パターンから推定視覚特徴ベクトルを推定する処理を機械学習するステップと、演算装置が、脳活動検知装置からの信号に基づいて、推定視覚特徴ベクトルを推定するステップと、演算装置が、画像に含まれる物体のカテゴリ情報が関連付けられた複数の参照画像データを格納する画像データベースにより参照画像データに対して抽出された視覚特徴ベクトルと、推定視覚特徴ベクトルとの類似度の大きさを算出するステップと、演算装置が、算出された類似度の大きさに基づいて、対象者の所定領域に生じている脳活動パターンに対応する物体のカテゴリを識別するステップと、をコンピュータに実行させる。
この発明によれば、被験者が、デコーダのトレーニングの中で使用されなかった物体を含むような物体画像を見ているあるいは想像している間に測定された脳活動信号からであっても、視認されまたは想像された物体のカテゴリを識別することが可能となる。
また、この発明によれば、被験者が、物体画像を見ているあるいは想像している間に測定された脳活動信号から、視認されまたは想像された物体のカテゴリを識別するに当たり、識別器の機械学習に要する時間を短縮することが可能となる。
ＭＲＩ装置１０の全体構成を示す模式図である。 データ処理部３２のハードウェアブロック図である。 被験者が視認したか、あるいは、想像した物体について、一般物体認識の処理を行うための構成を示す機能ブロック図である。 脳活動解析装置システムの構築の手続きを説明するためのフローチャートである。 対象者の脳活動データから、対象者が視認している物体または想像している物体を識別する処理を説明するための概念図である。 ＣＮＮモデルについて概念を示す図である。 ＣＮＮモデルの構成の一例を説明するための概念図である。 モデル化の概念を説明するための図である。 モデル化の概念を説明するための図である。 画像提示実験および想像実験の流れを説明するための概念図である。 多数の視覚野に対して、提示された画像の特徴に対する予測精度を示す図である。 視認された画像に対する、多数の視覚野からの物体特有の特徴の予測精度を示す図である。 想像された画像に対する、多数の視覚野からの物体特有の特徴の予測精度を示す図である。 物体カテゴリ識別の概念を示す図である。 識別解析における識別手続きを説明するための概念図である。 識別された予測カテゴリのランク（順位）と、ターゲットとなるカテゴリとの間の意味的距離を示す図である。 視覚的特徴と候補集合サイズに対して、視認された物体に対する識別性能を示す図である。 多数の特徴関心領域の組合せの下での識別性能を評価した図である。
以下、本発明の実施の形態のＭＲＩシステムの構成について、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
［実施の形態１］
図１は、ＭＲＩ装置１０の全体構成を示す模式図である。
ＭＲＩ装置は、上述のとおり、ｆＭＲＩ信号を測定することにより、脳内の関心領域の活動を計測することができる。
図１に示すように、ＭＲＩ装置１０は、被験者２の関心領域に制御された磁場を付与してＲＦ波を照射する磁場印加機構１１と、この被験者２からの応答波（ＮＭＲ信号）を受信してアナログ信号を出力する受信コイル２０と、この被験者２に付与される磁場を制御するとともにＲＦ波の送受信を制御する駆動部２１と、この駆動部２１の制御シーケンスを設定するとともに各種データ信号を処理して画像を生成するデータ処理部３２とを備える。
なお、ここで、被験者２が載置される円筒形状のボアの中心軸をＺ軸にとりＺ軸と直交する水平方向にＸ軸及び鉛直方向にＹ軸を定義する。
ＭＲＩ装置１０は、このような構成であるので、磁場印加機構１１により印加される静磁場により、被験者２を構成する原子核の核スピンは、磁場方向（Ｚ軸）に配向するとともに、この原子核に固有のラーモア周波数でこの磁場方向を軸とする歳差運動を行う。
そして、このラーモア周波数と同じＲＦパルスを照射すると、原子は共鳴しエネルギーを吸収して励起され、核磁気共鳴現象（ＮＭＲ現象；Nuclear Magnetic Resonance）が生じる。この共鳴の後に、ＲＦパルス照射を停止すると、原子はエネルギーを放出して元の定常状態に戻る緩和過程で、ラーモア周波数と同じ周波数の電磁波（ＮＭＲ信号）を出力する。
この出力されたＮＭＲ信号を被験者２からの応答波として受信コイル２０で受信し、データ処理部３２において、被験者２の関心領域が画像化される。
磁場印加機構１１は、静磁場発生コイル１２と、傾斜磁場発生コイル１４と、ＲＦ照射部１６と、被験者２をボア中に載置する寝台１８とを備える。
被験者２は、寝台１８に、たとえば、仰臥する。被験者２は、特に限定されないが、たとえば、プリズムメガネ４により、Ｚ軸に対して垂直に設置されたディスプレイ６に表示される画面を見ることができる。このディスプレイ６の画像により、被験者２に視覚刺激が与えられる。なお、被験者２への視覚刺激は、被験者２の目前にプロジェクタにより画像が投影される構成であってもよい。
このような視覚刺激は、被験者に対して物体の画像を提示したり、被験者が想像するべき物体を文字などで提示したりすることに使用される。
駆動部２１は、静磁場電源２２と、傾斜磁場電源２４と、信号送信部２６と、信号受信部２８と、寝台１８をＺ軸方向の任意位置に移動させる寝台駆動部３０とを備える。
データ処理部３２は、操作者（図示略）から各種操作や情報入力を受け付ける入力部４０と、被験者２の関心領域に関する各種画像及び各種情報を画面表示する表示部３８と、各種処理を実行させるプログラム・制御パラメータ・画像データ（構造画像等）及びその他の電子データを記憶する記憶部３６と、駆動部２１を駆動させる制御シーケンスを発生させるなどの各機能部の動作を制御する制御部４２と、駆動部２１との間で各種信号の送受信を実行するインタフェース部４４と、関心領域に由来する一群のＮＭＲ信号からなるデータを収集するデータ収集部４６と、このＮＭＲ信号のデータに基づいて画像を形成する画像処理部４８と、ネットワークとの間で通信を実行するためのネットワークインタフェース部５０を備える。
後に説明するように、データ処理部３２は、ネットワークインタフェース部５０を介して、汎用画像データベース４０００とデータの授受を行う。ここで、汎用画像データベース４０００には、画像データとその画像データについての注釈（画像中に含まれる物体のカテゴリなどの情報）がタグ情報として関連付けられた多数のデータの組が、データベースとして格納されている。物体のカテゴリとは、従来から一般物体認識において使用される「物体の一般的な名称」であってよい。以下では、汎用画像データベース４０００に含まれる画像データのことを「参照画像データ」と呼ぶ。
また、データ処理部３２は、専用コンピュータである場合の他、各機能部を動作させる機能を実行する汎用コンピュータであって、記憶部３６にインストールされたプログラムに基づいて、指定された演算やデータ処理や制御シーケンスの発生をさせるものである場合も含まれる。以下では、データ処理部３２は、汎用コンピュータであるものとして説明する。
静磁場発生コイル１２は、Ｚ軸周りに巻回される螺旋コイルに静磁場電源２２から供給される電流を流して誘導磁場を発生させ、ボアにＺ軸方向の静磁場を発生させるものである。このボアに形成される静磁場の均一性の高い領域に被験者２の関心領域を設定することになる。ここで、静磁場コイル１２は、より詳しくは、たとえば、４個の空芯コイルから構成され、その組み合わせで内部に均一な磁界を作り、被験者２の体内の所定の原子核、より特定的には水素原子核のスピンに配向性を与える。
傾斜磁場発生コイル１４は、Ｘコイル、Ｙコイル及びＺコイル（図示省略）から構成され、円筒形状を示す静磁場発生コイル１２の内周面に設けられる。
これらＸコイル、Ｙコイル及びＺコイルは、それぞれＸ軸方向、Ｙ軸方向及びＺ軸方向を順番に切り替えながら、ボア内の均一磁場に対し傾斜磁場を重畳させ、静磁場に強度勾配を付与する。Ｚコイルは励起時に、磁界強度をＺ方向に傾斜させて共鳴面を限定し、Ｙコイルは、Ｚ方向の磁界印加の直後に短時間の傾斜を加えて検出信号にＹ座標に比例した位相変調を加え（位相エンコーディング）、Ｘコイルは、続いてデータ採取時に傾斜を加えて、検出信号にＸ座標に比例した周波数変調を与える（周波数エンコーディング）。
この重畳される傾斜磁場の切り替えは、制御シーケンスに従って、Ｘコイル、Ｙコイル及びＺコイルにそれぞれ異なるパルス信号が送信部２４から出力されることにより実現される。これにより、ＮＭＲ現象が発現する被験者２の位置を特定することができ、被験者２の画像を形成するのに必要な三次元座標上の位置情報が与えられる。
ここで、上述のように、３組の直交する傾斜磁場を用いて、それぞれにスライス方向、位相エンコード方向、および周波数エンコード方向を割り当ててその組み合わせにより様々な角度から撮影を行える。たとえば、Ｘ線ＣＴ装置で撮像されるものと同じ方向のトランスバーススライスに加えて、それと直交するサジタルスライスやコロナルスライス、更には面と垂直な方向が３組の直交する傾斜磁場の軸と平行でないオブリークスライス等について撮像することができる。
ＲＦ照射部１６は、制御シーケンスに従って信号送信部３３から送信される高周波信号に基づいて、被験者２の関心領域にＲＦ（Radio Frequency）パルスを照射するものである。
なお、ＲＦ照射部１６は、図１において、磁場印加機構１１に内蔵されているが、寝台１８に設けられたり、あるいは、受信コイル２０と一体化されていてもよい。
受信コイル２０は、被験者２からの応答波（ＮＭＲ信号）を検出するものであって、このＮＭＲ信号を高感度で検出するために、被験者２に近接して配置されている。
ここで、受信コイル２０には、ＮＭＲ信号の電磁波がそのコイル素線を切ると電磁誘導に基づき微弱電流が生じる。この微弱電流は、信号受信部２８において増幅され、さらにアナログ信号からデジタル信号に変換されデータ処理部３２に送られる。
すなわち、静磁界にＺ軸傾斜磁界を加えた状態にある被験者２に、共鳴周波数の高周波電磁界を、ＲＦ照射部１６を通じて印加すると、磁界の強さが共鳴条件になっている部分の所定の原子核、たとえば、水素原子核が、選択的に励起されて共鳴し始める。共鳴条件に合致した部分（たとえば、被験者２の所定の厚さの断層）にある所定の原子核が励起され、スピンがいっせいに回転する。励起パルスを止めると、受信コイル２０には、今度は、回転しているスピンが放射する電磁波が信号を誘起し、しばらくの間、この信号が検出される。この信号によって、被験者２の体内の、所定の原子を含んだ組織を観察する。そして、信号の発信位置を知るために、ＸとＹの傾斜磁界を加えて信号を検知する、という構成になっている。
画像処理部４８は、記憶部３６に構築されているデータに基づき、励起信号を繰り返し与えつつ検出信号を測定し、１回目のフーリエ変換計算により、共鳴の周波数をＸ座標に還元し、２回目のフーリエ変換でＹ座標を復元して画像を得て、表示部３８に対応する画像を表示する。
たとえば、このようなＭＲＩシステムにより、ＢＯＬＤ信号をリアルタイムで撮像し、制御部４２により、時系列に撮像される画像について、後に説明するような解析処理を行うことで、ｆＭＲＩ画像の撮像を行い、脳活動に関する情報を取得すること可能となる。
図２は、データ処理部３２のハードウェアブロック図である。
データ処理部３２のハードウェアとしては、上述のとおり、特に限定されないが、汎用コンピュータを使用することが可能である。
図２において、データ処理部３２のコンピュータ本体２０１０は、メモリドライブ２０２０、ディスクドライブ２０３０に加えて、演算装置（ＣＰＵ）２０４０と、ディスクドライブ２０３０及びメモリドライブ２０２０に接続されたバス２０５０と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ２０６０とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ２０７０と、アプリケーションプログラム、システムプログラム、およびデータを記憶するための不揮発性記憶装置２０８０と、通信インタフェース２０９０とを含む。通信インタフェース２０９０は、駆動部２１等と信号の授受を行うためのインタフェース部４４および図示しないネットワークを介して他のコンピュータと通信するためのネットワークインタフェース５０に相当する。なお、不揮発性記憶装置２０８０としては、ハードディスク（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ：Solid State Drive）などを使用することが可能である。不揮発性記憶装置２０８０が、記憶部３６に相当する。
ＣＰＵ２０４０が、プログラムに基づいて実行する演算処理により、データ処理部３２の各機能、たとえば、制御部４２、データ収集部４６、画像処理部４８の各機能が実現される。
データ処理部３２に、上述した実施の形態の機能を実行させるプログラムは、ＣＤ−ＲＯＭ２２００、またはメモリ媒体２２１０のような記録媒体に記憶されて、ディスクドライブ２０３０またはメモリドライブ２０２０に挿入され、さらに不揮発性記憶装置２０８０に転送されても良い。あるいは、プログラムは、通信インタフェースを介してネットワークからダウンロードされてもよい。プログラムは実行の際にＲＡＭ２０７０にロードされる。
データ処理部３２は、さらに、入力装置としてのキーボード２１００およびマウス２１１０と、出力装置としてのディスプレイ２１２０とを備える。キーボード２１００およびマウス２１１０が入力部４０に相当し、ディスプレイ２１２０が表示部３８に相当する。
上述したようなデータ処理部３２として機能するためのプログラムは、コンピュータ本体２０１０に、情報処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。データ処理部３２がどのように動作するかは周知であり、詳細な説明は省略する。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
図３は、データ処理部３２の実行する機能のうち、ＭＲＩ装置１０により計測された脳活動データにより、被験者が視認したか、あるいは、想像した物体について、一般物体認識の処理を行うための構成を示す機能ブロック図である。
不揮発性記憶装置２０８０には、以下のデータが格納されている：
１）画像データから画像中の物体の特徴を表す特徴ベクトルを抽出する特徴抽出器を特定するための特徴抽出器データ３１００
実際は、この特徴抽出器は、物体認識をソフトウェアで実行するための識別器（分類器）であり、このようなソフトウェアを動作させるためのパラメータ等が、特徴抽出器データ３１００に相当する。
ここで、識別器（分類器）としては、以下のものが考えられる。
ａ１）畳み込みニューラルネットワーク(ＣＮＮ)モデル
ｂ１）ＨＭＡＸモデル
ｃ１）ＧＩＳＴ
ｄ１）ＳＩＦＴ＋ＢｏＦモデル
これらの識別器（分類器）のモデルについては、後に詳しく説明する。
２）脳活動データから画像の特徴ベクトルを予測するための予測器を学習するためのデータおよび予測器を特定するための予測器データ
具体的には、以下のようなデータが含まれる。
ａ２）被験者について、ある物体を含む画像データを視認しているときの関心領域の脳活動データである学習用ＭＲＩ測定データ３１０２
ｂ２）学習用ＭＲＩ測定データ３１０２を計測する際に、被験者に提示された画像について識別器（分類器）により抽出される物体の特徴ベクトル３１０４
ｃ２）予測すべき物体カテゴリについて、同一の物体カテゴリ内で物体の特徴ベクトル３１０４を平均した物体特有の特徴ベクトル３１０６
ｄ２）予測器を特定するための予測器データ３１１０
この予測器も、脳活動データから画像の特徴ベクトルを予測する処理をソフトウェアで実行するものであり、このようなソフトウェアを動作させるためのパラメータ等が、予測器データ３１１０に相当する。
このような予測器も、機械学習により訓練されて上記のようなパラメータ等が予め決定されているものとする。機械学習の訓練は、学習用ＭＲＩ測定データ３１０２から物体の特徴ベクトル３１０４を予測する、または、学習用ＭＲＩ測定データ３１０２から物体特有の特徴ベクトル３１０６を予測するものとして、実行される。
３）視認したかあるいは想像している物体を推定する対象となる被験者についてのＭＲＩ装置による関心領域の脳活動データであるＭＲＩ測定データ３１１２。
ＭＲＩ測定データ３１１２は、たとえば、図１に示したＭＲＩ装置１０により、被験者について計測され、記憶部３６（不揮発性記憶装置２０８０）に格納されているものとする。
さらに、ＣＰＵ２０４０の実行する機能には、以下のものが含まれる：
１）学習用ＭＲＩ測定データ３１０２と、物体の特徴ベクトル３１０４または物体特有の特徴ベクトル３１０６とを通信インタフェース２０９０経由で不揮発性記憶装置２０８０から受け取り、機械学習により予測器を生成して、生成された予測器を特定するための予測器データ３１１０を、不揮発性記憶装置２０８０に格納する予測器生成部３０１２。
２）不揮発性記憶装置２０８０中の予測器データ３１１０に基づいて動作し、通信インタフェース２０９０経由で受信するＭＲＩ測定データ３１１２から、物体の画像を視認しているあるいは物体を想像している被験者の脳活動データから特徴ベクトルを予測する特徴ベクトル予測部３０１４。
３）汎用画像データベース４０００から、参照画像データおよび当該参照画像データについてのタグ情報とを通信インタフェース２０９０経由で読出し、特徴抽出器データ３１００で特定される識別器により画像の特徴ベクトルを算出する特徴ベクトル抽出部３０１６。
４）特徴ベクトル予測部３０１４により予測された特徴ベクトル（以下、「推定視覚特徴ベクトル」と呼ぶ）と、特徴ベクトル抽出部３０１６により算出された特徴ベクトル（以下、「視覚特徴ベクトル」と呼ぶ）との類似度（たとえば、相関）の大きさを算出する相関値算出部３０１８。
５）相関値算出部３０１８により算出された類似度の大きさに基づいて、被験者の脳の関心領域に生じている脳活動パターンに対応する物体のカテゴリを識別する識別処理部３０２０。ここで、脳活動パターンに対応する物体のカテゴリとして識別するための条件としては、たとえば、推定視覚特徴ベクトルについて、所定数の参照画像データに対応する視覚特徴ベクトルの間で、最も大きな相関値を有する物体カテゴリを識別結果とすることとしてもよいし、あるいは、相関値が所定値を超えるような物体カテゴリが見いだされた時点で、その物体カテゴリを識別結果としてもよい。
なお、以上の説明では、識別処理部が３０２０が、識別処理を行うにあたり、その都度、特徴ベクトル抽出部３０１６が、汎用画像データベース４０００内の参照画像データについて視覚特徴ベクトルを算出するものとして説明した。ただし、たとえば、特徴ベクトル抽出部３０１６は、事前において、汎用画像データベース４０００内の参照画像データの少なくとも一部について視覚特徴ベクトルを算出しておき、物体カテゴリとそれに対応する視覚特徴ベクトルとの複数個の組を、不揮発性記憶装置２０８０にカテゴリ特徴データベースとして格納しておくことで、相関値算出部３０１８および識別処理部３０２０は、カテゴリ特徴データベース内の視覚特徴ベクトルと推定視覚特徴ベクトルとの類似度を算出して、物体カテゴリを識別する構成とすることもできる。
また、特に、参照画像データの一部について視覚特徴ベクトルを算出しておき、物体カテゴリとそれに対応する視覚特徴ベクトルとの複数個の組を、カテゴリ特徴データベースとして格納する場合は、このカテゴリ特徴データベース内のデータを識別処理におけるキャッシュデータのように使用することも可能である。すなわち、相関値算出部３０１８は、まず、推定視覚特徴ベクトルと、カテゴリ特徴データベースに予め格納されている視覚特徴ベクトルとの間の相関を算出し、たとえば、所定の相関値以上となる物体カテゴリが存在しない場合または相関を算出した参照画像の個数が所定の個数に達していない場合には、汎用画像データベース４０００内の参照画像データを順次読み出して、特徴ベクトル抽出部３０１６が視覚特徴ベクトルを算出し、相関値算出部３０１８が相関値を算出して、識別処理部３０２０が、識別処理を行うこととしてもよい。
さらに、以下の説明において、特に、実験結果については、学習用ＭＲＩ測定データ３１０２を計測した被験者と、ＭＲＩ測定データ３１１２を計測することで視認したかあるいは想像している物体を推定する対象となる被験者とが、同一人物であるものとして説明する。
ただし、学習用ＭＲＩ測定データ３１０２を計測した第１の被験者（複数であってよい）と、ＭＲＩ測定データ３１１２を計測する第２の被験者とは、必ずしも同一人物である必要はない。
そこで、第１の被験者と第２の被験者とが同一であるか否かを問わず、ＭＲＩ測定データ３１１２を計測し、視認したかあるいは想像している物体を推定する対象となる第２の被験者のことを、特に、「対象者」と呼ぶことにする。
なお、直接、上述したような視覚特徴ベクトルの予測器に対する実験ではないものの、視覚刺激を与えたときに、ある被検者に生じる脳活動のパターンを、同一の視覚刺激を受けたときの他の被験者の脳活動のパターンに変換することには、たとえば、以下の文献に、すでに成功例が報告されている。
文献：Yamada, K., Miyawaki, Y., Kamitani, Y.: Inter-subject neural code converter for visual image representation: NeuroImage Vol. 113, pp.289-97 (2015)
つまり、この文献では、２人の被験者のペアについて、同一の視覚刺激が提示されたときの脳活動パターン（ボクセルパターン）を、複数の視覚刺激について、統計的機械学習を行って、一方の脳活動パターンから他方の脳活動パターンを予測している（ニューラルコードコンバータと呼ぶ）。なお、この統計的機械学習においては、任意の脳活動パターンを予測できるようにするために、２人の被験者に複数のランダムパターンを提示し、同一のパターンが提示された際の２人の脳活動パターンを関連付けて記録する。予測目標となる被検者の関心領域内の各ボクセルのｆＭＲＩ信号の振幅を、他方の被験者の関心領域内のボクセルのｆＭＲＩ信号の振幅の線形結合として、ニューラルコードコンバータを訓練する。ここで、このようなニューラルコードコンバータに対する学習には、後に説明するようなスパースロジスティック回帰の手法を用いることができる。
このような技術を応用することで、第１の被験者と第２の被験者（対象者）とが異なる場合であっても、第１の被験者からの脳活動の測定データにより訓練された予測器を用いる際に、たとえば、第２の被験者の脳活動パターンをニューラルコードコンバータにより第１の被験者の脳活動パターンに変換すれば、第２の被験者の脳活動パターンに対応する「推定視覚特徴ベクトル」を予測することが可能である。
（脳活動解析装置システムの構築の手続き）
図４は、図３に示したような脳活動解析装置システムの構築の手続きを説明するためのフローチャートである。
また、図５は、このようにして構築された脳活動解析装置システムにより、対象者の脳活動データから、対象者が視認している物体または想像している物体を識別する処理を説明するための概念図である。
図４を参照して、特徴ベクトル抽出部３０１４は、たとえば、汎用画像データベース４０００からの参照画像データについて、視覚的特徴を使用して、物体画像から視覚特徴パターンを抽出し、各視覚的特徴の特徴ベクトルによって物体画像を表現して、物体の特徴ベクトル３１０４を生成する（Ｓ１００）。このとき、物体特有の特徴ベクトル３１０６も併せて生成される。
続いて、被験者に対して、物体の特徴ベクトル３１０４が抽出された参照画像データを提示して、その際に併せて計測された被験者の脳活動データから成る学習用ＭＲＩ測定データ３１０２とに基づいて、予測器生成部３０１２は、予測器（デコーダ）を、脳活性パターンから、視認された物体の視覚的特徴のパターンを推定するように機械学習で訓練する（Ｓ１０２）。
特徴ベクトル予測部３０１４は、対象者の脳内の複数の所定領域における脳活動を示す信号を測定するための脳活動検知装置からの信号を受信し、訓練された予測器（デコーダ）により、対象者が視認している、あるいは、想像している物体についての特徴パターン（推定視覚特徴ベクトル）を推定する（Ｓ１０４）。
相関値算出部３０１８は、推定された推定視覚特徴ベクトルと、汎用画像データベースで注釈（画像中の物体の物体カテゴリの情報を含む）がタグ付けされた画像から計算された物体特有の特徴ベクトルとの間の類似度（たとえば、相関値）を計算する（Ｓ１０６）。
識別処理部３０２０は、類似度に基づいて、最も大きな類似度の画像に対応する注釈により、視認されたあるいは想像された物体を識別（分類）する（Ｓ１０８）。
ここで、予測器を訓練する学習データは、汎用画像データベース４０００に含まれる参照画像データの一部である。一方、汎用画像データベース４０００には、学習に使用したのよりも、はるかに多くの物体カテゴリに属する参照画像データが格納されている。したがって、本実施の形態の脳活動解析装置によれば、後に、詳しく説明するように、予測器が学習していないような物体カテゴリの物体を含む画像を対象者が、視認しているまたは想像している場合でも、対象者の視認または想像している対象の物体のカテゴリを識別することができる。
また、図５を参照して、対象者が、画像２００を視認している場合、対象者の脳の関心領域に生じる活動パターンがｆＭＲＩにより計測され、その際に生じる活動の特徴パターン２１０が計測される。この特徴パターン２１０に基づいて、学習用データ２２０により予め訓練された予測器（デコーダ）２３０が、推定視覚特徴ベクトル２４０を推定する。
推定視覚特徴ベクトル２４０と、汎用画像データベース４０００中の各参照画像データについて特徴ベクトル抽出部３０１６が抽出した視覚特徴ベクトル群２５０とを、相関値算出部３０１６の算出結果に基づいて、識別処理部３０２０が比較することで、対象者が、視認しているまたは想像している物体のカテゴリを識別することができる。
なお、特に限定されないが、本実施の形態において、ｆＭＲＩにより撮像される脳の関心領域（ＲＯＩ:Region of Interest）としては、以下のようなものがある：
・視覚野であるＶ１野−Ｖ４野、
・外側後頭複合体（ＬＯＣ：lateral occipital complex）、
・紡錘状顔領域（ＦＦＡ：fusiform face area）および
・海馬傍回場所領域（ＰＰＡ：parahippocampal place area）
ここで、海馬傍回場所領域とは、海馬傍皮質の下位領域で (顔や物体ではなく) 風景の符号化と認知に重要な役割を持つとされる。ｆＭＲＩ研究により、この脳領域は被験者が自然風景や都市風景などの画像 (つまり"場所"の画像) のような地理的な風景の刺激を呈示された際に高い活動を示することが知られている。
［視覚特徴ベクトルを抽出する識別器（分類器）］
以下では、図４において、ステップＳ１００の処理として、視覚的特徴を使用して、物体画像から特徴パターンを抽出し、各視覚的特徴の特徴ベクトルによって物体画像を表現する前提としての識別器について、説明する。
上述したように、識別器（分類器）としては、畳み込みニューラルネットワーク(ＣＮＮ)モデル、ＨＭＡＸモデル、ＧＩＳＴ、ＳＩＦＴ＋ＢｏＦモデルが考えられる。
以下、これらの識別器について、特に、ＣＮＮモデルを中心として説明する。
識別器は、一般には、画像から、多層の処理層を経て、最終的に、物体の認識結果を出力するように構成される。
図６では、一例として、ＣＮＮモデルについて概念を示す図である。図６では、合計８層のＣＮＮ１層〜ＣＮＮ８層での処理により、物体認識が実行される。
（ＣＮＮモデル）
図７は、ＣＮＮモデルの構成の一例を説明するための概念図である。
図７に示すように、典型的なＣＮＮモデルは、入力側から、畳込み層、プーリング層の順で重ね、これを何度か繰り返す構造を持つ。ただしこの２種類の層はいつもペアで使われるわけではなく、畳込み層のみ複数回繰り返した後、プーリング層を１層重ねることもある。また、局所コントラスト正規化(local contrast normalization)と呼ばれる画像濃淡の正規化を行う層が設置される場合もある。
畳込み層とプーリング層の繰り返しの後には、隣接層間のユニットが全結合した（すべて密に結合した）層が配置される。これは普通の順伝播型ニューラルネットの層間結合であるが、畳込み層などと区別するために、層間が全結合(fully-connected)であると言う。
最後のプーリング層から出力層の間には、通常この全結合層が複数、連続して配置される。最後に位置する出力層は、通常のニューラルネット同様に設計される。
例えば目的がクラス分類なら，この層の活性化関数をソフトマックス(softmax) 関数とする。
「畳み込み層」は、上述した単純型細胞をモデル化したものということができる。また、「プーリング層」は、上述した複雑型細胞をモデル化したものということができる。
図８および図９は、このようなモデル化の概念を説明するための図である。
単純型細胞は，図８のような構造の単層ネットワークの各ユニットでモデル化できる。左側の層が入力で、右側が出力である。各層のユニットは２次元的に並び、図８（ａ）、（ｂ）のように右の層のユニットは，左の層のたとえば４×４のユニット群とのみ結合を持ち、その４×４のユニットに図８（ｃ）のような特定のパタンが入力されたときのみ、それに反応して活性化する（発火する）とする。そのパタンは（右の層の）全ユニットで共通である。
一方、複雑型細胞は，図９に示すように、図８の単層ネットワークの上位に層を追加したとき、そのユニットによってモデル化できる。
追加した層のユニットは，中間層のたとえば３×３のユニット群と結合を持ち、これらのユニットのうち、１つでも活性化すると、自身も活性化するとする。中間層のユニットが活性化するパタンが図８（ｃ） のとき、全体への入力が図９（ａ）から図９（ｂ）のように変わると、中間層で活性化するユニットは同図のように変化する。
一方、出力側のユニットは、中間層のユニットがどれか１つでも活性化していれば活性化するため、図９（ａ）および図９（ｂ）のいずれの入力でも活性化する。
このように、中間層のユニット（単純型細胞）は入力パタンの位置変化に敏感であるものの、出力側の層のユニット（複雑型細胞）は一定の（この例では、３×３）範囲の位置ずれに鈍感である。
図９の中間層と出力側の層が、畳込みニューラルネットワークを構成する、畳込み層およびプーリング層に、それぞれ対応する。
畳み込みニューラルネットワーク(ＣＮＮ)モデルの詳細については、たとえば、以下の文献にも開示がある。
文献１：岡谷 貴之 著、「深層学習」、講談社、２０１５年４月７日、第１刷発行
以下の説明では、畳込みニューラルネットワークによるCNNモデルは、５つの畳み込み層（ＣＮＮ１−５）および３つの全結合層（ＣＮＮ６−８）から成る深層構造を備えた人工ニューラルネットワークであるものとする。
また、学習等に使用される画像データは、一例として、オンライン画像データベースImageNet（汎用画像データベース４０００の一例）から集めたものを使用するものとして説明する。この画像データベースは、２０１１年の秋にリリースされたものであり、画像がWordNetの中の階層によってグループ化された画像データベースである。以下のサイトで公開されている。
http://www.image-net.org/;
また、WordNetについては以下に開示がある。
Fellbaum, C. WordNet: An Electronic Lexical Database. Cambridge, MA: MIT Press (1998).
WordNetは、英語の概念辞書（意味辞書）である。WordNetでは英単語がsynsetと呼ばれる同義語のグループに分類され、簡単な定義や、他の同義語のグループとの関係が記述される木構造を有している。すなわち、WordNetは、語を類義関係のセット(synset)でグループ化している点に特徴があり、一つのsynsetが一つの概念に対応する。また、各synsetは上位下位関係などの多様な関係で結ばれている。
ＣＮＮモデルは、ImageNetの中の画像で、たとえば１，０００の物体カテゴリを分類するように訓練された。第１〜第７層の各々で、そのユニットの一部、たとえば、１，０００ユニットをランダムに選択し、第８層の中では、分類する物体カテゴリの数に対応して設けられる１，０００ユニットをすべて使用して、画像特徴とする。
すなわち、それらのユニットの出力のベクトルを画像特徴ベクトルとして、各画像を表わし、それぞれ、ＣＮＮ１−ＣＮＮ８モデルという名前をつけることにする。
（ＨＭＡＸモデル）
ＨＭＡＸモデルでは、特徴は、多層の中で階層的に計算される。
ここで、ＨＭＡＸモデルについては、以下の文献に記載されているので、以下では、その概略について説明する。
文献２：T. Serre and M. Riesenhuber, ”Realistic Modeling of Simple and Complex Cell Tuning in the HMAX Model, and Implications for Invariant Object Recognition in Cortex，”CBCLPaper 239/AIMemo 2004-017, Massachusetts Inst. of Technology, Cambridge, 2004.
文献３：Serre, T., Wolf, L., Bileschi, S., Riesenhuber, M. & Poggio, T. ”Robust object recognition with cortex-like mechanisms．” IEEE Trans. Pattern Anal. Mach. Intell. 29, 411-426 (2007).
ＨＭＡＸモデルの複数の層は、画像層および６つの後続する層（Ｓ１，Ｃ１，Ｓ２，Ｃ２，Ｓ３およびＣ３層）から成り、それらはテンプレートマッチングと最大化オペレーションとを交互に実行する。
ここで、Ｓ１層は、入力画像に対して、様々な方向／スケールのガボールフィルタをかける層である。
Ｃ１層は、近傍位置／スケールのＳ１層から入力を受け取り、その中の最大値を出力する。
Ｓ２層は、Ｃ１層からの入力と事前に取得しているＮ個の形状パッチとの類似度を出力する層である。
Ｃ２層は、Ｓ２層からの入力を受け取り、各形状ごとに全ての位置／スケールで最大の信号を出力する。
また、Ｓ３層は、形状の様々な向きのテンプレートを持ち、Ｃ３層は、全ての向きを統合する処理をする。
各層の計算では、Ｃ２層およびＣ３層の中の特徴の数が１，０００に設定された以外は、文献３と、同じパラメーターを使用している。
３つのタイプのＨＭＡＸ特徴から成るベクトルによって各画像を表わし、それらはＳ１層、Ｓ２層およびＣ２層の中のユニットの１，０００個のランダムに選択された出力およびＣ３層の１，０００個の出力すべてからなっている。
（ＧＩＳＴモデル）
ＧＩＳＴ特徴は画像を小領域に区切り、それらの小領域に対し様々な方向，周波数のガボールフィルターをかけることにより、シーン情報を記述する特徴量である。
具体例としては、ＧＩＳＴ特徴を計算するために、画像は最初にグレイスケールに変換され、最大２５６ピクセル幅を持つようにサイズ変更される。
次に、画像は１セットのガボール・フィルタ（１６の方向、４つのスケール）を使用してフィルタリングされる。
その後、フィルタリングされた画像は、４×４のグリッド（１６個のブロック）に分けられ、各ブロック内のフィルタリングされた出力は、各フィルタにつき１６個の応答を抽出するために平均される。
多数のフィルタからの応答は、各画像につき、１０２４次元（１６［方向］×４［スケール］×１６［ブロック］＝１０２４）の特徴ベクトルを生成するように連結される。
（ＳＩＦＴ＋ＢｏＦモデル）
ＳＩＦＴ＋ＢｏＦによる画像特徴は、脳における神経処理に基づかないものの、中間レベルの視覚皮質の領野との描写的な類似点が報告されている。
一枚の画像に対し、１，０００個のパッチを設ける。特徴量はベクトル量子化を行い、１，０００個のクラスタにクラスタリングされる。最後に、ヒストグラムが正規化される。
ＳＩＦＴ＋ＢｏＦモデルでは、使用する視覚的特徴は、ＳＩＦＴ記述子から計算される。
ＢｏＦアプローチでは、視覚的特徴ベクトル（visual words）の要素は、それぞれベクトル量子化された記述子によって作成される。
独立したトレーニング画像セットから計算された約１００万のＳＩＦＴ記述子を使用して、１組の１０００個のビジュアルワードを生成するために、ｋ−ｍｅａｎｓ法が実行される。
また、各ビジュアルワードの頻度は、各イメージのＢｏＦヒストグラムを作成するために計算される。
最後に、上記の処理によって得られたヒストグラムはすべて、ユニット・ノルム・ベクトルになるためにＬ−１正規化される。
そこで、以下では、「ＳＩＦＴ＋ＢｏＦによる画像特徴ベクトル」とは、画像をＳＩＦＴ記述子による局所的特徴の集合として考え、局所特徴の特徴ベクトルををベクトル量子化することで、画像の特徴量を、画像から抽出した複数の局所的特徴の出現頻度のヒストグラムとして表現したベクトルをいう。
［視覚的特徴予測］
以下では、図４のステップＳ１０２で記載したような、予測器（デコーダ）を、脳活性パターンから、視認された物体の視覚的特徴のパターンを推定するように訓練する手続きについて、説明する。
以下に説明するように、線形回帰関数を使用して、ｆＭＲＩで測定された脳活動から、視認された物体の視覚的特徴ベクトルを推定するためのデコーダを構築する。
このようなデコーダとしては、たとえば、予測に重要な特徴を自動的に選ぶことができる、スパースロジスティック回帰(Sparse Logistic Regression:ＳＬＲ)を使用することができる。
なお、スパースロジスティック回帰については、たとえば、以下の文献に開示がある。
文献４：Okito Yamashita, Masa aki Sato, Taku Yoshioka, Frank Tong, and Yukiyasu Kamitani. ”Sparse Estimation automatically selects voxels relevant for the decoding of fMRI activity patterns．” NeuroImage, Vol. 42, No. 4, pp. 1414-1429, 2008.
ここで、スパースロジスティック回帰による推定は、ｆＭＲＩデータの場合のように、説明変数の次元の数が高い場合に、良い結果が得られることが知られている。
入力として、ｄ個のボクセルの脳活動から成るｆＭＲＩ測定サンプルを以下の式で表す。
このｆＭＲＩ測定サンプルが与えられたとき、回帰関数は、以下のように表現される。
ここで、ｘiは、ボクセルｉのｆＭＲＩ振幅を特定するためのスカラー値であり、ｗｉは、ボクセルｉの重みであり、ｗ0は、バイアス値である。簡単のために、バイアスｗ0は、重みベクトルの中に、以下のようにして、含めるものとする。
また、ダミー変数ｘ0＝１が、測定サンプルベクトルの中に、以下のようにして含まれるものとする。
この関数を用いると、各特徴ベクトルのｌ番目の要素を、以下の式で表されるようなガウスノイズを回帰関数ｙ（ｘ）に付加することで説明されるターゲット変数ｔｌ（ｌ∈｛１，…，Ｌ｝）としてモデル化することができる。
ここで、εは、ノイズ精度βのゼロ平均ガウス確率変数である。
訓練データセットが与えらたとき、回帰関数が目的関数を最適化するように、ＳＬＲは、回帰関数のための重みおよびバイアスを計算する。
目的関数を構築するために、以下のように尤度関数を表現する。

ここで、Ｎは、サンプルの個数であり、ｘは、Ｎ×（ｄ＋１）のｆＭＲＩデータマトリックスであって、そのｎ番目の行は、（ｄ＋１）次元ベクトルｘnである。
ｔl＝｛ｔl1，…，ｔln｝Tは、視覚特徴ベクトルの要素のサンプルである。
ベイズパラメタ推定を行ない、重み推定へスパース化を行うために、関連度自動決定事前分布（ＡＲＤ：automatic relevance determination prior）が採用される。ＡＲＤについては、たとえば、以下の文献にも開示がある。
文献５：Bishop, C.M. Pattern Recognition and Machine Learning. New York: Springer (2006).
訓練データセットを以下のように表す。
訓練データセットが与えられたときの重みパラメータｗの推定が行われる。
ここで、重みｗに対してガウス事前分布を仮定し、重み精度パラメタ―α＝｛α0，…，αd｝Tに対しては、無情報事前分布を仮定し、ノイズ精度としてβを仮定すると、以下のように表される。
ベイズ推定のフレームワークでは、すべての評価されたパラメーターの結合確率分布を考慮し、重みを、以下のｗについての結合事後確率Ｐ（ｗ，α，β｜Ｘ，ｔl）を評価することにより推定する；
ここで、結合事後確率の評価は、分析的に扱いにくいという前提で、変分ベイズ法（ＶＢ）を使用して、それを近似する。
パラメタ推定アルゴリズムについての詳細については、たとえば、以下の文献に開示がある。
文献６：Sato, M.A. Online model selection based on the variational Bayes. Neural Comp. 13, 1649-1681 (2001).
文献７：Sato, M.A. et al. Hierarchical Bayesian estimation for MEG inverse problem. Neuroimage 23, 806-826 (2004).
トレーニング画像セッションのｆＭＲＩサンプルを与えられたとしたときに、視認された物体カテゴリに対する個々の視覚的特徴の特徴ベクトルを推定する線形回帰モデルが、訓練される。
テスト・データセットに対しては、ｆＭＲＩ信号の信号対雑音比を増加させるために、同じカテゴリ（テストイメージ・セッションの３５のサンプル、想像実験中の１０個のサンプル）に対応するｆＭＲＩサンプルは、複数の試行にわたって平均する。
学習されたモデルを使用して、画像提示実験および想像実験中の各カテゴリに対して、１つの推定された特徴ベクトルを構成するために、平均されたｆＭＲＩサンプルから視認された／想像された物体の特徴ベクトルが推定される。
［実 験］
以下では、識別解析のために行った実験の内容について、さらに説明する。
（識別解析の実験のための準備）
次に、図４のステップＳ１０６から〜Ｓ１０８で記載したような、脳活性パターンから推定された多物体の視覚的特徴のパターンを使用して、視認された、あるいは、想像された物体を識別する処理の実験を行うための準備の処理について説明する。
識別解析では、視認された／想像された物体のカテゴリは、ｆＭＲＩの脳活動パターンから推定された視覚的特徴ベクトルを使用して識別された。
識別解析に先立って、視覚的特徴ベクトルは、以下に説明する実験では、汎用画像データベース４０００内のすべてのカテゴリ（１５，３７２個のカテゴリ）における、画像のすべてに対して計算された。
すべてのカテゴリに対して「物体特有の特徴ベクトル」を生成するために、個別画像の視覚的特徴ベクトルは、各カテゴリ内で平均され、候補カテゴリの組が形成された。
その後、訓練されたＳＬＲモデルを使用して、ｆＭＲＩ測定サンプルから、視認された／想像された物体の視覚的特徴ベクトルを推定し、推定された特徴ベクトルと、候補集合での各カテゴリの特徴ベクトルの間のピアソンの相関係数が計算された。
変動する候補の数に対してパフォーマンスを定量化するために、視認された／想像された物体カテゴリおよびランダムに選択されたカテゴリから成る候補集合を作成した。
ここで、候補集合でのカテゴリのどれもデコードするモデルのトレーニングに使用されたものではない。
予測された特徴ベクトルが与えられると、候補集合中の最も高い相関係数を備えたカテゴリの選択によりカテゴリが識別された。各サンプルの平均識別性能は、提示されていないカテゴリを１００回リサンプリングすることにより計算された。
（実験結果）
以下では、脳活動データからの画像の特徴ベクトルの予測について行った実験、および、推定された特徴ベクトルにより物体のカテゴリを推定する処理についての実験の結果を説明する。
簡単に要約すると、対象者が自然画像（１５０のカテゴリ）を見ている間に、脳活動はｆＭＲＩによって記録された。
その後、訓練されたデコーダは、ｆＭＲＩ活性パターンからのデコーダ・トレーニングの中で使用されなかった、視認されたまたは想像された物体の特徴ベクトルを推定した。
推定された特徴ベクトルを、オンライン画像データベース中のイメージから計算された物体に特有の特徴ベクトル３１０６と比較することによって、視認され、または想像された物体を、データベース（１５，３７２のカテゴリ）で定義された物体カテゴリに基づいて、識別した。
任意の物体カテゴリが、特徴空間の中で表わされるので、識別された物体カテゴリがデコーダの訓練において使用されるものに制限されていない。
訓練されたデコーダは、うまく個々の特徴の値を推定し、ほとんどの関心領域の組合せに対するｆＭＲＩ信号からの物体の識別を可能にした。高位および低位の視覚的特徴は、それぞれ、より高次のおよびより低次の皮質領域のｆＭＲＩ信号から、一層よく推定される傾向があった。
また、さらに重要なことは、より高次の皮質領域から推定された中間レベルの特徴は、物体カテゴリの識別で最も有用なものであった。
さらに、物体カテゴリについて想像することは、中間レベルの視覚的特徴を推定するような脳活動を引き起こし、かつ、統計的に有意レベルで物体識別を行なうのに十分であった。
したがって、実験の結果は、物体カテゴリの制限のあるセットで訓練されたデコードモデルが、任意の物体カテゴリをデコードするために汎化することを実証するものである。さらに、想像により誘起された脳活動に対して、物体カテゴリ識別に成功したことは、視覚的な知覚に誘発された特徴レベル表現は、また、トップダウンの視覚的な像に使用されることを示唆する。
（実験の具体的内容）
２つ種類の実験が行なわれた。つまり、画像提示実験、および、想像実験である。
図１０は、画像提示実験および想像実験の流れを説明するための概念図である。
まず、図１０（ａ）に示されるように、「画像提示実験」では、被験者が、連続して視覚的な物体画像（９秒間各々示された）を見ている間、ｆＭＲＩ信号が測定された。
（ａ）画像提示実験のデザイン
ディスプレイの中心に、中心凝視スポットとともに画像が提示された。
各刺激ブロックがブロック開始を被験者に知られる前に、凝視スポットのカラーは、０．５秒間、白から赤に変化した。
被験者は、各々の全体にわたって安定に固定された状態を維持し、各反復に対してボタンを押すことで答えて、画像についてone-back repetition detection taskを行なった。
被験者に対して機械学習のためのデータを取得する「トレーニング画像セッション」においては、１５０の異なる物体カテゴリ（各カテゴリからの８つのイメージ）からの合計１，２００の画像が、各々、一回提示された。
対象者に対する「テストイメージ・セッション」では、５０の物体カテゴリ（各カテゴリから１つのイメージ）からの合計５０のイメージが、各々、３５回、示された。
一方、図１０（ｂ）に示すように、「想像実験」では、対象者が画像提示実験のテストイメージ・セッション中に示された５０の物体カテゴリの１つを想像する間に、ｆＭＲＩ信号が測定された。
対象者は、最初の信号音で目を閉じて、キュー期間に赤い文字によって示されたカテゴリと関係する可能な限り多数の物体画像を想像した。
続いて、被験者は、第２の信号音で目を開き、それらが合図された物体カテゴリに対応する物体を想像することができたかどうか、評価した。
テストイメージ・セッションおよび想像実験のカテゴリは、上述のとおり、トレーニング画像セッションにおいては使用されなかった。
解析のためには、上述したＶ１野，Ｖ２野，Ｖ３野，Ｖ４野，ＬＯＣ，ＦＦＡ，ＰＰＡ、低次の視覚野（ＬＶＣと呼ぶ：Ｖ１野−Ｖ３野）、より高次の視覚野（ＨＶＣと呼ぶ：ＬＯＣ，ＦＦＡ，ＰＰＡを含む領域をカバー）、および、上にリストされた視覚的な副領域をすべてカバーする視覚野全体（視覚野ＶＣと呼ぶ）を含む、多数の視覚野からのｆＭＲＩ信号を使用した。
１組の線形回帰関数（スパース線形回帰モデル）が、各脳領域に対応するｆＭＲＩ信号から視覚的特徴ベクトル（各視覚的特徴ごとに、約１，０００個の特徴要素）を推定するために使用された。
予測器（デコーダ）は、トレーニング画像セッションからのｆＭＲＩ信号を使用して、見られた物体から計算される特徴ベクトルの要素の値を推定するように訓練された。その後、訓練された予測器（デコーダ）は、テストイメージ・セッションおよび想像実験の測定されたｆＭＲＩ信号からテスト物体カテゴリに対して各視覚的特徴のパターンを推定するために使用された。
（ｂ）想像実験のデザイン
各試験の開始は、凝視マークの色の変化で被験者に知らされた。
多くの物体名からなるキュー刺激は、３秒間視覚的に示された。想像期間の開始および終了は、耳への信号音（ビープ音）によって示された。
最初の信号音の後に、被験者は、赤い文字によって示されたカテゴリと関係する、できるだけ多数の物体画像を想像するように要求された。
被験者は、第２の信号音が鳴るまで、目を閉じて(１５秒)想像し続けた。その後、被験者は、想像した内容の正確さを評価するように依頼された（３秒）。
実際のキューは、たとえば、５０個のオブジェクト名から成り、一方で、スペース制限のために、その単語の部分集合だけが、この図の中で描かれている。
（画像特徴予測精度）
まず、多数の視覚野の脳活性パターンから、提示された画像に対する視覚的特徴ベクトルの値を計算により推定することができるかどうかを最初に調査した。
ピアソンの相関係数を使用して、テストイメージ・セッションの画像サンプルのすべてに対する予測値および真の値から成るサンプル特徴ベクトルの比較により、特徴予測精度を評価した。
特徴値の分布、およびオリジナルの母集団の特徴要素の数が、視覚的特徴間で異なったので、視覚的特徴間の予測精度差を解釈することは困難である。
そこで、特徴予測の精度としては、（異なる視覚野から得られた）脳領域にわたるイントラ特徴予測精度差に注目した。
図１１は、多数の視覚野に対して、提示された画像の特徴に対する予測精度を示す図である。
各視覚的特徴の特徴要素の平均の予測精度は、ピアソンの相関係数（５人の被験者に関する平均）を使用して、推定された特徴値および示された画像の特徴値から計算された。エラーバーは、被験者に渡る９５％の信頼区間（ＣＩ）を表示す。
なお、図１１では、脳の領野は、一つの特徴（たとえば、ＣＮＮ１）に対して、左から右に、Ｖ１野、Ｖ２野、Ｖ３野、Ｖ４野、ＬＯＣ，ＦＦＡ，ＰＰＡ、ＬＶＣ、ＨＶＣ、ＶＣの順序で並んでいるものとする。以後のグラフでも、脳の領野の並びの順序は、この順序で同様であるので、説明は繰り返さない。
すべての特徴関心領域（feature-ROI）の組に対して、真の値と、脳活性パターンから推定された特徴値とは、正に相関している（ウィルコクソンの符号付順位検定、p<0.05、すべての組、およびすべての被験者に対して）。
視覚的特徴と視覚野の選択は、精度に影響しており、ＣＮＮの特徴に対応する結果の中で見られるように、高次の（より高い層の）視覚的特徴は、より低次の皮質領域よりも、より高次の皮質領域のｆＭＲＩ信号から一層よく推定される傾向があり、低次の（より低い層の）視覚的特徴は、より高次の皮質領域よりも、より低次の皮質領域のｆＭＲＩ信号から一層よく推定される傾向があった。
同様の傾向は、ＨＭＡＸモデルおよび他の２つのモデルでも観察された。これらの結果は、階層的視覚野と、特徴予測精度中の視覚的特徴の複雑さレベルの間の強い関連性を示している。
（物体特有の特徴予測精度）
図１２は、視認された画像に対する、多数の視覚野からの物体特有の特徴の予測精度を示す図である。
物体カテゴリをデコードするデコードモデルにさらに適合させるために、ｆＭＲＩ信号からの個別の物体カテゴリの代表的な特徴パターンを推定するように、デコーダをさらにカスタマイズすることも可能である。
この目的のために、個別の物体カテゴリでタグ付けされた複像の画像の特徴ベクトルの平均により構築された「物体特有の特徴ベクトル」を使用することにより、デコーダをさらに訓練する。このようにして再訓練されたデコーダを「物体特有特徴デコーダ」と呼ぶ。
その上で、物体特有特徴デコーダが、被験者に見られたか想像されたカテゴリの物体特有の特徴パターンを推定できるかどうかテストした。図１２は、このようなテストの結果として、多数の視覚野において、視認された物体カテゴリについての物体特有の特徴に対する予測精度を示す。
物体特有特徴デコーダは、すべての特徴関心領域（feature-ROI）の組合せに対して、見られた物体のカテゴリに対する、物体特有の特徴パターンを推定することに成功した。
図１１に示した画像特徴予測解析におけるパフォーマンス傾向とは対照的に、ほとんどの視覚的特徴に対して、物体特有の特徴パターンは、より低次の皮質領域よりもより高次の脳の皮質領域でのｆＭＲＩ信号から、よりよく推定された。
さらに、図１３は、想像された画像に対する、多数の視覚野からの物体特有の特徴の予測精度を示す図である。
図１３に示すように、想像された物体カテゴリの物体特有パターンも、より高次の視覚皮質の活動で訓練された、視認された物体に対するのと同じ「物体特有特徴デコーダ」を使用して、ほとんどの特徴に対して、適切に推定された。
これらの結果は、想像されたオブジェクトの特徴パターンを推定するために、視認されたオブジェクトの特徴パターンを推定するように訓練されたデコーダが汎化することができることを示唆する。
これは、言い換えると、物体カテゴリに関して想像することが視覚的特徴を推定する脳活動を引き起こすのに十分であるという証拠を提供する。
さらに物体特有の特徴予測精度が、視覚的特徴間および視覚的特徴内の双方に対して、「カテゴリ識別能力」と正に関連していることが見いだされた。
（一般的な物体デコーディングを備えた物体カテゴリ識別）
図１４は、物体カテゴリ識別の概念を示す図である。
ピアソンの相関係数が、提示されたか想像されたカテゴリおよび汎用画像データベース４０００から任意に選ばれたカテゴリの特定数から成る、候補集合におけるカテゴリに対する物体特有の特徴ベクトルと推定された特徴ベクトルとの間で計算された。
最も高い相関係数を備えたカテゴリは推定されたカテゴリ（図１４で、星印が付加）として選択された。
すなわち、より詳しくは、物体に特有の特徴パターンを推定するように訓練されたデコーダから予測された特徴が、視認されまたは想像された物体のデコーディングに役立つか否かを調べるために識別解析が実行された。
識別解析においては、テストイメージ・セッション（および想像実験）に使用されるカテゴリおよび汎用画像データベース４０００によって提供される１５，３３２のカテゴリから任意に選ばれた特定数（たとえば、１０，０００個）のカテゴリから成る候補特徴ベクトル集合が構築された。
対象者から測定されたｆＭＲＩサンプルが与えられると、カテゴリ識別は、推定された特徴ベクトルで最も高い相関係数を有する物体特有の特徴ベクトルを選択し、選択されたベクトルに対応するカテゴリを割り当てることにより行なわれた。
図１５は、識別解析における識別手続きを説明するための概念図である。
図１５では、視認された物体についての識別器によって識別された上位６つの予測カテゴリを示す。
視認されイメージされた物体に対しては、推定された特徴パターンを使用する場合、真の物体カテゴリは相関に関して、正確に選択されたか高位にランク付けされた。
正確なカテゴリが割り当てられなかった場合さえ、上位６つのカテゴリは合理的なカテゴリを含むような識別結果となった。たとえば、「アヒル」に対して推定された特徴ベクトルは、別のタイプの鳥「イワミソサザイ」として誤認された。
すなわち、識別解析は、相関の高い順に並べられた候補カテゴリは、意味論的に、ほとんどのＣＮＮの特徴およびSIFT+BoFに対して、ターゲット・カテゴリに似ている傾向がある。
したがって、上述のとおり、最終識別が正しくなかった時さえ、識別器は、ターゲット・カテゴリに意味論的に似ていたカテゴリを推定することができる。
図１６は、識別された予測カテゴリのランク（順位）と、ターゲットとなるカテゴリとの間の意味的距離を示す図である。
すなわち、図１５に示すように、予測されたカテゴリを上位から順に並べた場合、この予測カテゴリとターゲット物体カテゴリに関して、ランクと意味的距離の関係を定量的に評価した。
ここで、「意味的距離」としては、WordNet木の中でのカテゴリ間の最短パス経路長を使用する。
実験では、５０個の試験サンプルすべてに対して、９９９個の誤りのカテゴリのランダムサンプリングによって候補集合を構築した。そして、予測された特徴ベクトルと候補特徴ベクトルとの間の類似度（相関値）にしたがって、１，０００個の特徴ベクトル（１つの真のカテゴリおよび９９９個の誤りのカテゴリ）をランク付けし、すべてのサンプルに対して、繰り返し、真のカテゴリと１位から１０００位までランク付けされたカテゴリとの間の意味的距離を計算した。
図１６（ａ）に示すように、より高い順位にランクされたカテゴリは、ターゲット・カテゴリに、より短い意味的距離を示す傾向がある。
また、図１６（ｂ）に示すように、意味的距離は、特により高いレベルのＣＮＮの特徴およびSIFT+BoFに対するランクと正に関連していた。
つまり、真のカテゴリが正確に識別されなかった場合さえ、これらの結果はこれらの視覚的特徴に対しては、誤認されたカテゴリは、真のカテゴリに、意味論的に類似することを意味している。
したがって、たとえば、識別器の出力として、単に、最も相関値の高かったカテゴリのみを、ユーザに提示するだけでなく、たとえば、相関値の高いものから所定の数の上位のカテゴリを一覧として、提示することとしてもよい。
また、本実施の形態のような物体カテゴリ識別では、デコードするモデルを訓練するのに使用されるカテゴリの数によって制限を受けないので、モデル・トレーニングに使用されないものを含む何千もの物体カテゴリに対して、識別精度を評価することができる。
図１７は、視覚的特徴と候補集合サイズに対して、視認された物体に対する識別性能を示す図である。
図１７では、すべての視覚的特徴と候補集合サイズの関数として、視認された物体に対する識別性能を評価している。
たとえば、候補集合サイズが２である場合、ほとんどの視覚的特徴に対して、約８０％の精度がえられ、候補の数が増加した時でさえ、性能は、ほとんどの視覚的特徴に対して偶然の割合（図１７中点線で表す）を超えている。
候補の数が増加するにつれて、一般的傾向として精度は低下するものの、特徴について識別精度の順序はほとんど一貫していた。
概して、ＣＮＮ４−７および（SIFT+BoF）のような中間レベルの特徴は、候補の数が異なっても、視認された物体の識別に対して高い性能を一貫して示した。
ここで、「中間レベルの特徴」とは、識別器が多層構造で形成されている場合、最上層と最下層を除いた層において特定される特徴（発火するユニットのパターン）のことをいう。また、「中間レベルの特徴」は、識別器が、人間の視覚野における画像の認識のプロセスをモデル化した特徴量を使用している場合、ガボールフィルタで検出されるような線分特徴より複雑で，それらを組み合わせたような複雑な図形パターンを持ちつつも，顔や物体など意味を帯びるほどには複雑な構造を持たないような特徴を意味するものとし、たとえば、上述した「ＳＩＦＴ＋ＢｏＦによる画像特徴ベクトル」を意味するものとする。
図１８は、多数の特徴関心領域の組合せの下での識別性能を評価した図である。
すなわち、図１８に示すように、定量的に多数の特徴関心領域の組合せの下での識別性能を評価するために、候補集合の数が２である場合に、視認されたかまたは想像された物体の識別性能を評価した。図１８において、偶然のレベルは５０％ということになる。
図１８に示されるように、視認され、または、想像された物体は、統計的に有意レベルで、ほとんどの特徴関心領域の組合せで、識別することに成功した（ウィルコクソンの符号付順位検定およびp<0.01）。
より高次の脳皮質領域から推定された中間レベルの特徴は、視認されおよび想像された物体カテゴリを識別することにおいて、最も有用である。
想像中の脳活動を使用して識別に成功したことは、視覚的な知覚において誘発された特徴レベルの表現は、また、トップダウンの視覚的な想像にも採用されていることを示唆する。
以上説明したとおり、本実施の形態の脳活動解析装置および脳活動解析方法によれば、対象者の視覚野のfMRI信号から被験者に視認されイメージされた任意の物体カテゴリを推定（識別）することができる。
また、このような推定（識別）においては、中間レベルの特徴が視認されイメージされた精度の高い物体識別に寄与するということを実証した。
視覚的な刺激によって引き起こされた脳活動により訓練されたデコーダは、視認されたものだけでなく想像された物体の特徴パターンを推定することができ、また、想像タスクの間に引き起こされた脳活動からの同じデコーダによって推定された特徴パターンを使用して、想像された物体の識別が可能である。しかしながら、同じ種類の物体を思い描くイメージというものは、必ずしも、ピクセル的な類似性を持っていない。したがって、より複雑で不変性を有する特徴が、物体識別に、より適している。さらに、過度に複雑な視覚的特徴よりも中間レベルの特徴の方が物体識別には、より適していることが予想される。
したがって、低次および高次の視覚的特徴は視覚的な物体を、相応の精度で識別できるものの、中間レベルの特徴を識別解析で使用した場合の方が、より高い精度が得られた。これは、正確な物体識別中の中間レベルの表現の重要な貢献を示唆する。
たとえば、ＣＮＮで最も高い階層の特徴（ＣＮＮ８）は、最も高い識別精度を達成するわけではない一方、特徴予測精および一般的な物体認識パフォーマンスは、中間レベルのＣＮＮの特徴を用いる方が高かった。
このような特性となる原因としては、ＣＮＮ８からの特徴が、脳活動からの予測に起因するノイズに比較的弱いことなどが想定される。
また、本実施の形態の脳活動解析装置および脳活動解析方法は、脳活動をワード/概念に翻訳することにより、脳活動に基づいた情報検索システムを提供することも可能である。
すなわち、ユーザが、特定の物体の名前を知らないし思い出さないが、その可視画像を想像することができる場合、そのようなシステムは有用である。
以上説明したような構成により、対象者が、物体画像を見ているあるいは想像している間に測定された脳活動信号から、視認されまたは想像された物体のカテゴリを識別するに当たり、一般的な多くの物体カテゴリの識別を行うことを目的とする場合でも、対象カテゴリの全てについて、事前に機械学習することを必要としないので、識別器の機械学習に要する時間を短縮することが可能となる。
また、対象者が、識別器のトレーニングの中で使用されなかった物体を含むような物体画像を見ているあるいは想像している間に測定された脳活動信号からであっても、視認されまたは想像された物体のカテゴリを識別することが可能となる。
今回開示された実施の形態は、本発明を具体的に実施するための構成の例示であって、本発明の技術的範囲を制限するものではない。本発明の技術的範囲は、実施の形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲の文言上の範囲および均等の意味の範囲内での変更が含まれることが意図される。
２ 被験者、６ ディスプレイ、１０ ＭＲＩ装置、１１ 磁場印加機構、１２ 静磁場発生コイル、１４ 傾斜磁場発生コイル、１６ ＲＦ照射部、１８ 寝台、２０ 受信コイル、２１ 駆動部、２２ 静磁場電源、２４ 傾斜磁場電源、２６ 信号送信部、２８ 信号受信部、３０寝台駆動部、３２ データ処理部、３６ 記憶部、３８ 表示部、４０ 入力部、４２ 制御部、４４ インタフェース部、４６ データ収集部、４８ 画像処理部、５０ ネットワークインタフェース。

Claims (8)

  1. 画像に含まれる物体のカテゴリ情報が関連付けられた複数の参照画像データを格納する画像データベースと、
    前記参照画像データについて、視覚特徴ベクトルを抽出する視覚特徴抽出部と、
    対象者の脳内の所定領域における脳活動を示す信号を測定するための脳活動検知装置からの信号を受信するためのインタフェースと、
    複数の試験画像を被験者に提示した際に、被験者の脳内の所定領域における脳活動を示す信号として予め測定された信号に基づく機械学習により、脳活動パターンから推定した推定視覚特徴ベクトルを生成するための特徴予測手段と、
    前記視覚特徴抽出部により抽出された視覚特徴ベクトルと、前記推定視覚特徴ベクトルとの相関の大きさに基づいて、前記対象者の前記所定領域に生じている脳活動パターンに対応する物体のカテゴリを識別する識別手段とを備える、脳活動解析装置。
  2. 前記画像データベース中に格納される参照画像データの物体のカテゴリの数は、前記被験者に提示した前記試験画像における物体のカテゴリの数よりも多い、請求項１記載の脳活動解析装置。
  3. 前記特徴予測手段の機械学習に使用され、前記試験画像に対応する視覚特徴ベクトルは、同一のカテゴリに属する複数の参照画像データに対する視覚特徴ベクトルを平均したものである、請求項１または２記載の脳活動解析装置。
  4. 前記視覚特徴抽出部は、多層構造を有する畳込みニューラルネットワークである、請求項１〜３のいずれか１項に記載の脳活動解析装置。
  5. 前記特徴予測手段が予測する前記推定視覚特徴ベクトルは、前記畳込みニューラルネットワークの中間の層の発火パターンから抽出された特徴量である、請求項４記載の脳活動解析装置。
  6. 前記特徴予測手段が予測する前記推定視覚特徴ベクトルは、ＳＩＦＴ＋ＢｏＦによる画像特徴ベクトルである、請求項１〜３のいずれか１項に記載の脳活動解析装置。
  7. 対象者の脳内の所定領域における脳活動を示す信号を測定するための脳活動検知装置からの信号に基づいて、演算装置が、前記対象者が視認しているまたは想像している物体のカテゴリに識別を行うための脳活動解析方法であって、
    前記演算装置が、複数の試験画像を被験者に提示した際に、被験者の脳内の所定領域における脳活動を示す信号として予め測定された信号に基づいて、脳活動パターンから推定視覚特徴ベクトルを推定する処理を機械学習するステップと、
    前記演算装置が、前記脳活動検知装置からの信号に基づいて、推定視覚特徴ベクトルを推定するステップと、
    前記演算装置が、画像に含まれる物体のカテゴリ情報が関連付けられた複数の参照画像データを格納する画像データベースにより前記参照画像データに対して抽出された視覚特徴ベクトルと、前記推定視覚特徴ベクトルとの類似度の大きさを算出するステップと、
    前記演算装置が、算出された前記類似度の大きさに基づいて、前記対象者の前記所定領域に生じている脳活動パターンに対応する物体のカテゴリを識別するステップとを備える、脳活動解析方法。
  8. 対象者の脳内の所定領域における脳活動を示す信号を測定するための脳活動検知装置からの信号に基づいて、前記対象者が視認しているまたは想像している物体のカテゴリに識別を行う処理をコンピュータに実行させるための脳活動解析プログラムであって、
    前記コンピュータの演算装置が、複数の試験画像を被験者に提示した際に、被験者の脳内の所定領域における脳活動を示す信号として予め測定された信号に基づいて、脳活動パターンから推定視覚特徴ベクトルを推定する処理を機械学習するステップと、
    前記演算装置が、前記脳活動検知装置からの信号に基づいて、推定視覚特徴ベクトルを推定するステップと、
    前記演算装置が、画像に含まれる物体のカテゴリ情報が関連付けられた複数の参照画像データを格納する画像データベースにより前記参照画像データに対して抽出された視覚特徴ベクトルと、前記推定視覚特徴ベクトルとの類似度の大きさを算出するステップと、
    前記演算装置が、算出された前記類似度の大きさに基づいて、前記対象者の前記所定領域に生じている脳活動パターンに対応する物体のカテゴリを識別するステップと、
    をコンピュータに実行させる、脳活動解析プログラム。
JP2015202275A 2015-10-13 2015-10-13 脳活動解析装置、脳活動解析方法および脳活動解析プログラム Active JP6643771B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015202275A JP6643771B2 (ja) 2015-10-13 2015-10-13 脳活動解析装置、脳活動解析方法および脳活動解析プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015202275A JP6643771B2 (ja) 2015-10-13 2015-10-13 脳活動解析装置、脳活動解析方法および脳活動解析プログラム

Publications (2)

Publication Number Publication Date
JP2017076193A JP2017076193A (ja) 2017-04-20
JP6643771B2 true JP6643771B2 (ja) 2020-02-12

Family

ID=58551349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015202275A Active JP6643771B2 (ja) 2015-10-13 2015-10-13 脳活動解析装置、脳活動解析方法および脳活動解析プログラム

Country Status (1)

Country Link
JP (1) JP6643771B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4147636A4 (en) * 2020-05-27 2024-05-15 Tokyo Institute of Technology INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817551B2 (en) 2017-04-25 2020-10-27 Panasonic Intellectual Property Management Co., Ltd. Method for expanding word, word expanding apparatus, and non-transitory computer-readable recording medium
WO2018218640A1 (en) 2017-06-02 2018-12-06 SZ DJI Technology Co., Ltd. Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
JP6928348B2 (ja) * 2017-08-09 2021-09-01 国立研究開発法人情報通信研究機構 脳活動予測装置、知覚認知内容推定システム、及び脳活動予測方法
KR102089014B1 (ko) * 2018-09-07 2020-03-13 연세대학교 산학협력단 피검사체의 뇌 활동을 재구성한 이미지 생성 장치 및 그 방법
JP7325942B2 (ja) * 2018-10-19 2023-08-15 キヤノンメディカルシステムズ株式会社 画像処理装置及びプログラム
WO2020209688A1 (ko) * 2019-04-12 2020-10-15 한국과학기술원 머신 러닝을 이용하여 머리에 관한 생체 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN111080730B (zh) * 2019-10-31 2023-05-23 东南大学 基于跨通道和空间加权卷积特征的脑图像解码方法及***
KR102564750B1 (ko) * 2020-07-24 2023-08-09 고려대학교 산학협력단 단일 뇌 mr 슬라이스 영상 기반 치매 위험 예측 딥 러닝 방법
CN112686098B (zh) * 2020-12-15 2023-05-26 中国人民解放军战略支援部队信息工程大学 基于Shape-Resnet的大脑中高级视觉区信号处理方法及***
KR102492342B1 (ko) * 2021-03-03 2023-01-26 고려대학교 산학협력단 뇌파 신호를 이용한 얼굴 영상 생성 방법 및 장치
CN113012168B (zh) * 2021-03-24 2022-11-04 哈尔滨理工大学 一种基于卷积神经网络的脑胶质瘤mri图像分割方法
CN113406663B (zh) * 2021-06-17 2024-03-12 王高 基于p300与关联成像的视觉成像***及方法
JP7314331B1 (ja) * 2022-01-28 2023-07-25 俊二 有賀 Ａｉを用いた類似デザイン判定システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102594A (ja) * 2006-10-17 2008-05-01 Fujitsu Ltd コンテンツの検索方法及び検索装置
US9451883B2 (en) * 2009-03-04 2016-09-27 The Regents Of The University Of California Apparatus and method for decoding sensory and cognitive information from brain activity
JP5802916B2 (ja) * 2011-02-28 2015-11-04 株式会社豊田中央研究所 感覚データ識別装置及びプログラム
US10264990B2 (en) * 2012-10-26 2019-04-23 The Regents Of The University Of California Methods of decoding speech from brain activity data and devices for practicing the same
CN104700120B (zh) * 2015-03-23 2018-11-13 南京工业大学 一种基于自适应熵投影聚类算法的fMRI特征提取及分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4147636A4 (en) * 2020-05-27 2024-05-15 Tokyo Institute of Technology INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD

Also Published As

Publication number Publication date
JP2017076193A (ja) 2017-04-20

Similar Documents

Publication Publication Date Title
JP6643771B2 (ja) 脳活動解析装置、脳活動解析方法および脳活動解析プログラム
Sahu et al. FINE_DENSEIGANET: Automatic medical image classification in chest CT scan using Hybrid Deep Learning Framework
Montaha et al. Timedistributed-cnn-lstm: A hybrid approach combining cnn and lstm to classify brain tumor on 3d mri scans performing ablation study
US8861815B2 (en) Systems and methods for modeling and processing functional magnetic resonance image data using full-brain vector auto-regressive model
CN111344801A (zh) 针对***癌的多模态计算机辅助诊断***和方法
CN109447183A (zh) 模型训练方法、装置、设备以及介质
US20210401289A1 (en) Brain functional connectivity correlation value adjustment method, brain functional connectivity correlation value adjustment system, brain activity classifier harmonization method, brain activity classifier harmonization system, and brain activity biomarker system
Hazarika et al. A survey on classification algorithms of brain images in Alzheimer’s disease based on feature extraction techniques
KR102250954B1 (ko) 뇌 mri 영상의 뇌 영역별 분할을 통한 치매 예측 장치 및 방법
US20200402236A1 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
Qiang et al. Deep variational autoencoder for mapping functional brain networks
Chandrasekaran et al. Fuzzy KNN Implementation for Early Parkinson's Disease Prediction
Chagas et al. A new approach for the detection of pneumonia in children using CXR images based on an real-time IoT system
Arvesen Automatic classification of Alzheimer's disease from structural MRI
Fareed et al. ADD-Net: an effective deep learning model for early detection of Alzheimer disease in MRI scans
Redhya et al. Refining PD classification through ensemble bionic machine learning architecture with adaptive threshold based image denoising
Torghabeh et al. Effectiveness of learning rate in dementia severity prediction using VGG16
Aderghal Classification of multimodal MRI images using Deep Learning: Application to the diagnosis of Alzheimer’s disease.
KR102516868B1 (ko) 파킨슨 병 검출을 위한 3d 컨볼루셔널 뉴럴 네트워크
Amaludin et al. Toward more accurate diagnosis of multiple sclerosis: Automated lesion segmentation in brain magnetic resonance image using modified U‐Net model
Sun Empirical analysis for earlier diagnosis of Alzheimer’s disease using deep learning
Ranem et al. Detecting respiratory motion artefacts for cardiovascular MRIs to ensure high-quality segmentation
Zhang Biomarker estimation from medical images: segmentation-based and segmentation-free approaches
Anbukkarasu Pattern Analysis and Prediction of Mild Cognitive Impairment Using the Conn Toolbox
Aminpour A deep learning approach to focal cortical dysplasia segmentation in children with medically intractable epilepsy

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151014

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20151111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191001

R155 Notification before disposition of declining of application

Free format text: JAPANESE INTERMEDIATE CODE: R155

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191224

R150 Certificate of patent or registration of utility model

Ref document number: 6643771

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250