以下に、図面を参照しながら、本発明に係る情報処理装置、情報処理方法、プログラムおよび生体信号計測システムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
(生体信号計測システムの概略)
図1は、実施形態に係る生体信号計測システムの概略図である。図1を参照しながら、本実施形態に係る生体信号計測システム1の概略について説明する。
生体信号計測システム1は、被検者の複数種類の生体信号(例えば、脳磁(MEG:Magneto-encephalography)信号、および脳波(EEG:Electro-encephalography)信号)を計測し、表示するシステムである。なお、測定対象となる生体信号は、脳磁信号および脳波信号に限られるものではなく、例えば、心臓の活動に応じて発生する電気信号(心電図として表現可能な電気信号)であってもよい。図1に示すように、生体信号計測システム1は、被検者の1以上の生体信号を測定する測定装置3と、測定装置3で測定された1種類以上の生体信号を記録するサーバ40と、サーバ40に記録された1種類以上の生体信号を解析する情報処理装置50と、を含む。なお、図1では、サーバ40と情報処理装置50とが別々に記載されているが、例えば、サーバ40が有する機能の少なくとも一部が情報処理装置50に組み込まれる形態であってもよい。
図1の例では、被検者(被測定者)は、頭に脳波測定用の電極(またはセンサ)を付けた状態で測定テーブル4に仰向けで横たわり、測定装置3のデュワ31の窪み32に頭部を入れる。デュワ31は、液体ヘリウムを用いた極低温環境の保持容器であり、デュワ31の窪み32の内側には脳磁測定用の多数の磁気センサが配置されている。測定装置3は、電極からの脳波信号と、磁気センサからの脳磁信号とを収集し、収集した脳波信号および脳磁信号を含むデータ(以下、「測定データ」と称する場合がある)をサーバ40へ出力する。サーバ40へ出力された測定データは、情報処理装置50に読み出されて表示され、解析される。一般的に、磁気センサを内蔵するデュワ31および測定テーブル4は、磁気シールドルーム内に配置されているが、図1では便宜上、磁気シールドルームの図示を省略している。
情報処理装置50は、複数の磁気センサからの脳磁信号の波形と、複数の電極からの脳波信号の波形を、同じ時間軸上に同期させて表示する装置である。脳波信号とは、神経細胞の電気的な活動(シナプス伝達の際のニューロンの樹状突起で起きるイオン電荷の流れ)を電極間の電圧値として表される信号である。脳磁信号とは、脳の電気活動により生じた微小な電場変動を表す信号である。脳磁場は、高感度の超伝導量子干渉計(SQUID:Superconducting Quantum Interference Device)センサで検知される。これらの脳波信号および脳磁信号は、「生体信号」の一例である。
(情報処理装置のハードウェア構成)
図2は、実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。図2を参照しながら、本実施形態に係る情報処理装置50のハードウェア構成について説明する。
図2に示すように、情報処理装置50は、CPU(Central Processing Unit)101と、RAM(Random Access Memory)102と、ROM(Read Only Memory)103と、補助記憶装置104と、ネットワークI/F105と、入力装置106と、表示装置107と、を有し、これらがバス108で相互に接続されている。
CPU101は、情報処理装置50の全体の動作を制御し、各種の情報処理を行う演算装置である。CPU101は、ROM103または補助記憶装置104に記憶された情報表示プログラムを実行して、測定収集画面および解析画面(時間周波数解析画面等)の表示動作を制御する。
RAM102は、CPU101のワークエリアとして用いられ、主要な制御パラメータおよび情報を記憶する揮発性の記憶装置である。ROM103は、基本入出力プログラム等を記憶する不揮発性の記憶装置である。例えば、上述の情報表示プログラムがROM103に記憶されているものとしてもよい。
補助記憶装置104は、HDD(Hard Disk Drive)またはSSD(Solid State Drive)等の記憶装置である。補助記憶装置104は、例えば、情報処理装置50の動作を制御する制御プログラム、ならびに、情報処理装置50の動作に必要な各種のデータおよびファイル等を記憶する。
ネットワークI/F105は、サーバ40等のネットワーク上の機器と通信を行うための通信インターフェースである。ネットワークI/F105は、例えば、TCP(Transmission Control Protocol)/IP(Internet Protocol)に準拠したNIC(Network Interface Card)等によって実現される。
入力装置106は、タッチパネルの入力機能、キーボード、マウスおよび操作ボタン等のユーザインターフェース等である。表示装置107は、各種の情報を表示するディスプレイ装置である。表示装置107は、例えば、タッチパネルの表示機能、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Electro-Luminescence)等によって実現される。表示装置107は、測定収集画面および解析画面を表示し、入力装置106を介した入出力操作に応じて画面が更新される。
なお、図2に示す情報処理装置50のハードウェア構成は一例であり、これ以外の装置が備えられるものとしてもよい。また、図2に示す情報処理装置50は、例えば、PC(Personal Computer)を想定したハードウェア構成であるが、これに限定されるものではなく、タブレット等のモバイル端末であってもよい。この場合、ネットワークI/F105は、無線通信機能を有する通信インターフェースであればよい。
(情報処理装置の機能ブロック構成)
図3は、実施形態に係る情報処理装置の機能ブロック構成の一例を示す図である。図3を参照しながら、本実施形態に係る情報処理装置50の機能ブロック構成について説明する。
図3に示すように、情報処理装置50は、収集表示制御部201と、解析表示制御部202と、ピークリスト制御部203(ピーク制御部)と、通信部204と、センサ情報取得部205と、解析部206(算出部)と、記憶部207と、入力部208と、を有する。
収集表示制御部201は、センサ情報の収集動作時の画面表示を、図5~図10を参照して説明する手法で制御する機能部である。
解析表示制御部202は、センサ情報取得部205により取得されたセンサ情報(脳波信号または脳磁信号)から解析部206により算出された生体信号の信号強度等の画面表示を、図11~図59を参照して説明する手法で制御する機能部である。解析表示制御部202は、図3に示すように、ヒートマップ表示制御部211(第1表示制御部)と、立体表示制御部212(第2表示制御部)と、断面表示制御部213(第3表示制御部)と、再生表示制御部214と、を有する。
ヒートマップ表示制御部211は、後述する図11等に示す時間周波数解析画面601のヒートマップ611の画面表示を制御する機能部である。立体表示制御部212は、時間周波数解析画面601の立体図612の画面表示を制御する機能部である。断面表示制御部213は、時間周波数解析画面601の頭部三面図613の画面表示を制御する機能部である。再生表示制御部214は、時間周波数解析画面601の再生制御パネル615に対する操作入力に従って、再生表示を制御する機能部である。
ピークリスト制御部203は、設定された条件を満たす信号強度のピークを抽出して、後述する図11等に示す時間周波数解析画面601のピークリスト614に登録する機能部である。
通信部204は、測定装置3またはサーバ40等とデータ通信を行う機能部である。通信部204は、図2に示すネットワークI/F105によって実現される。
センサ情報取得部205は、測定装置3またはサーバ40から、通信部204を介して、センサ情報(脳波信号または脳磁信号)を取得する機能部である。解析部206は、センサ情報取得部205により取得されたセンサ情報(測定された信号)を解析し、脳内の各部における信号強度を示す信号(以下、当該信号についても「生体信号」と称する場合がある)を算出する機能部である。
記憶部207は、解析部206により算出された信号強度を示す生体信号のデータ等を記憶する機能部である。記憶部207は、図2に示すRAM102または補助記憶装置104によって実現される。
入力部208は、センサ情報に付加されるアノテーション情報の入力操作、および、時間周波数解析画面601に対する各種入力操作を受け付ける機能部である。入力部208は、図2に示す入力装置106によって実現される。
上述の収集表示制御部201、解析表示制御部202、ピークリスト制御部203、センサ情報取得部205および解析部206は、CPU101がROM103等に記憶されたプログラムをRAM102に展開して実行することにより実現される。なお、収集表示制御部201、解析表示制御部202、ピークリスト制御部203、センサ情報取得部205および解析部206の一部または全部は、ソフトウェアであるプログラムではなく、ASIC(Application Specific Integrated Circuit)またはFPGA(Field-Programmable Gate Array)等のハードウェア回路によって実現されてもよい。
また、図3に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図3で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図3の1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
(開始画面での動作)
図4は、実施形態に係る情報処理装置に表示される開始画面の一例を示す図である。図4を参照しながら、開始画面501での動作について説明する。
開始画面501には、「測定収集」および「解析」の選択ボタンが表示される。脳波測定および脳磁測定の場合、データの測定収集とデータの解析とでは、別々の主体によって行われる場合が多い。例えば、測定技師(測定者)によって「測定収集」のボタンが選択されると、測定装置3で測定されたデータは順次、サーバ40に保存され、情報処理装置50に読み出されて表示される。測定収集の終了後、医師によって「解析」のボタンが選択されると、収集された測定データが読み出されて解析される。
(測定収集時の動作)
図5は、測定収集画面の一例を示す図である。測定収集画面502は、図5に示すように、測定された生体信号(ここでは、脳磁信号および脳波信号)の信号波形を表示する領域511aと、信号波形以外のモニタ情報を表示する領域511bと、を有する。信号波形を表示する領域511aは、測定者からみて画面の左側に配置され、信号波形以外のモニタ情報を表示する領域511bは、測定者からみて画面の右側に配置されている。これによって、リアルタイムで検出され表示される波形の動き(画面の左側から右側に向かって表示される)に合わせた測定者の視線の動きと、画面左側の領域511aから右側の領域511bへマウスを移動させるときの動きに無駄が生じず、作業効率が向上する。
表示画面の領域511bでは、測定中に被測定者の様子を確認するためのモニタウィンドウ512が表示される。測定中の被測定者のライブ映像を表示することで、後述するように、信号波形のチェックおよび判断の信頼性を高めることができる。図5では、1台のモニタディスプレイ(表示装置107)の表示画面に、測定収集画面502の全体が表示される場合を示しているが、左側の領域511aおよび右側の領域511bを、2台またはそれ以上のモニタディスプレイに分けて別々に表示してもよい。
図6は、測定収集画面の左側の領域の拡大図である。領域511aは、信号検出の時間情報を画面の水平方向(第1方向)に表示する第1表示領域530と、信号検出に基づく複数の信号波形を画面の垂直方向(第2方向)に並列に表示する第2表示領域521~523と、を有する。
第1表示領域530で表示される時間情報は、図6の例では、時間軸531に沿って付された時間表示を含むタイムラインであるが、時間(数字)を表示せずに、帯状の軸だけでもよく、軸を設けずに時間(数字)の表示だけであってもよい。また、画面上側の第1表示領域530の他に、第2表示領域523の下側に時間軸531を表示して、タイムラインを表示してもよい。
領域511aでは、同種の複数のセンサから取得される複数の信号波形、または複数種類のセンサ群から取得される複数種類の信号の波形が、同じ時間軸531で同期して表示される。図6に示す例では、第2表示領域521には被測定者の頭部右側から得られる複数の脳磁信号の波形が、第2表示領域522には被測定者の頭部左側から得られる複数の脳磁信号の波形が、それぞれ並列に表示されている。第2表示領域523には、複数の脳波信号の波形が並列に表示されている。これらの複数の脳波信号の波形は、各電極間で測定された電圧信号である。これらの複数の信号波形それぞれは、その信号が取得されたセンサの識別番号またはチャネル番号と対応付けられて表示されている。
測定が開始され各センサからの測定情報が収集されると、時間の経過と共に領域511aの各第2表示領域521~523の左端から右方向に向けて信号波形が表示される。ライン532は、計測の時刻(現在)を示しており、画面の左から右へ向けて移動する。領域511aの右端(時間軸531の右端)まで信号波形が表示されると、その後は画面の左端から右へ向けて徐々に信号波形が消え、消えた位置に新しい信号波形が順次左から右方向に表示され、かつ、ライン532も左端から右へ向けて移動していく。これと共に、水平方向の第1表示領域530でも測定の進行に対応して、時間の経過が時間軸531上に表示される。測定収集は、終了ボタン539が押下されるまで継続される。
実施形態の特徴として、測定者(収集者)がデータ収集中に信号波形上で波形の乱れ、振幅の特異点等に気付いたときに、問題となる箇所または範囲を信号波形上でマークすることができる。マーキングの箇所または範囲は、マウスによるポインタ操作またはクリック操作で指定することができる。指定された箇所または範囲は、第2表示領域521~523の信号波形上に強調表示されると共に、指定結果が対応する時刻位置または時間範囲で、第1表示領域530の時間軸531に沿って表示される。時間軸531上への表示を含むマーキングの情報は、信号波形データと共に保存される。指定された箇所は、ある時刻に対応し、指定された範囲は、ある時刻を含む一定範囲に対応する。
図6の例では、時刻t1で、第2表示領域523で1以上のチャネルを含む範囲が指定され、マーク523a-1で時刻t1を含んだ時間がハイライトで表示されている。マーク523a-1の表示と関連して第1表示領域530の対応する時刻位置に、指定結果を示すアノテーション530a-1が表示されている。時刻t2で、第2表示領域523で別の波形位置またはその近傍がマークされ、その位置(時刻t2)または近傍の領域(少なくとも時間範囲か複数の波形のいずれか一つが指示される)にマーク523a-2がハイライト表示されている。同時に、第1表示領域530の対応する時刻位置(時間範囲)に、アノテーション530a-2が表示される。ここで、アノテーションとは、あるデータに対して関連する情報を注釈として付与することを示す。本実施形態では、少なくとも指定された時間情報に基づいて注釈として表示されるものであって、少なくとも時間情報に基づく波形が表示される位置と結び付けて、注釈として表示するものである。また、複数のチャネルを表示する場合、対応するチャネル情報と結びつけ、注釈として表示してもよい。
時刻t1で第1表示領域530に追加されたアノテーション530a-1は、一例として、アノテーション識別番号と、波形の属性を示す情報と、を含む。この例では、アノテーション番号「1」と共に、波形の属性を表わすアイコンと「strong spike」(ストロングスパイク)というテキスト情報が表示されている。
時刻t2で、測定者が別の波形箇所またはその近傍領域を指定すると、指定された箇所でマーク523a-2がハイライト表示され、これと共に、第1表示領域530の対応する時刻位置に、アノテーション番号「2」が表示される。さらに、ハイライト表示された箇所に、属性選択のためのポップアップウィンドウ535が表示される。ポップアップウィンドウ535は、種々の属性を選択する選択ボタン535aと、コメントおよび追加情報を入力する入力ボックス535bと、を有する。選択ボタン535aには、波形の属性として「速波(fast activity)」、「眼球運動(eye motion)」、「体動(body motion)」、「スパイク(spike)」等、波形乱れの要因が示されている。測定者は、画面の領域511bのモニタウィンドウ512で被測定者の様子を確認することができるので、波形の乱れの原因を示す属性を適切に選択することができる。例えば、波形にスパイクが生じたときに、てんかんの症状を示すスパイクなのか、被測定者の体動(くしゃみ等)に起因するスパイクなのかを判断することができる。
時刻t1でも同じ操作が行われており、図6では、ポップアップウィンドウ535で「スパイク」の選択ボタン535aが選択され、入力ボックス535bに「strong spike」と入力されたことにより第1表示領域530にアノテーション530a-1が表示されている。このような表示態様により、同じ時間軸531上に多数の信号波形を同期して表示する際に、信号波形の注目箇所または範囲を視認により容易に特定することができ、かつ注目箇所の基本情報を容易に把握することができる。
なお、アノテーション530a-1の一部または全部、例えば、属性アイコンおよびテキスト情報の少なくとも一方を、第2表示領域523の信号波形上のマーク523a-1の近傍にも表示してもよい。ここで、信号波形上へのアノテーションの追加は、波形形状のチェックの妨げになる場合もあり得るので、第2表示領域521~523の信号波形上にアノテーションを表示させる場合は、表示・非表示を選択可能にしておくことが望ましい。
カウンタボックス538は、スパイクのアノテーションの累積数を表示する。「スパイク」が選択される都度、カウンタボックス538のカウンタ値がインクリメントされ、収録開始から現在(ライン532)までのトータルのスパイク数が一目でわかるようになっている。
図7は、測定収集画面の右側の領域の拡大図である。図7は、図6と同じ時刻(ライン532の時点)での状態を示している。領域511bのモニタウィンドウ512では、頭部を測定装置3に入れて測定テーブル4に横たわっている被測定者の状態のライブ映像が表示される。領域511bでは、第2表示領域521、522、523の信号波形のそれぞれに対応する脳磁分布図541、542、脳波分布図550と、アノテーションリスト560と、が表示される。アノテーションリスト560は、図6の信号波形上でマークされたアノテーションの一覧である。第2表示領域521~523で信号波形上の位置または範囲が指定されアノテーションが付される都度、対応する情報がアノテーションリスト560に順次追加される。測定収集画面502におけるアノテーションリスト560への追加および表示は、例えば、降順(新しいデータを上に表示)で行われるが、この例に限定されない。アノテーションリスト560の表示を昇順にしても構わないが、第1表示領域530で時間軸531に沿って表示されるアノテーションとの対応関係がわかるように表示する。さらに、表示順序を変更させたり、項目ごとにソートさせることも可能である。
図7の例では、アノテーションリスト560には、アノテーション番号「1」に対応する時刻情報と、付加されたアノテーション情報と、がリストされている。アノテーション情報として、「スパイク」を表わす属性アイコンと、「strong spike」というテキストが記録されている。また、マーク523a-1がハイライト表示された時点で、アノテーション番号「2」に対応する時刻情報がリストされている。ここでは、「アノテーション」は、アノテーション番号と、時刻情報と、アノテーション情報との組であると考えてもよいし、アノテーション情報のみであると考えてもよいし、アノテーション情報と、アノテーション番号または時刻情報との組であると考えてもよい。
また、アノテーションリスト560の近傍に、表示/非表示の選択ボックス560aが配置されている。選択ボックス560aで非表示が選択されると、第2表示領域521~523で、信号波形上のハイライトマーク以外のアノテーションが非表示にされるが、第1表示領域530の時間軸531に沿ったアノテーションの表示は維持される。これにより、信号波形の視認性を阻害せずにアノテーション情報を認識可能にする。
図8は、アノテーション情報が入力された直後の状態を示す図である。具体的には、図8は、時刻t2でポップアップウィンドウ535の「スパイク」が選択され、「normal spike」(ノーマルスパイク)というテキストが入力された直後の画面を示す。図6で例示したポップアップウィンドウ535で「OK」ボタンが選択されると、ポップアップウィンドウ535が閉じて、図8に示すように第1表示領域530の対応する時刻位置にアノテーション530a-2が表示される。アノテーション番号「2」と対応付けて、「スパイク」を表わす属性アイコンと、「normal spike」のテキスト情報が表示される。これと同時に、カウンタボックス538の値がインクリメントされる。また、ハイライト表示されたマーク523a-2の近傍に、属性アイコン526-2が表示される。この例では、マーク523a-1の近傍にも属性アイコン526-1が表示されているが、上述したように、属性アイコン526-1、526-2の表示、非表示は選択可能である。マーク523a-1と属性アイコン526-1とを含むアノテーションA1、およびマーク523a-2と属性アイコン526-2とを含むアノテーションA2も、アノテーション情報に含まれる。
図9は、更新されたアノテーションリストの図である。測定収集画面502の画面左側の領域511aでマーク523a-2に対応するアノテーションが付加されたことにより、アノテーションリスト560が更新される。アノテーション番号「2」に「normal spike」というメモが追加される。
以下同様に、測定中に領域511aで信号波形上の特定の箇所または範囲が指定される都度、指定箇所が強調表示されると共に、第1表示領域530の時間軸531に沿ってアノテーション情報が表示される。領域511bでは、アノテーションリスト560にアノテーション情報が順次追加される。
アノテーションリスト560および信号波形表示の領域511aにおいて、アノテーション番号の表示は必須ではなく、用いなくてもよい。付加されたアノテーションを識別できる情報であれば任意の情報を識別情報として用いることができる。例えば、属性アイコンと、属性文字列(「strong spike」等)と、時間軸531の近傍での時刻とを対応付けて表示してもよい。さらに、領域511aにファイル番号(図9の「File」の項目に表示される番号)を併記して表示してもよい。
終了ボタン539(図8参照)が選択(押下)され測定が終了すると、第2表示領域521~523で指定されたハイライト箇所は信号波形に対応付けて保存される。第1表示領域530の対応する時刻位置に表示されたアノテーション情報も、アノテーション番号と時刻とに対応付けて保存される。カウンタボックス538のカウンタ値、および、アノテーションリスト560の内容等の関連情報も保存される。これらの表示情報を保存することで、測定者と解析者とが異なる場合でも、解析者は容易に問題となる箇所を認識し、解析することができる。
図10は、実施形態に係る情報処理装置における測定収集動作の一例を示すフローチャートである。図10を参照しながら、本実形態に係る情報処理装置50での測定収集動作について説明する。
図4に示す開始画面501で「測定収集」が選択されると(ステップS11)、測定が開始され、複数の信号の波形が同じ時間軸に沿って同期して表示される(ステップS12)。ここで「複数の信号波形」という場合は、同一種類の複数のセンサで検知された信号波形、および、異なる種類のセンサのそれぞれで検知された複数の信号波形の両方を含む。この例では、複数の生体信号の波形は、被測定者の頭部右側に対応する磁気センサ群から得られる脳磁信号の波形と、被測定者の頭部左側に対応する磁気センサ群から得られる脳磁信号の波形と、被測定者の脳波測定用の電極から得られる脳波信号の波形と、から構成されるが、これに限られるものではない。なお、センサの選択については、左/右のセンサ群にとらわれず、頭頂部、前頭葉、側頭葉等のパートから、任意に選択可能である。例えば、図7等に示す「MEG Window Control 1」で頭頂部のセンサが選択された場合は、「MEG Window Control 2」でそれ以外のセンサが選択された状態となる。
情報処理装置50は、表示されている信号波形上で注目箇所または範囲が指定されたか否かを判断する(ステップS13)。注目箇所または範囲の指定があると(ステップS13:Yes)、信号波形の表示領域(第2表示領域521~523)に指定箇所を強調表示すると共に、時間軸領域(第1表示領域530)の対応する時刻位置に指定結果を表示する(ステップS14)。指定結果には、指定がなされたこと自体を示す情報、または指定の識別情報が含まれる。時間軸領域への指定結果の表示と同時に、または前後して、アノテーションの入力要求の有無を判断する(ステップS15)。アノテーション入力の要求がある場合は(ステップS15:Yes)、入力されたアノテーション情報を時間軸領域の対応する時刻位置に表示すると共に、アノテーションリストに追加する(ステップS16)。その後、測定終了コマンドが入力されたか否かを判断する(ステップS17)。注目位置(領域)の指定がない場合(ステップS13:No)、および、アノテーションの入力要求がない場合(ステップS15:No)は、ステップS17へ移行して測定終了の判断を行う。測定が終了するまで(ステップS17:Yes)、ステップS13~S16を繰り返す。
この情報表示方法により、複数のセンサからの信号を収集する際に、信号情報の視認性の高い測定収集画面502が提供される。
(時間周波数解析画面における解析動作)
図11は、時間周波数解析画面の一例を示す図である。図11を参照しながら、情報処理装置50に表示される時間周波数解析画面601における解析動作について説明する。
上述の図4に示す開始画面501において「解析」ボタンが押下されると、解析部206は、上述の測定収集画面502での測定収集動作により収集されたセンサ情報(脳波信号または脳磁信号)を解析し、脳(生体部位の一例、発信源の一例)内の各位置における信号強度を示す生体信号を算出する。信号強度を算出する方法としては、例えば、公知の方法である空間フィルタ法等が挙げられるが、その他の方法を用いるものとしてもよい。解析表示制御部202は、上述の図4に示す開始画面501において、「解析」ボタンが選択されると、表示装置107に図11に示す時間周波数解析画面601を表示させる。時間周波数解析画面601は、図11に示すように、解析画面切替リスト605と、ヒートマップ611と、立体図612と、頭部三面図613と、ピークリスト614と、再生制御パネル615と、を表示する。時間周波数解析画面601を用いた解析および測定の主目的は、視覚野、聴覚野、体性感覚野、運動野および言語野等の人間の生存に欠かせない部位を特定して表示することである。ピークリスト614の右側に表示されているピークリスト設定ボタン614aは、ピークリスト614に登録されるピークの条件を設定するためのウィンドウを表示させるためのボタンである。ピークリスト設定ボタン614aの押下による上述の設定については後述する。また、ヒートマップ611、立体図612、頭部三面図613、ピークリスト614および再生制御パネル615の表示および動作の詳細は、順次後述する。
解析画面切替リスト605は、各種解析画面を選択するためのリストである。解析画面切替リスト605から選択できる解析画面としては、本実施形態の生体信号に対する時間および周波数での解析をするための時間周波数解析画面601の他、生体信号からてんかん等の部位を推定および解析を行うためのダイポール推定を行うための解析画面等がある。本実施形態では時間周波数解析画面601での解析動作について説明する。
<ヒートマップについて>
図13は、ヒートマップにおいて特定の位置が指定された状態の一例を示す図である。図14は、ヒートマップにおいてピークリストの3つのピークの位置を表示した状態の一例を示す図である。図15は、ヒートマップにおいてピークの情報に応じて表示形態を変えた状態の一例を示す図である。図16は、ヒートマップにおいて特定の範囲が指定された状態の一例を示す図である。図17は、ヒートマップにおいて特定の範囲が複数指定された状態の一例を示す図である。図18は、時間周波数解析画面において立体図および頭部三面図が追加された状態の一例を示す図である。図13~図18を参照しながら、時間周波数解析画面601のヒートマップ611についての動作について説明する。
図11に示すように、ヒートマップ611は、解析部206により算出された脳内の各位置の信号強度を示す生体信号について時間周波数分解を施し、横軸を時刻(トリガ時刻からの時間)、縦軸を周波数、そして、時刻および周波数で特定される生体信号の信号強度の分布(第1強度分布)を色で表した図である。図11に示す例では、信号強度は、例えば、所定の基準に対する増減で示されている。ここで所定の基準とは、例えば、被験者に何も刺激を与えていない場合の信号強度の平均値を0[%]とする。なお、本実施形態では、0±100[%]で図示しているが、これに限られず、100[%]以上の場合には、例えば200[%]等、レンジを変えて表示してもよい。また、単位[%]に代えて、例えば図12に示すヒートマップ611のように、[db](デシベル)で表記してもよい。また、ヒートマップ611は、例えば、時刻0[ms]に被験者に対して何らかの刺激(物理的に衝撃を与える、腕を動かす、言葉を発する、音を聴かせる等)を与えた場合、その後の時刻では刺激を与えた後の脳の活動状態を示し、時刻0[ms]以前の時刻では、刺激を与える前の脳の活動状態を示すことになる。このヒートマップ611の表示動作は、ヒートマップ表示制御部211によって制御される。
図13に示すように、解析者による入力部208に対する操作入力(クリック操作またはタップ操作)によって、ヒートマップ611上の特定の位置(点)を指定することができる。図13に示すように、ヒートマップ表示制御部211は、指定された位置を、例えば、指定部621のように表示する。なお、指定部621は、白抜きの矩形で示しているが、これに限定されるものではなく、その他の表示態様で示すものとしてもよい。
また、図13に示すヒートマップ611では、入力部208に対する操作入力によって指定された位置を表示しているが、ピークリスト614に登録されたピークのうち選択されたピークの時刻および周波数でのヒートマップおよびそのピーク位置が表示されるものとしてもよい。また、例えば、ピークリスト614で選択されたピークから数えて上位N個のピークの位置がヒートマップ611に表示されるものとしてもよい。図14では、上位3個のピークの位置が表示された例を示す。なお、設定によりピークの位置をどのように表示させるかが決定されてもよく、例えば、上述の他、ピークそのものを表示させない設定、信号強度がM以上のピークを表示させる設定等を切り替えられるものとしてもよい。
また、図15に示すように、ヒートマップ611上に表示された複数のピークについて、当該ピークの属性情報に応じて、表示の形態を変えるものとしてもよい。図15では、表示されたピークごとに番号を付加し、番号の表示部分の色をそれぞれ異なる色となるように変えて表示させた例を示している。
上述のように、ヒートマップ611において特定の位置が指定されると、指定された位置に対応する時刻および周波数に対応する生体信号の信号強度の分布が、例えば図11に示すように、立体図612の脳の図では部位712a-1~712a-5、712b-1~712b-5のように、頭部三面図613の脳の図では部位713a-1、713a-2、713b、713c、713dのようにヒートマップ(ヒートマップ611におけるヒートマップとは異なる)として表示される。具体的には、ヒートマップ611において指定された位置に対応する時刻および周波数の生体信号の信号強度が、赤~青のヒートマップとして表示される。
また、図16に示すように、解析者による入力部208に対するドラッグ操作またはスワイプ操作によって、ヒートマップ611上の特定の範囲を指定することができる。図16に示すように、ヒートマップ表示制御部211は、指定された範囲を、例えば、ドラッグ操作等で定まる面積を有する矩形形状の指定領域622のように表示する。なお、指定領域622は、白抜きの矩形範囲で示しているが、これに限定されるものではなく、丸形状、自由形状その他の表示態様で示すものとしてもよい。
このように、ヒートマップ611において特定の範囲が指定されると、指定された範囲に含まれる時刻および周波数に対応する生体信号の信号強度の平均の分布が、例えば図11に示すように、立体図612の脳の図では部位712a-1~712a-5、712b-1~712b-5のように、頭部三面図613の脳の図では部位713a-1、713a-2、713b、713c、713dのようにヒートマップ(ヒートマップ611におけるヒートマップとは異なる)として表示される。
また、図17に示すように、解析者による入力部208に対する追加の操作(例えば、右クリックによるドラッグ操作、または新たなスワイプ操作等)によって、すでに指定された指定領域622の他、追加で指定領域623のように指定することができる。この場合、新たに指定された指定領域623に対応する立体図および頭部三面図として、図18に示すように、それぞれ立体図612aおよび頭部三面図613aが表示される。そして、指定領域623に含まれる時刻および周波数に対応する生体信号の信号強度の平均の分布が、立体図612aおよび頭部三面図613aの脳の図にヒートマップ(ヒートマップ611におけるヒートマップとは異なる)として表示される。ヒートマップ611で複数指定した情報を受け取ると、この情報を受け取った順にこれに対応する立体図612および頭部三面図613が上から下に表示される。図18の例では、指定領域622、623の順に選択された例を示す。このように表示することで、直感的にわかりやすくなる。ここで、ヒートマップ611で複数選択した情報を受け取ると、この情報を受け取った順にこれに対応する立体図612および頭部三面図613が下から上に表示される形態としてもよい。この場合、ヒートマップ611の直下に、最新で指定された選択領域に対応する立体図612および頭部三面図613が表示されるため、ヒートマップ611、立体図612、頭部三面図613への視線の移動を少なくできる。なお、ヒートマップ611上で複数の位置を指定する場合、上述の指定領域622、623のような範囲に限らず、指定部621のように点位置を複数指定することも可能である。このように、ヒートマップ611上で複数の位置(点または領域)が指定されることによって、その指定された時刻および周波数に対応する生体信号の信号強度の分布を比較することができる。
<立体図について>
図19は、時間周波数解析画面における立体図の一例を示す図である。図20は、ヒートマップで指定された位置に対応する脳の状態を立体図において中央に表示させた状態の一例を示す図である。図21は、ヒートマップで指定された範囲に対応する脳の状態を立体図において中央に表示させた状態の一例を示す図である。図22は、立体図に表示された脳がヒートマップ上のどの時刻・周波数に対応するのかを線分で示した状態の一例を示す図である。図23は、立体図に表示された脳がヒートマップ上のどの時刻・周波数の範囲に対応するのかを矩形領域で示した状態の一例を示す図である。図24は、立体図上をドラッグすることによって立体図の表示、およびヒートマップ上の矩形領域の表示が移動する状態の一例を示す図である。図25は、立体図上のいずれかの脳の表示をクリックすることによって、立体図の表示、およびヒートマップ上の矩形領域の表示が移動する状態の一例を示す図である。図19~図25を参照しながら、時間周波数解析画面601の立体図612の基本的な表示動作について説明する。
図19に示すように、立体図612は、所定の視点からの脳の立体画像(3D画像)を表示する図であり、ヒートマップ611上で指定された位置(点または範囲)、または、ピークリスト614で選択されたピークの位置に対応する生体信号の信号強度をヒートマップ(第2強度分布)として重畳表示する。図19に示すように、立体図612では、同じ行では同じ視点からの脳の立体画像が表示される。図19に示す例では、立体図612の上側の行である表示領域612-1に表示された脳の立体画像は、脳の左側面からの視点での画像であり、下側の行である表示領域612-2に表示された脳の立体画像は、脳の右側面からの視点での画像である。この立体図612の表示動作は、立体表示制御部212によって制御される。
なお、図19に示す立体図612では2つの視点から見た場合の脳の立体図、すなわち、2行で構成された脳の立体図であるが、これに限定されるものではなく、その他の数の行で表示するものとしてもよく、行の数を設定により変更できるものとしてもよい。例えば、脳の言語野の測定であれば、左右の際が重要な情報となるので、脳の左側面および右側面からの2つの視点からの脳の立体図を表示(2行で表示)するものとすればよい。ここで、測定対象と視点の対応の一例を下記の(表1)に示す。測定対象は、測定時に被験者へ与える刺激(刺激装置による付与であり(表1)のNo.1~4に対応する)や、被験者の動作((表1)のNo.5)を示し、収集時に測定収集画面上で選択する項目である。この測定対象を選択することで、これに対応する視点の脳立体図が表示される。また、視点は、被験者の正面を起点としたときの方向を示す。なお、行数についても別途設定することができるものとしてもよい。また、図19に示す立体図は、(表1)におけるNo.2に相当する。以降の説明では、便宜上、立体図612は、2つの行(2つの視点)で構成されているものとして説明する。
また、図20に示すように、ヒートマップ611上で指定部621が指定されると、立体表示制御部212は、指定部621に対応する時刻を立体図612の表示領域の中心として、前後の時刻に対応した脳における信号強度のヒートマップを立体図612に表示する。図20の例では、ヒートマップ611上で時刻560[ms]が指定されたため、立体図612において560[ms]を中心として、550、555、560、565、570[ms]のように、隣り合う脳の表示時刻の間隔を5[ms]おきで表示している。ただし、隣り合う脳の表示時刻の間隔は、その他10[ms]、25[ms]等、設定で変更できるようにしてもよい。
なお、図21に示すように、ヒートマップ611上で範囲(指定領域622)が指定された場合、当該範囲内の信号強度を平均した信号強度のヒートマップを立体図612に表示するものとすればよい。この場合、選択された時刻の範囲に応じて、立体図612で表示される隣り合う立体画像の時刻を調整設定するものとすればよい。例えば、図21に示すように、指定領域622の範囲が450~600[ms]の場合、立体図612で表示させる隣り合う立体画像の表示時刻の間隔を150[ms]に設定したとき、立体図612の中央に表示される立体画像は450~600[ms]に対応する。立体図612の中央の立体画像の左の立体画像は300~450[ms]に対応する図とし、右の立体画像は、600~750[ms]に対応する図とすればよい。また、各立体画像に表示されるヒートマップは、各時間幅における平均値である。
次に、図22および図23を参照しながら、ヒートマップ611上の位置または範囲と、立体図612の各立体画像との対応付けについて説明する。このような対応付けとしては、まず、図22に示すように、ヒートマップ611上で特定の点位置である指定部621-1が指定された場合、その指定部621-1の時刻および周波数に対応する脳の立体画像(第1画像)が立体図612に表示される。この場合、その脳の立体画像を中心として前後の時刻に対応した脳の立体画像(第2画像)が表示されるので(図22に示す例では5つの時刻に対応する脳)、ヒートマップ表示制御部211は、それぞれの脳の時刻に対応する点を、ヒートマップ611上で対応部621-2~621-5としてそれぞれ表示させる。この場合、対応部621-2~621-5の周波数位置は、指定部621-1の周波数位置に合わせる。さらに、ヒートマップ表示制御部211は、図22に示すように、ヒートマップ611上の指定部621-1および対応部621-2~621-5と、立体図612上の対応する脳の立体画像とをそれぞれ結ぶ線分631-1~631-5で表示する。これによって、立体図612上で表示されている脳の状態が、ヒートマップ611上のどの位置に対応する状態であるのかを一目で確認することができる。なお、図22に示す例では、線分を用いているが、その他の対応付けの方法として、指定部621-1および対応部621-2~621-5のマークと、立体図612の脳の背景色とを合わせる等、対応付けが確認できる方法であればよい。また、この場合、解析者が指定した指定部621-1は、対応部621-2~621-5と区別する態様で表示するものとすればよい。
また、ヒートマップ611上で特定の範囲である指定領域622-1が指定された場合、まず、図23に示すように、その指定領域622-1の時刻および周波数に対応する脳の立体画像が立体図612に表示される。この場合、その脳の立体画像を中心として前後の時刻範囲に対応した脳の立体画像が表示されるので(図23に示す例では5つの時刻範囲に対応する脳)、ヒートマップ表示制御部211は、それぞれの脳の時刻範囲に対応する範囲を、ヒートマップ611上で対応領域622-2~622-5としてそれぞれ表示させる。また、この場合、解析者が指定した指定領域622-1は、対応領域622-2~622-5と区別する態様で表示するものとすればよく、例えば、指定領域622-1の矩形の枠の色だけ異なる色となるように表示するものとすればよい。さらに、立体表示制御部212は、図23に示すように、ヒートマップ611上の指定領域622-1および対応領域622-2~622-5と同様な矩形を、立体図612上で対応する脳の立体画像を囲うように表示させる。これによって、立体図612上で表示されている脳の状態が、ヒートマップ611上のどの範囲に対応する状態であるのかを一目で確認することができる。なお、ヒートマップ611上で特定の範囲である指定領域622-1が指定された場合、指定領域622-1および対応領域622-2~622-5の枠を表示すると共に、立体図612上で、枠722-1~722-5およびヒートマップを表示するものとしてもよい。
次に、図24および図25を参照しながら、立体図612上でドラッグ操作、スワイプ操作またはカーソルキー操作をした場合に、立体図612の表示を左右に移動させる動作について説明する。図24では、立体図612上でドラッグ操作、スワイプ操作またはカーソルキー操作により、立体図612の立体画像を右側に移動させた状態の例を示す。この場合、図24に示すように、移動した結果、表示されている脳に応じて時刻表示も更新され、立体図612で中央に表示された脳の立体図が選択された状態となるように矩形が表示される。さらに、立体表示制御部212は、立体図612における立体画像に移動に従って、ヒートマップ611上の指定領域622-1および対応領域622-2~622-5の表示も移動させる。
また、図25に示すように、解析者による操作によって、立体図612上の中央の立体画像以外の立体画像がクリック操作またはタップ操作されると、操作された脳の立体画像が立体図612の中心に移動する。なお、実装上は脳の画像はそのままで、オーバーラップするヒートマップのみが移動するものとしてもよい。この場合、図25に示すように、移動した結果、表示されている脳に応じて時刻表示も更新され、立体図612で中央に表示された脳の立体図が選択された状態となるように矩形が表示される。さらに、立体表示制御部212は、立体図612における立体画像に移動に従って、ヒートマップ611上の指定領域622-1および対応領域622-2~622-5の表示も移動させる。
以上のように、立体図612における表示を自由に移動することが可能となることにより、時間の前後で脳の状態の変化を素早く確認することができる。
図26は、立体図に表示されたいずれかの脳の視点を変更した場合、同じ行のすべての脳の視点を変更する状態の一例を示す図である。図27は、立体図に表示されたいずれかの脳の視点を変更した場合、すべての行のすべての脳の視点を変更する状態の一例を示す図である。図28は、図27における視点の変更動作を具体的に説明する図である。図29は、立体図に表示されたいずれかの脳の視点を変更した場合、すべての行のすべての脳の視点を変更する状態の別の例を示す図である。図30は、図29における視点の変更動作を具体的に説明する図である。図31は、立体図にコメントを付加した状態の一例を示す図である。図26~図31を参照しながら、時間周波数解析画面601の立体図612の特定の立体画像について視点変更を行った場合の動作について説明する。
立体図612に立体画像として表示されている脳は、解析者による操作(例えば、ドラッグ操作またはスワイプ操作等)によって視点を変更することが可能である。この場合、立体図612の特定の脳の立体画像の視点を変更した場合において、他の立体画像への反映方法の類型について以下に説明する。
まず、特定の立体画像の視点が変更された場合に、同じ行の他の立体画像について同じ視点変更がなされる場合について説明する。図26(a)に示すように、解析者は、2行で表示された立体図612において、表示領域612-1に表示された脳の立体画像のうち右端の立体画像(以下、「対象立体画像」と称する場合がある)に対して、視点を変更する操作を行ったものとする。この場合、立体表示制御部212は、図26(b)に示すように、脳の左側面の視点の対象立体画像を、解析者の操作に従って、脳の背面の視点の立体画像の表示となるように視点変更する。このとき、脳の画像に重畳しているヒートマップも同様に視点変更する。そして、立体表示制御部212は、図26(c)に示すように、対象立体画像と同じ行(表示領域612-1)の他の立体画像に対して、対象立体画像の視点変更と同じ視点変更をして表示する。これによって、特定の立体画像(対象立体画像)に対する視点変更を行うのみで、同じ行の他の立体画像についてもその視点変更が反映されるので、操作性が向上し、同じ視点での時間的に前後の脳の活動変化を確認することが容易になる。なお、立体画像の視点変更の操作として、例えば、視点変更したい立体画像上にマウスを合わせてドラック操作またはクリック操作等でもよく、ポップアップ表示によるパラメータの指定等でもよい。
次に、特定の立体画像の視点が変更された場合に、他のすべての立体画像について同じ視点変更がなされる場合について説明する。図27(a)に示すように、解析者は、2行で表示された立体図612において、表示領域612-1に表示された脳の立体画像のうち右端の対象立体画像に対して、視点を変更する操作を行ったものとする。この場合、立体表示制御部212は、図27(b)に示すように、脳の左側面の視点の対象立体画像を、解析者の操作に従って、脳の背面の視点の立体画像の表示となるように視点変更する。そして、立体表示制御部212は、図27(c)に示すように、対象立体画像と同じ行(表示領域612-1)の他の立体画像に対して、対象立体画像の視点変更と同じ視点変更をして表示する。すなわち、図28(a)に示す脳の左側面の視点を、表示領域612-1の他の立体画像について、図28(b)に示すように、脳の背面の視点となるように変更する。さらに、立体表示制御部212は、図27(c)に示すように、対象立体画像と異なる行(表示領域612-2)の立体画像に対しても、対象立体画像の視点変更と同じ視点変更をして表示する。すなわち、図28(a)に示す脳の右側面の視点を、表示領域612-2の立体画像について、図28(c)に示すように、脳の前面の視点となるように変更する。なお、処理環境に余裕があれば図28(a)~図28(c)の処理を高速に行い、見た目上すべての脳の視点が同時に変わっているようにしてもよいし、処理環境が貧弱な場合には、ユーザーが動かしている画像のみについて視点を変えた後、それが確定したタイミング(例えばドラッグ操作で脳画像を回転させることで視点を変更している場合、マウスのボタンを離したタイミング)で他の画像の視点を変えてもよい。このとき、脳の画像に重畳しているヒートマップもそれぞれ同様に視点を変更する。これによって、特定の立体画像(対象立体画像)に対する視点変更を行うのみで、同じ行の他の立体画像、および他の行の立体画像についてもその視点変更が反映されるので、操作性が向上し、時間的に前後の脳の活動変化を確認することが容易になる。
そして、特定の立体画像の視点が変更された場合に、同じ行の他の立体画像については同じ視点変更がなされ、他の行の立体画像については、対応する視点変更(具体的には、脳の中心面(対象面)に対して面対称となる視点変更)がなされる場合について説明する。図29(a)に示すように、解析者は、2行で表示された立体図612において、表示領域612-1に表示された脳の立体画像のうち右端の対象立体画像に対して、視点を変更する操作を行ったものとする。この場合、立体表示制御部212は、図29(b)に示すように、脳の左側面の視点の対象立体画像を、解析者の操作に従って、脳の左前側の視点の立体画像の表示となるように視点変更する。そして、立体表示制御部212は、図29(c)に示すように、対象立体画像と同じ行(表示領域612-1)の他の立体画像に対して、対象立体画像の視点変更と同じ視点変更をして表示する。すなわち、図30(a)に示す脳の左側面の視点を、表示領域612-1の他の立体画像について、図30(b)に示すように、脳の左前側の視点となるように変更する。さらに、立体表示制御部212は、図29(c)に示すように、対象立体画像と異なる行(表示領域612-2)の立体画像に対して、対象立体画像の視点変更に対応する視点変更をして表示する。すなわち、図30(a)に示す脳の右側面の視点を、表示領域612-2の立体画像について、図30(c)に示すように、脳の中心面(対象面)に対して面対称となるような視点変更、すなわち、脳の右前側の視点となるように変更する。このとき、脳の画像に重畳しているヒートマップもそれぞれ同様に視点を変更する。これによって、特定の立体画像(対象立体画像)に対する視点変更を行うのみで、同じ行の他の立体画像についてはその視点変更が反映され、他の行の立体画像については、対応する視点変更が反映されるので、操作性が向上し、さらに、複数の行を見比べることによって、対応する視点から時間的に前後の脳の活動変化を確認することができる。
以上で説明した3つの他の立体画像への反映方法のうち、いずれの方法を採用してもよく、または、これらの方法のうちどの方法で反映するかを設定により切り替えることができるものとしてもよい。
なお、図26~図30で上述したように、解析者が最初に視点変更の操作の対象とする対象立体画像を、表示領域612-1の右端の立体画像としたが、これに限定されるものではなく、表示領域612-1または表示領域612-2のいずれの立体画像が操作の対象であってもよい。また、表示領域612-1に含まれる一群の立体画像、および表示領域612-2に含まれる一群の立体画像が、それぞれ本発明の「形状画像」または「第3画像」に相当する。
また、立体図612の特定の脳の立体画像の視点を変更した場合に、他の立体画像へ視点変更を反映する動作を説明したが、立体画像に対して変更を加える表示態様について視点だけではなく、例えば、拡大縮小、輝度の変更、または透明度の変更等であってもよい。これらの変更についても、上述の視点変更の趣旨を逸脱しない範囲で、他の立体画像に変更を反映するものとすればよい。
また、上述のように、立体図612に表示される立体画像に対して変更を加えた結果、図31に示すように、解析者による入力部208への操作入力により、特定の立体画像に対してメモ(例えば、図31に示すコメント635)を付加できるようにしてもよい。これによって、解析者(医者等)が脳の気になる活動部位に対するコメントをその立体画像に関連付けて保存しておくことができ、脳に対する外手術の他、当該脳の疾患についてのカンファレンスにおいても役立てることができる。
<頭部三面図について>
図32は、時間周波数解析画面における頭部三面図の一例を示す図である。図33は、頭部三面図の立体画像としてカットモデルを表示した状態の一例を示す図である。図34は、頭部三面図においてピークリストで選択されたピークの位置を示した状態の一例を示す図である。図35は、頭部三面図においてピークリストで選択されたピークの位置、および時間的な前後のピークの位置を示した状態の一例を示す図である。図36は、頭部三面図においてピークリストで選択されたピークの位置、および時間的な前後のピークの位置を色を変えて示した状態の一例を示す図である。図37は、頭部三面図の立体画像にダイポール推定の結果を重畳表示した状態の一例を示す図である。図38は、頭部三面図の立体画像に複数の測定対象の結果(ヒートマップ)を重畳表示した状態の一例を示す図である。図32~図38を参照しながら、時間周波数解析画面601の頭部三面図613の基本的な表示動作について説明する。
図32に示すように、頭部三面図613は、脳の特定の位置(点)における3方向の断面図(以下、「三面図」と総称する場合がある)、および3D画像である立体画像644を含む図である。図32に示す例では、頭部三面図613は、脳の特定の位置における3方向の断面図として、脳の前後方向に対して垂直な断面を示す断面図641、脳の左右方向に対して垂直な断面を示す断面図642、および、脳の上下方向に対して垂直な断面を示す断面図643を含む。断面図641は、上述の特定の位置を通るように基準線645aおよび基準線645bが引かれている。また、断面図642は、上述の特定の位置を通るように、基準線645aおよび基準線645cが引かれている。また、断面図643は、上述の特定の位置を通るように、基準線645bおよび基準線645dが引かれている。断面図641~643には、それぞれ、ヒートマップ611で指定された位置(点または範囲)に対応する時刻および周波数の生体信号の信号強度の分布を示すヒートマップ(ヒートマップ611とは異なる)(第3強度分布)が重畳して表示される。この頭部三面図613の表示動作は、断面表示制御部213によって制御される。
基準線645aは、上述の脳の特定の位置の上下方向の位置を規定する線であるため、断面図641および断面図642にわたって連続した線として描画されている。また、基準線645bは、上述の脳の特定の位置の左右方向の位置を規定する線であるため、断面図641および断面図643にわたって連続した線として描画されている。また、基準線645cは、断面図642において、上述の脳の特定の位置の前後方向の位置を規定する線である。また、基準線645dは、断面図643において、上述の脳の特定の位置の前後方向の位置を規定する線である。なお、頭部三面図613における断面図641~643の並びは、上述のように、基準線645aおよび基準線645bが複数の断面図に連続して描画することが可能であるために、図32に示す並びとしているが、これに限定されるものではなく、任意でよい。その場合、各断面図において、脳の特定の位置を通るように基準線がそれぞれ描画されるものとすればよい。また、基準線は必ずしも描画される必要はなく、各断面図において、脳の特定の位置を示すマーク等が表示されるものとしてもよい。
立体画像644は、脳の3D画像であり、後述するように、この立体画像644に対する操作に応じて、立体図612に描画された脳の立体画像の視点が変更される。また、立体画像644には、ヒートマップ611で指定された位置(点または範囲)に対応する時刻および周波数の生体信号の信号強度の分布を示すヒートマップ(ヒートマップ611とは異なる)(第4強度分布)が重畳して表示される。なお、立体画像644は、脳の特定の視点の立体画像を表示することに限定されるものではなく、例えば、図33に示すように、三面図で特定される脳の位置を中心に3次元方向で一部カットしたカットモデル画像であってもよい。
また、図32に示す頭部三面図613では、ピークリスト614に登録されたピークのうち選択されたピークの位置が特定される三面図を表示し、図34に示すように、立体画像644上に当該選択されたピーク位置を示すピーク点646を表示するものとしてもよい。また、例えば、ピークリスト614で選択されたピークから数えて上位N個のピークの位置が立体画像644に表示されるものとしてもよい。図35では、上位3個のピークの位置(ピーク点646、646a、646b)が表示された例を示す。また、図35では、上位3個ではなく、ピークリスト614で選択されたピークの前後の時刻におけるピーク位置をピーク点646、646a、646bとして表示(ピークの軌跡を表示)するものとしてもよい。なお、設定によりピークの位置をどのように表示させるかが決定されてもよく、例えば、上述の他、ピークそのものを表示させない設定、信号強度がM以上のピークを表示させる設定等を切り替えられるものとしてもよい。
また、図36に示すように、立体画像644上に表示された複数のピークについて、当該ピークの属性情報に応じて、表示の形態を変えるものとしてもよい。図36では、表示されたピークごとにマークの色をそれぞれ異なる色となるように変えて表示させた例を示している。
また、図37に示すように、断面表示制御部213は、立体画像644に対して、他の解析画面等でダイポール推定の結果であるダイポール647を重畳表示させるものとしてもよい。これによって、立体画像644が示す温存部位を示すヒートマップと、疾患部位(ターゲット部位)を示すダイポールとの位置関係を把握することができ、外科手術等に役立てることができる。
また、三面図のいずれかの断面図上で、解析者による入力部208を用いてクリック操作またはタップ操作によって、脳の三次元空間の特定の位置を指定することができる。このように、三面図において特定の位置が指定されると、指定された位置(点)に対応する時刻および周波数に関する生体信号の信号強度の分布がヒートマップ611に反映される。
また、三面図のいずれかの断面図上で、解析者による入力部208に対するドラッグ操作またはスワイプ操作によって、脳の三次元空間の特定の範囲を指定することができる。このように、三面図において特定の範囲が指定されると、指定された範囲に対応する時刻および周波数に関する生体信号の信号強度(その範囲での平均)の分布がヒートマップ611に反映される。
なお、立体画像644(および三面図)に描画されるヒートマップ(信号強度の強弱を示す等高線図)は、各脳の部位の活動が活発となるようなそれぞれの刺激の結果を重畳して表示するものとしてもよい。例えば、言語刺激(測定時)を行った信号に対する結果と、視覚刺激(測定時)を行った信号に対する結果を求めた後に、断面表示制御部213は、図38(a)に示す言語野を活性化させた場合のヒートマップと、図38(b)に示す視覚野を活性化させた場合のヒートマップとを、図38(c)に示すように、重畳させて表示可能とするものとしてもよい。このように図38(c)に示すように重畳されたヒートマップで示される部位が温存部位であるということが確認できる。重畳させるための操作方法としては、現在表示されている測定結果が言語野であるものとした場合、メニューによって異なる測定結果(例えば、視覚野)を選択することができるようにすればよい。なお、重畳する際には、測定対象より刺激に対する反応時間が異なる可能性もある。そこで、測定対象を追加する場合に時間のずれを設定できるようにすれば、より的確に重畳することができる。さらに、ヒートマップを重畳した結果である図38(c)に示す立体画像を、図38(d)に示すように反転表示させることによって、逆に温存部位ではない切除可能な部位を示すことが可能になる。
また、頭部三面図613に示す断面図は、断面方向の異なる3つの断面図である三面図としているが、これに限定されるものではなく、特定の断面方向の1つの断面図、または断面方向の異なる2つもしくは4つ以上の断面図であってもよい。
図39は、頭部三面図の立体画像に対して視点が変更される前の状態の一例を示す図である。図40は、頭部三面図の立体画像に対して視点が変更された場合に表示されるダイアログボックスを示す図である。図41は、立体画像の視点変更により立体図の1行目に同じ表示を反映するための設定例を示す図である。図42は、頭部三面図の立体画像に対して視点が変更された場合、立体図の1行目に同じ表示を反映した状態を示す図である。図43は、立体画像の視点変更により立体図の1、2行目に同じ変換を反映するための設定例を示す図である。図44は、頭部三面図の立体画像に対して視点が変更された場合、立体図の1、2行目に同じ変換を反映した状態を示す図である。図45は、立体画像の視点変更により立体図の1、2行目に、対応した変換を反映するための設定例を示す図である。図46は、頭部三面図の立体画像に対して視点が変更された場合、立体図の1、2行目に、対応した変換を反映した状態を示す図である。図47は、立体画像の視点変更により立体図に同じ表示の新たな行を追加するための設定例を示す図である。図48は、頭部三面図の立体画像に対して視点が変更された場合、立体図に同じ表示の新たな行を追加した状態を示す図である。図39~図48を参照しながら、時間周波数解析画面601の頭部三面図613の立体画像に対して視点変更した場合における立体図612への反映動作について説明する。
頭部三面図613の立体画像644に表示されている脳は、立体図612と同様に、解析者による操作(例えば、ドラッグ操作またはスワイプ操作等)によって視点を変更することが可能である。この場合、立体画像644の脳の視点を変更した場合において、立体図612に表示された脳の視点に反映するものとしてもよく、以下、その反映方法の類型について以下に説明する。
図39に示すような時間周波数解析画面601に表示された頭部三面図613の立体画像644に対して、解析者による操作(例えば、ドラッグ操作またはスワイプ操作等)が行われると、断面表示制御部213は、図40に示すように、ダイアログボックス650を表示させる。ダイアログボックス650は、立体画像644の脳について視点変更された場合に、どのように立体図612に反映するかを決定するための画面である。ここで、例えば、「立体図は変更しない」ボタンが押下されると、立体図612の立体画像に対する視点変更はなされない。ここでは、解析者は、図40に示すように、脳の左側面の視点の立体画像644を、脳の背面の視点の立体画像の表示となるように視点変更したものとする。
まず、図41に示すように、ダイアログボックス650の「立体図の行の表示に反映する」ボタンが押下されたものとする。すると、断面表示制御部213は、図41に示すように、立体図612にどのように反映するかの詳細を設定するためのダイアログボックス651を表示させる。解析者は、図41に示すように、ダイアログボックス651において、変更する行として立体図612の1行目に選択し、「立体図の3Dと同じ表示」を選択したものとする。この場合、立体表示制御部212は、図42に示すように、立体図612の1行目(上の行)の立体画像に対して、立体画像644の変更された視点と同じ視点となるように表示する。
次に、図40のように視点変更された状態から、解析者は、図43に示すように、ダイアログボックス650の「立体図の行の表示に反映する」ボタンを押下し、ダイアログボックス651において、変更する行として立体図612の1行目および2行目に選択し、「立体図の3Dと同じ変換」を選択したものとする。この場合、立体表示制御部212は、図44に示すように、もともと立体画像644と同じ視点であった立体図612の1行目の立体画像に対して、立体画像644の視点変更と同じ視点変更をして表示する。すなわち、図44に示すように、脳の背面の視点となるように変更する。さらに、立体表示制御部212は、図44に示すように、もともと脳の右側面の視点であった立体図612の2行目の立体画像に対して、立体画像644の視点変更と同じ視点変更をして表示する。すなわち、図44に示すように、脳の前面の視点となるように変更する。なお、「立体図の行の表示に反映する」ボタン押下によるダイアログボックス651での選択を初期設定済みとするか初期設定可能なようにしておき、その上で、例えば、[ビューのリンク]/[ビューのリンク解除]ボタンを設けることで、その選択結果を表示するようにしてもよい。このような構成とすることで毎回の選択動作を省略(簡略化)できる。
次に、解析者は、図46に示すように、脳の左側面の視点の立体画像644を、脳の左前側の視点の立体画像の表示となるように視点変更したものとする。そして、この状態から、解析者は、図45に示すように、ダイアログボックス650の「立体図の行の表示に反映する」ボタンを押下し、ダイアログボックス651において、変更する行として立体図612の1行目および2行目に選択し、「立体図の3Dに対応した変換」を選択したものとする。この場合、立体表示制御部212は、図46に示すように、もともと立体画像644と同じ視点であった立体図612の1行目の立体画像に対して、立体画像644の視点変更と同じ視点変更をして表示する。すなわち、図46に示すように、脳の左前側の視点となるように変更する。さらに、立体表示制御部212は、図46に示すように、もともと脳の右側面の視点であった立体図612の2行目の立体画像に対して、立体画像644の視点変更に対応する視点変更をして表示する。すなわち、図46に示すように、脳の中心面(対象面)に対して面対称となるような視点変更、すなわち、脳の右前側の視点となるように変更する。
次に、図40のように視点変更された状態から、解析者は、図47に示すように、ダイアログボックス650の「立体図の行を追加する」ボタンを押下することによって表示されるダイアログボックス652において、「立体図の3Dと同じ表示」を選択したものとする。この場合、立体表示制御部212は、図48に示すように、立体画像644の視点変更の結果、同一の視点となる脳の立体画像を、立体図612の表示領域612-3に新たな行として表示する。すなわち、図48に示すように、表示領域612-3における新たな行に、脳の背面の視点の立体画像が表示される。
以上のように、頭部三面図613における立体画像644に対して行った視点変更を、各種設定に応じて、立体図612の時系列に並んだ脳の立体画像の視点に反映することができる。これによって、立体画像644の視点変更と同様の視点変更を、立体図612に対して改めて行う必要がないので、操作性が向上し、さらに、立体画像644で変更した視点と同一の視点、または対応する視点で、立体図612において脳の状態の変化を時系列に確認することができる。
なお、図41、図43、図45および図47で示すダイアログボックス650~652によって設定される立体図612に表示された脳の視点への反映方法は、一例であり、その他の反映方法が設定できるものとしてもよい。
また、立体画像644の視点を変更した場合に、立体図612の立体画像へ視点変更を反映する動作を説明したが、立体画像644に対して変更を加える表示態様は視点だけではなく、例えば、拡大縮小、輝度の変更、または透明度の変更等であってもよい。これらの変更についても、上述の視点変更の趣旨を逸脱しない範囲で、立体図612の立体画像に変更を反映するものとすればよい。
<ピークリストについて>
図49は、ピークリストの設定例を示す図である。図50は、空間的なピークを説明する図である。図51は、時間・周波数的なピークを説明する図である。図52は、プルダウンされたピークリストから特定のピークを選択する状態を示す図である。図53は、プルダウンされたピークリストから選択されたピークについてヒートマップ、立体図および頭部三面図に反映させた状態を示す図である。図49~図53を参照しながら、時間周波数解析画面601のピークリスト614の基本的な動作について説明する。
ピークリスト614は、ピークリスト制御部203により抽出された、設定された条件を満たす信号強度のピークが登録されたリストである。図49に示すように、ピークリスト制御部203は、ピークリスト614でプルダウンされることによって登録された信号強度の一覧であるプルダウンリスト656を表示する。
また、上述のピークリスト制御部203により抽出される信号強度のピークの条件は、ピークリスト設定ボタン614aを押下することにより設定することができる。ピークリスト制御部203は、ピークリスト設定ボタン614aが押下されると、抽出される信号強度のピークの条件を設定するためのダイアログボックス655を表示させる。
ダイアログボックス655では、まず、ピークリスト614に登録されたピーク情報をどのようにソートするかを設定することができる。ダイアログボックス655において、「ピークの値が大きい順番」が選択された場合、ピークリスト制御部203は、ピークリスト614で登録されているピーク情報を、ピークの信号強度が大きい順にソートする。一方、ダイアログボックス655において、「ピークの高さ(頂点と谷点の差)が大きい順番」が選択された場合、ピークリスト制御部203は、ピークリスト614で登録されているピーク情報を、ピーク点の信号強度と、当該ピークの谷部分の信号強度との差が大きい順にソートする。
さらに、ダイアログボックス655では、ピークリスト614にどのようなピーク情報を登録(リストアップ)させるかを設定することができる。ダイアログボックス655において、「すべての空間的なピーク」が選択された場合、ピークリスト制御部203は、時刻・周波数平面の各時刻・各周波数においての脳全体における空間的なピークを抽出して、ピークリスト614に登録する。ここで、空間的なピークとは、図50に示すピーク部801のように、着目する時刻・周波数の生体信号の、脳全体における信号強度のピークであり、このピーク部801の信号強度は、周辺より信号強度が強い。
また、ダイアログボックス655において、「すべての時刻/周波数的なピーク」が選択された場合、ピークリスト制御部203は、脳全体の各位置においての時刻・周波数平面における時刻/周波数的なピークを抽出して、ピークリスト614に登録する。ここで、時刻/周波数的なピークとは、図51に示すピーク部802のように、着目する脳の位置での生体信号の、時刻・周波数平面における信号強度のピークであり、このピーク部802の信号強度は、周辺よりも信号強度が強い。
また、ダイアログボックス655において、「指定されている時刻/周波数における空間的なピーク」が選択された場合、ピークリスト制御部203は、時刻・周波数平面で指定された時刻・周波数においての脳全体における空間的なピークを抽出して、ピークリスト614に登録する。なお、指定されている時刻/周波数は一点とは限らず、範囲で選択される場合もある。
また、ダイアログボックス655において、「指定されている位置における時刻/周波数的なピーク」が選択された場合、ピークリスト制御部203は、指定された脳の位置においての時刻・周波数平面における時刻/周波数的なピークを抽出して、ピークリスト614に登録する。なお、指定されている位置は一点とは限らず、範囲で選択される場合もある。例えば、視覚野についてのピークを抽出する場合、後頭部全体の範囲を指定することによって、所望のピークを抽出しやすくなる。
次に、各ピーク情報が登録されたピークリスト614から特定のピーク情報を選択した場合の動作について説明する。解析者によって、ピークリスト614から表示されたプルダウンリスト656から特定のピーク情報(例えば、図52に示す「95%/9ms/70Hz/voxel:1736」)が選択されると、ヒートマップ表示制御部211は、当該ピーク情報が示す脳の特定の位置に対応するヒートマップ611を表示する。この場合、ヒートマップ表示制御部211は、図14で上述したように、ヒートマップ611においてピーク情報が示すピークの位置を具体的に示すものとすればよい。
また、立体表示制御部212は、選択されたピーク情報が示す時刻・周波数の脳の立体画像を立体図612の各行の中央に表示させ、さらに、その時刻の前後の脳の立体画像を表示させる。この場合、立体図612の脳の各立体画像に重畳されるヒートマップは、ピーク情報が示す周波数の生体信号の信号強度に対応するものとすればよい。
また、断面表示制御部213は、選択されたピーク情報が示す脳の位置を通る三面図を頭部三面図613に表示させる。さらに、断面表示制御部213は、選択されたピーク情報が示す時刻・周波数の生体信号の信号強度に対応するヒートマップを立体画像644の脳に重畳表示させるものとすればよい。なお、断面表示制御部213は、図53に示すように、選択されたピーク情報が示す脳の位置を中心に3次元方向で一部カットしたカットモデルを立体画像644に表示させるものとしてもよい。
以上のように、ピークリスト614に登録されたピーク情報から特定のピーク情報を選択することによって、当該ピーク情報に対応したヒートマップ611、立体図612および頭部三面図613が表示される。これによって、選択したピークが脳のどの位置、およびどの時刻・周波数であるかを瞬時に認識することができ、さらに、ヒートマップ611においては当該ピークおよびその周りの時刻/周波数における信号強度の状態、および、当該ピークの位置およびその周りの脳の信号強度の状態も把握することが可能となる。
<再生制御パネルについて>
図54は、再生制御パネルの操作によりヒートマップおよび立体図が再生表示される状態を示す図である。図55は、再生制御パネルの操作によりヒートマップおよび立体図がコマ戻しされる状態を示す図である。図56は、再生制御パネルの操作によりヒートマップおよび立体図がコマ送りされる状態を示す図である。図54~図56を参照しながら、時間周波数解析画面601の再生制御パネル615を操作した場合の動作について説明する。
再生制御パネル615は、解析者の操作によって、時間経過と共に、ヒートマップ611、立体図612および頭部三面図613の状態を再生表示するためのユーザインターフェースである。
例えば、解析者が、再生制御パネル615の「再生」ボタンを押下すると、再生表示制御部214は、ヒートマップ表示制御部211に対して、図54(a)および図54(b)に示すように、ヒートマップ611で指定されている指定領域622-1、およびその周りの対応領域622-2~622-5を、時間経過と共に、右方向(時間が進む方向)に移動させるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622-1および対応領域622-2~622-5の移動に伴い、立体表示制御部212に対して、図54(a)および図54(b)に示すように、各領域に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622-1の移動に伴い、断面表示制御部213に対して、移動している指定領域622-1に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像644に表示させるように指示する。
また、解析者が、再生制御パネル615の「コマ戻し」ボタンを押下すると、再生表示制御部214は、ヒートマップ表示制御部211に対して、図55(a)および図55(b)に示すように、ヒートマップ611で指定されている指定領域622-1、およびその周りの対応領域622-2~622-5を、所定時間分だけ左方向(時間が戻る方向)に移動させるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622-1および対応領域622-2~622-5の移動に伴い、立体表示制御部212に対して、図55(a)および図55(b)に示すように、各領域に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622-1の移動に伴い、断面表示制御部213に対して、移動した指定領域622-1に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像644に表示させるように指示する。
また、解析者が、再生制御パネル615の「コマ送り」ボタンを押下すると、再生表示制御部214は、ヒートマップ表示制御部211に対して、図56(a)および図56(b)に示すように、ヒートマップ611で指定されている指定領域622-1、およびその周りの対応領域622-2~622-5を、所定時間分だけ右方向(時間が進む方向)に移動させるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622-1および対応領域622-2~622-5の移動に伴い、立体表示制御部212に対して、図56(a)および図56(b)に示すように、各領域に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622-1の移動に伴い、断面表示制御部213に対して、移動した指定領域622-1に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像644に表示させるように指示する。
また、解析者が、再生制御パネル615の「停止」ボタンを押下すると、再生表示制御部214は、ヒートマップ表示制御部211、立体表示制御部212および断面表示制御部213に対して、ヒートマップ611、立体図612、および頭部三面図613におけるそれぞれの再生表示動作を停止するように指示する。
また、解析者が、再生制御パネル615の「先頭へ移動」ボタンを押下すると、再生表示制御部214は、ヒートマップ表示制御部211に対して、ヒートマップ611で指定されている指定領域622-1を、時刻の先頭に移動させるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622-1の移動に伴い、立体表示制御部212に対して、指定領域622-1に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622-1の移動に伴い、断面表示制御部213に対して、移動した指定領域622-1に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像644に表示させるように指示する。
また、解析者が、再生制御パネル615の「末尾へ移動」ボタンを押下すると、再生表示制御部214は、ヒートマップ表示制御部211に対して、ヒートマップ611で指定されている指定領域622-1を、時刻の末尾に移動させるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622-1の移動に伴い、立体表示制御部212に対して、指定領域622-1に対応した脳の立体画像の表示に切り替えるように指示する。また、再生表示制御部214は、ヒートマップ611における指定領域622-1の移動に伴い、断面表示制御部213に対して、移動した指定領域622-1に対応する時刻・周波数の範囲に対応する信号強度のヒートマップを、三面図および立体画像644に表示させるように指示する。
以上のように、再生表示させることによって、立体図612および頭部三面図613に表示される信号強度の分布(ヒートマップ)の時間経過による変化を動画として確認することができ、時間経過によるピークの移動等を視覚的に確認することができる。
<初期表示について>
図57は、ピークに対してどの視点からの図を初期表示させるかを説明する図である。図58は、2つのピークに対してどの視点からの図を初期表示させるかを説明する図である。図59は、図58に説明する視点からの図を立体図に初期表示させた状態を示す図である。図57~図59を参照しながら、時間周波数解析画面601を起動した(開いた)場合におけるヒートマップ611、立体図612および頭部三面図613の初期表示について説明する。
解析者が、時間周波数解析画面601を起動した(開いた)場合に、ヒートマップ611、立体図612および頭部三面図613の初期表示としてどのような画像を表示させるかについての類型を説明する。
例えば、解析表示制御部202は、時刻・周波数全体を通じて、脳全体において信号強度が最大となる時刻・周波数および脳内の位置を求める。この場合、ヒートマップ表示制御部211は、解析表示制御部202により求められた脳内の位置でのヒートマップ611を表示させる。また、立体表示制御部212は、解析表示制御部202により求められた信号強度が最大となる時刻・周波数に対応する脳の立体画像を立体図612に表示させる。また、断面表示制御部213は、解析表示制御部202により求められた脳内の位置を通るような三面図を頭部三面図613に表示させ、解析表示制御部202により求められた信号強度が最大となる時刻・周波数のヒートマップを三面図および立体画像644に重畳させる。
また、解析表示制御部202は、時刻・周波数全体を通じての信号強度の平均が最大となる脳内の位置を求めるものとしてもよい。この場合、ヒートマップ表示制御部211は、解析表示制御部202により求められた脳内の位置でのヒートマップ611を表示させる。また、立体表示制御部212は、表示されたヒートマップ611のうち信号強度が最大となる時刻・周波数に対応する脳の立体画像を立体図612に表示させる。また、断面表示制御部213は、解析表示制御部202により求められた脳内の位置を通るような三面図を頭部三面図613に表示させ、表示されたヒートマップ611のうち信号強度が最大となる時刻・周波数のヒートマップを三面図および立体画像644に重畳させる。
また、解析表示制御部202は、脳全体で信号強度の平均値が最大となる時刻・周波数を求めるものとしてもよい。この場合、立体表示制御部212は、解析表示制御部202により求められた時刻・周波数に対応する脳の立体画像を立体図612に表示させる。また、ヒートマップ表示制御部211は、立体図612の立体画像に表示された、解析表示制御部202により求められた時刻・周波数に対応するヒートマップにおいて信号強度が最大となる脳内の位置を求め、当該位置でのヒートマップ611を表示させる。また、断面表示制御部213は、ヒートマップ表示制御部211により求められた脳内の位置を通るような三面図を頭部三面図613に表示させ、解析表示制御部202により求められた時刻・周波数のヒートマップを三面図および立体画像644に重畳させる。
また、立体表示制御部212は、ピークリスト614に登録されているピーク情報のうち、先頭のピーク情報が示す脳内の位置でのヒートマップ611を表示させるものとしてもよい。また、立体表示制御部212は、ピークリスト614に登録されているピーク情報のうち、先頭のピーク情報が示す時刻・周波数に対応する脳の立体画像を立体図612に表示させる。また、断面表示制御部213は、ピークリスト614に登録されているピーク情報のうち、先頭のピーク情報が示す脳内の位置を通るような三面図を頭部三面図613に表示させ、当該ピーク情報が示す時刻・周波数のヒートマップを三面図および立体画像644に重畳させる。
また、立体表示制御部212は、測定の対象(視覚野、聴覚野、体性感覚野、運動野および言語野等)に応じてプリセットされた脳内の位置でのヒートマップ611を表示させるものとしてもよい。また、立体表示制御部212は、測定の対象(視覚野、聴覚野、体性感覚野、運動野および言語野等)に応じてプリセットされた時刻・周波数に対応する脳の立体画像を立体図612に表示させる。また、断面表示制御部213は、測定の対象(視覚野、聴覚野、体性感覚野、運動野および言語野等)に応じてプリセットされた脳内の位置を通るような三面図を頭部三面図613に表示させ、当該ピーク情報が示す時刻・周波数のヒートマップを三面図および立体画像644に重畳させる。
次に、解析者が、時間周波数解析画面601を起動した(開いた)場合に、立体図612の脳の立体画像、および、頭部三面図613の立体画像644の表示の初期視点について説明する。
例えば、測定の対象(視覚野、聴覚野、体性感覚野、運動野および言語野等)に応じてプリセットされた視点を初期視点として用いるものとしてもよい。この場合、立体図612については、行(視点)の数もプリセットしておく。立体図612が2行である場合、2つの視点をプリセットしておく必要がある。例えば、言語野が測定対象であれば、脳の左側面および右側面の視点をプリセットしておく。
また、ピークリスト614において先頭に登録されているピークが最もよく見えるような視点を初期視点として用いるものとしてもよい。具体的には、図57に示すように、脳の中心とピークとを結んだ直線811上に初期視点として視点P0を設定するものとすればよい。
また、ピークリスト614において所定のパラメータ(例えば、図50に示すピークの値(信号強度)またはピークの高さ)が、所定の閾値を超えたピークを用いて設定した視点を初期視点として用いるものとしてもよい。例えば、閾値を超えたピークが2つある場合、立体図612の表示を2行表示とし、図58に示すように、脳の中心とそれぞれのピークとを結んだ直線812、813上に、初期視点としてそれぞれ視点P1、P2を設定するものとすればよい。この場合において、視点P1からの脳の立体画像を立体図612の上の行に、視点P2からの脳の立体画像を立体図612の下の行に表示した例を、図59に示す。
以上のように、脳内の特定の位置または特定の範囲における生体信号の時刻・周波数に関するヒートマップ611を表示するものとし、そのヒートマップ611上で指定された点または範囲に対応する脳の活動を示すヒートマップが重畳された立体画像を中心に、その時刻の前後の脳の活動を示す立体画像を表示、すなわち、脳の活動を示す静止画(ここでは立体画像)をコマ送り的またはコマ戻し的に表示するものとしている。これによって、脳の活動を示す静止画を適切かつ迅速に抽出することができ、脳の活動の解析を容易にすることができる。また、カンファレンス等で議論のベースにすることが容易となる。
また、ピークリスト614に登録されたピーク情報から特定のピーク情報を選択することによって、当該ピーク情報に対応したヒートマップ611、立体図612および頭部三面図613が表示される。これによって、選択したピークが脳のどの位置、およびどの時刻・周波数であるかを瞬時に認識することができ、さらに、ヒートマップ611においては当該ピークおよびその周りの時刻/周波数における信号強度の状態、および、当該ピークの位置およびその周りの脳の信号強度の状態も把握することが可能となる。
また、立体図612上で自由に脳の視点を変更することができ、さらに、その視点変更に基づく変更を同じ行または異なる行の脳に対しても反映することができる。これによって、特定の立体画像(対象立体画像)に対する視点変更を行うのみで、他の立体画像についてもその視点変更に基づく変更が反映されるので、操作性が向上し、さらに、複数の行を見比べることによって、対応する視点から時間的に前後の脳の活動変化を容易に確認することができる。また、立体画像で描画される脳の視点を自在に変えることによって、ある視点では見えなかった発火位置を確認することができる。
また、頭部三面図613における立体画像644に対して行った視点変更を、各種設定に応じて、立体図612の時系列に並んだ脳の立体画像の視点に反映することができる。これによって、立体画像644の視点変更と同様の視点変更を、立体図612に対して改めて行う必要がないので、操作性が向上し、さらに、立体画像644で変更した視点と同一の視点、または対応する視点で、立体図612において脳の状態の変化を時系列に確認することができる。
なお、上述の実施形態は、生体部位としての脳についての生体信号を取り扱うものとしたが、これに限定されるものではなく、例えば、脊髄、筋肉等の生体部位の生体信号に対して適用することが可能である。例えば、脳の図で説明した立体図612を、腰椎の場合、図60のように表示することが可能である。図60では、図60(a)~図60(d)の順で時系列に腰椎の信号が上に伝わっていく状態を示している。
また、上述の実施形態において、生体信号計測システム1の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ROM等に予め組み込まれて提供される。また、上述の実施形態に係る生体信号計測システム1で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R(Compact Disk Recordable)、DVD(Digital Versatile Disc)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態の生体信号計測システム1で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の生体信号計測システム1で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態の生体信号計測システム1で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはCPUがROM等からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。