以下に添付図面を参照して、生体信号解析装置、生体信号計測システムおよびプログラムの実施の形態を詳細に説明する。
図1は、実施の形態にかかる生体信号計測システム1の概略図である。図1に示すように、生体信号計測システム1は、測定対象である被測定者の複数種類の生体信号、たとえば脳磁(MEG:Magneto-encephalography)信号と脳波(EEG:Electro-encephalography)信号を計測し、表示する。測定対象となる生体信号は、脳磁信号および脳波信号に限られるものではなく、例えば心臓の活動に応じて発生する電気信号(心電図として表現可能な電気信号)であってもよい。
図1に示すように、生体信号計測システム1は、被測定者の1以上の生体信号を測定する生体信号測定装置である測定装置3と、測定装置3で測定された1以上の生体信号を記録するサーバ40と、被験者に1以上の刺激を与える刺激装置20と、サーバ40に記録された1以上の生体信号を解析する生体信号解析装置である情報処置装置50と、を含む。ここでは、サーバ40と情報処理装置50とは別々に記載されているが、例えばサーバ40が有する機能の少なくとも一部が情報処理装置50に組み込まれる形態であってもよい。
図1の例では、被検者(被測定者)は、頭に脳波測定用の電極(またはセンサ)を付けた状態で測定テーブル4に仰向けで横たわり、測定装置3のデュワ30の窪み31に頭部を入れる。デュワ30は、液体ヘリウムを用いた極低温環境の保持容器であり、デュワ30の窪み31の内側には脳磁測定用の多数の磁気センサが配置されている。測定装置3は、電極からの脳波信号と、磁気センサからの脳磁信号を収集し、収集した脳波信号および脳磁信号を含むデータ(以下の説明では「測定データ」と称する場合がある)をサーバ40に出力する。サーバ40に収録された測定データは、情報処理装置50に読み出されて表示され、解析される。一般的に、磁気センサを内蔵するデュワ30と測定テーブル4は磁気シールドルーム内に配置されているが、図示の便宜上、磁気シールドルームを省略している。
刺激装置20は、あらかじめプログラムされた内容の刺激を発生すると同時に、刺激が発生した時刻を示すトリガ信号を含むデータをサーバ40に出力する。
刺激装置20は、例えば、ベルトに設けられた電極等であっても良い。この場合には、刺激装置20は、例えば、被測定者の腕等に装着され、電気信号あるいは機械的信号が刺激として被測定者に与えられることになる。
また、刺激装置20は、例えば、表示装置や音声出力装置等であっても良い。この場合には、刺激装置20は、例えば、刺激装置20に表示された映像や、刺激装置20から出力される音声等を、刺激として被測定者に与えることになる。刺激装置20は、このように、計測手順で決められた各種の刺激を被測定者に対して与えることができる。
情報処理装置50は、複数の磁気センサからの脳磁信号の波形と、複数の電極からの脳波信号の波形を、同じ時間軸上に同期させて表示する。このとき、同時にトリガを同期させて表示しても良い。脳波信号は、神経細胞の電気的な活動(シナプス伝達の際にニューロンの樹状突起で起きるイオン電荷の流れ)を電極間の電圧値として表すものである。脳磁信号は、脳の電気活動により生じた微小な磁場変動を表わす。脳磁場は高感度の超伝導量子干渉計(SQUID)センサで検知される。これらの脳波信号および脳磁信号は「生体信号」の一例である。
図2は、情報処理装置50のハードウェア構成図である。情報処理装置50は、CPU(Central Processing Unit:プロセッサ)21、RAM(Random Access Memory)22、ROM(Read Only Memory)23、補助記憶装置24、入出力インタフェース25、及び表示装置26を有し、これらがバス27で相互に接続されている。
CPU21は、情報処理装置50の全体の動作を制御し、各種の情報処理を行う。CPU21は、ROM23または補助記憶装置24に格納された情報表示プログラムを実行して、測定収録画面と解析画面の表示動作を制御する。RAM22は、CPU21のワークエリアとして用いられ、主要な制御パラメータや情報を記憶する不揮発RAMを含んでもよい。ROM23は、基本入出力プログラム等を記憶する。本発明の情報表示プログラムもROM23に保存されてもよい。補助記憶装置24は、SSD(Solid State Drive)、HDD(Hard Disk Drive)などの記憶装置であり、たとえば、情報処理装置50の動作を制御する制御プログラムや、情報処理装置50の動作に必要な各種のデータ、ファイル等を格納する。入出力インタフェース25は、タッチパネル、キーボード、表示画面、操作ボタン等のユーザインタフェースと、各種センサあるいはサーバ40からの情報を取り込み、他の電子機器に解析情報を出力する通信インタフェースの双方を含む。表示装置26は各種の情報を表示するためのデバイス(ディスプレイ)である。表示装置26では測定収録画面と解析画面が表示され、入出力インタフェース25を介した入出力操作に応じて画面が更新される。
図3は、情報処理装置50の機能ブロック図である。情報処理装置50は、制御部250、信号処理手段である解析部252、取得手段であるセンサ情報取得部253、トリガ情報取得手段であるトリガ情報取得部256、収録/解析情報保存部254、及びアノテーション入力手段であるアノテーション入力部255を有する。制御部250は、情報処理装置50の画面表示を制御する表示制御手段である表示制御部251を含む。
センサ情報取得部253は、測定装置3あるいはサーバ40から、センサ情報(生体信号)を取得する。
トリガ情報取得部256は、測定装置3あるいはサーバ40からトリガ情報を取得する。
アノテーション入力部255は、センサ情報に付加されるアノテーション情報を入力する。
解析部252は、収集されたセンサ情報を解析する。センサ情報の解析には、信号波形の加算平均、加算平均波形を含む信号波形の解析、振幅の特異点の解析、電流ダイポールの向きを含む脳磁場の解析が含まれる。つまり、この例では、解析部252は、解析画面から選択されたアノテーションに対応する信号源を推定する機能(推定部の機能)を有している。
表示制御部251は、センサ情報の測定収録時、及び解析時の画面表示を上述した手法で制御する。
収録/解析情報保存部254は、測定データと解析結果を保存する。測定収録時に信号波形にアノテーションが付加された場合は、信号波形が取得された時間情報と対応付けて、アノテーションも保存される。
表示制御部251を含む制御部250の機能は、図2のCPU21がROM23等に格納されたプログラムをRAM22上に展開して実行することによって実現される。解析部252の機能も、CPU21がROM23等に格納されたプログラムをRAM22上に展開して実行することにより実現される。なお、これに限らず、例えば制御部250および解析部252の機能のうちの少なくとも一部が専用のハードウェア回路(半導体集積回路等)で実現される形態であってもよい。センサ情報取得部253とアノテーション入力部255の機能は入出力インタフェース25によって実現される。収録/解析情報保存部254の機能は、ROM23または補助記憶装置24によって実現される。
図4は、情報処理装置50に表示される開始画面204の一例を示す図である。開始画面204には、「測定収録」と「解析」の選択ボックスが表示される。脳波及び/または脳磁測定の場合、データの測定収録とデータの解析は、別々の主体によって行われる場合が多い。例えば、測定技師(測定者)によって「測定収録」のボックスが選択されると、測定装置3で測定されたデータは順次サーバ40に保存され、情報処理装置50に読み出されて表示される。測定収録の終了後、医師によって「解析」ボックスが選択されると、収録された測定データが読み出され解析される。
<測定収録時の動作>
図5は、測定収録画面205の一例を示す図である。測定収録画面205は、測定された信号波形を表示する領域201Aと、信号波形以外のモニタ情報を表示する領域201Bを有する。信号波形を表示する領域201Aは、測定者からみて画面の左側に配置され、信号波形以外のモニタ情報を表示する領域201Bは、測定者からみて画面の右側に配置されている。リアルタイムで検出され表示される波形の動き(画面の左側から右側に向かって表示される)に合わせた測定者の視線の動きと、画面左側の領域201Aから右側の領域201Bへマウスを移動させるときの動きに無駄が生じず、作業効率が向上する。
表示画面の領域201Bでは、測定中に被測定者の様子を確認するためのモニタウィンドウ170が表示される。
領域201Aは、信号検出の時間情報を画面の水平方向(第1方向)に表示する第1の表示領域110と、信号検出に基づく複数の信号波形を画面の垂直方向(第2方向)に並列に表示する波形表示領域101~103を有する。
第1の表示領域110で表示される時間情報は、時間軸112に沿って付された時間表示を含むタイムラインであるが、時間(数字)を表示せずに、帯状の軸だけでもよいし、軸を設けずに時間(数字)の表示だけであってもよい。また、画面上側の第1の表示領域110の他に、波形表示領域103の下側に時間軸を表示して、タイムラインを表示してもよい。
領域201Aでは、同種の複数のセンサから取得される複数の信号波形、あるいは複数種類のセンサ群から取得される複数種類の信号の波形が、同じ時間軸で同期して表示される。たとえば、波形表示領域101には被測定者の頭部右側から得られる複数の脳磁信号の波形が、波形表示領域102には被測定者の頭部左側から得られる複数の脳磁信号の波形が、それぞれ並列に表示されている。波形表示領域103には、複数の脳波信号の波形が並列に表示されている。これらの複数の脳波信号波形は、各電極間で測定された電圧信号である。これらの複数の信号波形の各々は、その信号が取得されたセンサの識別番号あるいはチャネル番号と対応付けられてチャネル軸104に表示されている。
測定が開始され各センサからの測定情報が収集されると、時間の経過とともに領域201Aの各波形表示領域101~103の左端から右方向に向けて信号波形が表示される。ライン113は計測の時刻(現在)を示しており、画面の左から右に向けて移動する。領域201Aの右端(時間軸112の右端)まで信号波形が表示されると、その後は画面の左端から右に向けて徐々に信号波形が消え、消えた位置に新しい信号波形が順次左から右方向に表示され且つライン113も左端から右に向けて移動していく。これとともに、水平方向の第1の表示領域110でも測定の進行に対応して、時間の経過が時間軸112上に表示される。測定収録は、終了ボタン119が押されるまで継続される。
実施形態の特徴として、測定者(収録者)がデータ収録中に信号波形上で波形の乱れ、振幅の特異点等に気付いたときに、問題となる箇所または範囲を信号波形上でマークすることができる。マーキングの箇所または範囲は、マウスによるポインタ操作あるいはクリック操作で指定することができる。指定された箇所(または範囲)は、波形表示領域101~103の信号波形上に強調表示されるとともに、指定結果が対応する時刻位置又は時間範囲で、第1の表示領域110の時間軸112に沿って表示される。時間軸112上への表示を含むマーキングの情報は、信号波形データとともに保存される。指定された箇所は或る時刻に対応し、指定された範囲は或る時刻を含む一定範囲に対応する。
図5の例では、時刻t1で、波形表示領域103で1以上のチャネルを含む範囲が指定され、マーク103a-1で時刻t1を含んだ時間がハイライト表示されている。マーク103a-1の表示と関連して第1の表示領域110の対応する時刻位置に、指定結果を示すアノテーション110a-1が表示されている。時刻t2で、波形表示領域103で別の波形位置またはその近傍がマークされ、その位置(時刻t2)または近傍の領域(少なくとも時間範囲か複数の波形のいずれか一つが指示される)にマーク103a-2がハイライト表示されている。同時に、第1の表示領域110の対応する時刻位置(時間範囲)に、アノテーション110a-2が表示される。なお、アノテーションとは、あるデータに対して関連する情報を注釈として付与することを指す。本実施例では、少なくとも指定された時間情報に基づいて注釈として表示されるものであって、少なくとも時間情報に基づく波形が表示される位置と結び付けて、注釈として表示するものである。また、複数のチャネルを表示する場合、対応するチャネル情報と結びつけ、注釈として表示しても良い。
時刻t2で、測定者が別の波形箇所またはその近傍領域を指定すると、指定された箇所でマーク103a-2がハイライト表示され、これとともに、第1の表示領域110の対応する時刻位置に、アノテーション番号「2」が表示される。さらに、ハイライト表示された箇所に、属性選択のためのポップアップウィンドウ115が表示される。ポップアップウィンドウ115は、種々の属性を選択する選択ボタンと、コメントや追加情報を入力する入力ボックスを有する。選択ボタンには、波形の属性として「速波(fast activity)」、「眼球運動(eye motion)」、「体動(body motion)」、「スパイク(spike)」など、波形乱れの要因が示されている。測定者は、画面の領域201Bのモニタウィンドウ170で被測定者の様子を確認することができるので、波形の乱れの原因を示す属性を適切に選択することができる。たとえば、波形にスパイクが生じたときに、てんかんの症状を示すスパイクなのか、被測定者の体動(くしゃみ等)に起因するスパイクなのかを判断することができる。
アノテーション110a-1の一部または全部、たとえば、属性アイコンとテキストアノテーションの少なくとも一方を、波形表示領域103の信号波形上のマーク103a-1の近傍にも表示してもよい。信号波形上へのアノテーションの追加は、波形形状のチェックの妨げになる場合もあり得るので、波形表示領域101~103の信号波形上にアノテーションを表示させる場合は、表示・非表示を選択可能にしておくことが望ましい。
領域201Bのモニタウィンドウ170では、頭部を測定装置3に入れて測定テーブル4に横たわっている被測定者の状態のライブ映像が表示される。領域201Bでは、波形表示領域101、102、103の信号波形の各々に対応する分布図141、142、130と、アノテーションリスト180が表示される。
脳磁分布図141、142は、脳磁測定用の磁気センサの配置を示す脳磁分布図である。磁気センサは、脳磁分布図141、142内に点在する各点で表現されている。脳波分布図130は脳波測定用の電極(またはセンサ)の配置を示す脳波分布図である。
測定収録するにあたって、測定者は波形表示領域101、102に表示させる波形に対応する磁気センサを脳磁分布図141、142で指定する。
磁気センサの指定方法の一例として、メニュー141m、141nを押下することで表示されるプルダウンリストから測定者が指定することができる。たとえば、プルダウンリストには、左/右のセンサ群の選択だけでなく、頭頂部、前頭葉、側頭葉などのパートが表示され、任意に選択可能である。ここで、メニュー141mで脳磁分布図141の頭頂部のセンサが選択された場合は、メニュー141nでは脳磁分布図142の頭頂部を除く全てのセンサが選択された状態となる。そして、磁気センサが指定されると、脳磁分布図141,142の点の色が指定されていない点と区別されて表示される。
また、チャネル軸104に表示されるセンサの識別番号あるいはチャネル番号は、波形表示領域101では頭頂部のセンサの番号、波形表示領域102ではそれ以外のセンサの番号となる。
磁気センサの指定方法の別の例として、測定者または解析者がマウスなどの操作手段を用いて、脳磁分布図141,142内で特定したい磁気センサ(点で表示)を囲うこともできる。そうすると、囲われた範囲の内側の点(磁気センサ)の色が範囲外の点と区別されて表示される。
アノテーションリスト180は、領域201Aの信号波形上でマークされたアノテーションの一覧である。波形表示領域101~103で信号波形上の位置または範囲が指定されアノテーションが付される都度、対応する情報がアノテーションリスト180に順次追加される。
終了ボタン119が選択(押下)され測定が終了すると、波形表示領域101~103で指定されたハイライト箇所は信号波形に対応付けて保存される。第1の表示領域110の対応する時刻位置に表示されたアノテーション情報も、アノテーション番号と時刻に対応付けて保存される。これらの表示情報を保存することで、測定者と解析者が異なる場合でも、解析者は容易に問題となる箇所を認識し、解析することができる。
図6は、情報処理装置50で行われる測定収録段階での情報表示処理のフローチャートである。図4に示す開始画面204で「測定収録」が選択されると(S11)、測定が開始され、複数の信号の波形が同じ時間軸に沿って同期して表示される(S12)。ここで「複数の信号波形」という場合は、同一種類の複数のセンサで検知された信号波形と、異なる種類のセンサの各々で検知された複数の信号波形の両方を含む。この例では、複数の生体信号の波形は、被測定者の頭部右側に対応する磁気センサ群から得られる脳磁信号の波形と、被測定者の頭部左側に対応する磁気センサ群から得られる脳磁信号の波形と、被測定者の脳波測定用の電極から得られる脳波信号の波形と、から構成されるが、これに限られるものではない。
情報処理装置50は、表示されている信号波形上で注目箇所または範囲が指定されたか否かを判断する(S13)。注目箇所または範囲の指定があると(S13でYes)、信号波形の表示領域(波形表示領域101~103)に指定箇所を強調表示するとともに、時間軸領域(第1の表示領域110)の対応する時刻位置に指定結果を表示する(S14)。指定結果には、指定がなされたこと自体を示す情報、または指定の識別情報が含まれる。時間軸領域への指定結果の表示と同時に、あるいは前後して、アノテーションの入力要求の有無を判断する(S15)。アノテーション入力の要求がある場合は(S15でYes)、入力されたアノテーション情報を時間軸領域の対応する時刻位置に表示するとともに、アノテーションリストに追加する(S16)。その後、測定終了コマンドが入力されたか否かを判断する(S17)。注目位置(領域)の指定がない場合(S13でNo)、及びアノテーションの入力要求がない場合(S15でNo)は、ステップS17へ飛んで測定終了の判断を行う。測定が終了するまで(S17でYes)、ステップS13~S16を繰り返す(S17でNo)。
<解析時の動作>
図7は、解析時の情報処理装置50の解析画面206の一例を示す図である。解析画面206は、図4の開始画面204で「解析」ボタンを選択することで表示させる。解析画面206は、測定により得られた被検者の1以上の生体信号(この例では、被測定者の頭部右側に対応する磁気センサ群から得られる脳磁信号、被測定者の頭部左側に対応する磁気センサ群から得られる脳磁信号、被測定者の脳波測定用の電極から得られる脳波信号)の経時的変化を示す生体データと、測定時に生体データに対して入力された1以上のアノテーションとを対応付けた画面である。本実施形態の情報処理装置50は、この解析画面206を表示部(後述の表示装置26)に表示する制御を行う機能を有している。図7の例では、解析画面206は、収録された3つの生体信号の経時的変化を示す波形(生体データに相当)をアノテーションとともに表示する領域202Aと、解析情報を表示する領域202Bを有する。この例では、解析画面206では3つの生体信号の経時的変化を示す波形を表示しているが、刺激装置20の入力信号が表示される場合もあるので、信号数は3つに限られるものではない。収録された信号波形とアノテーション情報を表示する領域202Aは、測定者からみて画面の左側に配置され、解析表示する領域202Bは、測定者からみて右側に配置されている。これは、解析の際に、領域202Aで信号波形をチェックまたは選択しながら、マウス等を操作して領域202Bで解析結果を確認または確定させる作業の効率が良いからである。
本例では、領域202Aの波形表示領域103の脳波信号の波形の画面上方に、波形表示領域101,102の脳磁信号の波形を表示している。また、領域202Aの右側の領域202Bでは、領域202Aに近い側の画面領域で且つ画面上方に脳磁分布図141,142を表示し、脳波分布図130をその下方に表示している。このため、解析者は、波形表示領域103の「脳波信号の波形」、波形表示領域101,102の「脳磁信号の波形」、脳磁分布図141、142、脳波分布図130の順に(この場合は、時計回りで)視線移動を行える。そのため、解析者(または測定者)の視線移動が効率的になり、その結果、解析作業効率を向上させることが可能となる。なお、上記では、時計回りとして説明したがこの例に限定されない。
領域202Aは、測定時の時間情報を画面の水平方向(第1方向)に表示する第1の表示領域110及び第2の表示領域120と、収録された信号波形を種類ごとに画面の垂直方向(第2方向)に並べて表示する波形表示領域101~103を有する。
第1の表示領域110には、収録時の時間の経過を示す時間軸112と、時間軸112に沿って付加されたアノテーション110a-7、110a-8が表示される。第2の表示領域120には収録時間の全体を示す時間軸122が表示される。時間軸122に沿って、アノテーションが付加された時刻位置を示すポインタマーク120aと、波形表示領域101~103に現在表示されている信号波形が収録された時間帯を示すタイムゾーン120bが表示される。この表示により、解析者は、現在解析中の信号波形が、測定収録時のどの段階で取得された信号波形なのかを直感的に把握することができる。
解析者は、解析画面206を開いた後に、たとえば、時間軸122のバー上でタイムゾーン120bをドラッグすることで所望の時間帯の信号波形を波形表示領域101~103に表示させることができる。あるいは、後述するように、アノテーションリスト180の中から所望のアノテーションを選択することで、そのアノテーションを含む前後の信号波形を波形表示領域101~103に表示させることができる。
波形表示領域101~103には、収録時に信号波形に付加されたアノテーションA7、A8が表示されている。マーク103a-7、103a-8がハイライト表示され、マーク103a-7、103a-8の近傍に対応する属性アイコン106-7、106-8が表示されている。また、マーク103a-7、103a-8の時刻位置を示す縦のライン117-7、117-8が表示されている。ライン117が表示されることで、たとえば、波形表示領域103の所定の箇所の指定と関連してアノテーションが付加されたときに、異なる種類の信号表示エリアである波形表示領域102、101においても、指定の結果が容易に視認できる。ライン117は、アノテーション情報の視認を容易にするという意味でアノテーション情報に含めることができ、「アノテーションライン」と称してもよい。
図7に示す解析画面206には、波形表示領域101、102に表示されている信号波形に対応する脳磁分布図141、142、及び波形表示領域103に表示されている信号波形に対応する脳波分布図130が表示されている。また、脳磁図(MEG:Magnetoencephalograph)の等磁場線図150と、脳波図(EEG;Electroencephalograph)の等電位図160と、MRI(磁気共鳴画像:Magnetic Resonance Imaging)で取得された被測定者の脳の断層画像の表示ウィンドウ190が表示されている。等磁場線図150では、磁場の湧き出し領域と沈み込み領域が色分けされて表示され、電流の流れる方向が視覚的に把握される。等磁場線図150と等電位図160は測定完了後に得られる情報であり、MRIの断層画像は、別途検査で得られる情報である。
モニタウィンドウ170には、波形表示領域101~103の信号波形が取得された時刻に同期して、測定時の被測定者の映像が表示される。解析者は、モニタウィンドウ170を見て被測定者の状態を確認しながら信号波形を解析することができる。
アノテーションリスト180は、測定収録で付加されたすべてのアノテーションがリストされている。所望のアノテーション番号181または行をクリックすることで、図7の波形表示領域101~103に、そのアノテーションが付加された時刻位置を含む所定の時間帯の信号波形を表示させることができる。
測定収録画面205と異なり、解析者がアノテーション部分の信号波形を確認して最終的に信号源の推定がなされたアノテーションには、推定完了マーク182が表示されている。
図8は、図7の画面で特定のアノテーションラインが選択されたあとの画面を示す図である。図8は、図7の解析画面206でライン117-7が選択(たとえばダブルクリック)された直後の画面の全体図である。解析者が図7に示すアノテーションA7に着目して、この領域の波形を解析するためにライン117-1を選択(たとえばダブルクリック)すると、ハイライトされた信号波形の近傍の信号波形が図8に示すように拡大表示領域200に拡大表示される。領域114で示される一定の時間範囲にわたって、信号波形が時刻位置を示すライン217-7とともに拡大表示される。
解析者は、拡大表示領域200に信号波形を拡大表示することで、収録時に付加されたマークに対応する波形の妥当性を再確認し、あるいは計測収録時にチェックされていない波形部分をチェックすることができる。たとえば、ライン217-7を左右にドラッグすることで、問題となる波形の正確な個所を特定または変更することができる。
拡大表示領域200に表示する信号波形の種類と、チャネル範囲を指定することも可能である。たとえば、解析者は、視線を波形表示領域103でハイライトされたマーク103a-7から画面の上方へ移し、脳磁波形の波形表示領域101または102の波形に振幅の特異点がないかを確認する。この場合、波形表示領域101または102のターゲットのチャネル領域を指定することで、拡大表示領域200にマーク103a-7と関連する脳磁波形を拡大表示することができる。
拡大表示領域200の画面の下側には、確認ウィンドウ210が表示されている。確認ウィンドウ210は、信号波形の属性ボタン211と、信号源の推定ボタン212を含む。属性ボタン211は、測定収録画面205のポップアップウィンドウ115に含まれる属性情報と対応し、収録時に付加された属性が誤っているときは、属性ボタン211を選択して正しい属性を選択することができる。信号波形の正しい位置、及び/あるいは属性の選択が確認されたならば、推定ボタン212をクリックすることで信号源の推定をアノテーションに反映することができる。つまり、本実施形態の情報処理装置50は、解析画面206から選択されたアノテーションに対応する信号源を推定する機能を有している。推定された信号源は、MRI(磁気共鳴画像:Magnetic Resonance Imaging)で取得された被測定者の脳の複数の断層画像(生体断層画像)のうち該推定された信号源に対応する断層画像上に重畳して表示することができる。
図8で、所望のアノテーションについて、信号波形位置及び/または属性が確認され、信号源の推定ボタン212が選択されると、アノテーションリスト180の対応するアノテーションに、推定完了マーク182が付加される。さらに、表示ウィンドウ190のMRI断層画像に、ダイポールの推定結果190aが表示される。
図9は、情報処理装置50で行われる解析時の情報表示処理の流れを示すフローチャートである。開始画面204(図4参照)で「解析」が選択されると(S21)、解析が開始され、解析画面206が表示される(S22)。初期の解析画面206は、信号波形が表示されていないブランク画面でもよいし、収録の先頭または最後の一定の時間範囲の信号波形であってもよい。解析画面206が表示されると、特定のアノテーションが選択されたか否かが判断される(S23)。アノテーションの選択は、アノテーションリスト180内での特定のアノテーション番号または行の選択であってもよいし、第2の表示領域120の時間軸122上のタイムゾーン120bを操作することによる時刻位置の指定であってもよい。アノテーションの選択があると(S23でYes)、選択されたアノテーションの時刻位置を含む所定時間分の信号波長が表示される(S24)。
表示された画面で、ハイライト表示されたマークの時間位置を示すライン117が選択されたか否かが判断される(S25)。ライン117が選択されると(S25でYes)、選択されたラインを含む一定の時間範囲の信号波形が図8に示すように拡大表示される(S26)。拡大表示は、必ずしもハイライト表示されたマークの近傍の信号波形に限定されず、同じ時間位置の異なる種類の信号波形を拡大表示してもよい。たとえば、脳波信号波形にハイライト表示されたマークが付されている場合に、同じ時間位置の脳磁信号波形を拡大表示させてもよい。また、すべてのチャネルの信号波形を拡大表示する替わりに、マークされた信号波形が取得されたチャネルを含む一定範囲のチャネルで取得された信号波形を拡大表示させてもよい。この場合、拡大表示させたい信号波形の種類、及び/またはチャネル範囲の指定入力の有無を判断してもよい。
次に、図8に示す信号源の推定ボタン212が押下されたか否かが判断される(S27)。信号源の推定ボタン212が押下されると(S27でYes)、信号源推定の演算が行われる。表示ウィンドウ190のMRI断層画面に推定結果190aが表示されるとともに、推定完了マーク182がアノテーションリスト180に追加される(S28)。そして、アノテーションリスト180の下に配置されたマージボタン300の押下を受け付けた場合(S29でYes)、情報処理装置50は別の画面を表示し、画面に関する処理を行う(S30)。マージボタン300の押下を受け付けなかった場合(S29:No)、または、S30の後は、解析終了ボタン301の押下を受け付けたか否かが判断される(S31)。アノテーションの選択がない場合(S23でNo)、拡大表示のためのアノテーションラインの選択がない場合(S25でNo)、及び信号源推定ボタン選択の入力がない場合(S27でNo)は、ステップS31へ飛んで解析終了の判断を行う。解析終了ボタン301の押下が受け付けられるまで(S31でYes)、ステップS23~S30が繰り返される(S31でNo)。
ステップS26とS27の間に、アノテーションが変更されたか否かの判断を行ってもよい。アノテーションが変更された場合は、アノテーションリスト180へ変更を反映して、ステップS27の判断に移行する。
次に、加算平均を用いた解析方法を説明する。複数回の刺激に対する反応を見るために、複数回の信号を加算平均し、加算平均された結果をもとに上記ダイポール推定を行う方法がある。なお、以下においては、信号処理の一例である解析処理時の加算平均処理について説明するが、信号処理の一例である収録処理時において加算平均を用いるようにしてもよい。
加算平均処理を行うことで、位相の異なる信号についてはその振幅を小さくすることが可能となる。つまり、ホワイトノイズ等のノイズを小さくすることができる。その結果、刺激に対する反応(信号)をより明確に見出すことが可能となる。
しかしながら、加算平均する信号の中に不適切なものが混入した場合、それはノイズとなり、その後の解析を困難にする一因となる。
例えば、視覚刺激に対する反応を観測する場合に、被験者が眠ってしまった(目を閉じていた)ときの信号を併せて加算平均すると、その信号は視覚刺激に対する反応ではないので、加算平均の際にノイズ信号として好ましくない影響を及ぼすことになる。
以下、説明を簡単にするために、視覚刺激に対する反応を測定する場合について説明する。また、被験者の脳状態としては睡眠を検知する場合について説明する。
睡眠を検知する方法には様々な方法が提案されている。ここでは、脳内活動に影響を及ぼさないものであれば、いかなる方法を用いても構わない。例えば、特開2016-87072号公報に記載されている方法を用いればよい。この手法はEEGを用いた場合について説明されているが、MEGの信号に対しても同様に適用できる。
ここで、図10は加算平均を用いた解析時の情報表示処理の流れを概略的に示すフローチャートである。以下、図10と図3に基づいて処理の流れを説明する。
誘発信号は、センサ情報取得部253を通じて、収録/解析情報保存部254に保存される。同様に、トリガは、トリガ情報取得部256を通じて、収録/解析情報保存部254に保存される。それぞれのデータが保存されたならば、解析部252において加算平均処理が行われる。
図10に示すように、情報処理装置50は、開始画面204(図4参照)で「解析」が選択されると(ステップS21)、ステップS1に進む。
解析部252は、睡眠状態の時刻を検出する(ステップS1)。解析部252では、センサ情報に対して、例えば、特開2016-87072号公報に記載の手法を適用し、睡眠状態および睡眠状態の時刻を検出する。この場合、周波数解析したα波が50%time未満となったとき睡眠検知信号が検出された(ON)と判断し、この信号を収録/解析情報保存部254に保存する。
次に、解析部252は、睡眠状態の時刻に含まれるトリガを削除する(ステップS2)。より詳細には、解析部252は、トリガ情報を収録/解析情報保存部254から取り出し、上記睡眠検知信号がONの範囲に含まれるトリガを削除して、残ったトリガを収録/解析情報保存部254に保存する。本実施形態において、「トリガ」とは、刺激が発生した時刻を示すトリガ信号(刺激発生信号)である。
次に、解析部252は、残ったトリガ前後の波形について加算平均を行う(ステップS3)。より詳細には、解析部252は、トリガ情報を再び収録/解析情報保存部254から呼び出し、各トリガ前後の時刻を切り出して加算平均波形を生成する。生成された加算平均波形は、収録/解析情報保存部254に保存される。
具体的には、解析部252は、トリガの前Tpr[ms]とトリガの後Tpo[ms]の間の/範囲の信号を切り出し、切り出した信号を加算平均する。これにより、-Tpr~Tpoの間の加算信号を得ることができる。本実施形態において、「信号」とは、ダイポール推定のための信号であるので、基本はMEGであるが、EEGでもよい。
その後、解析部252は、解析を開始し、解析画面206を表示するとともに(ステップS22)、加算平均波形を表示する(ステップS4)。
加算平均波形については、通常の波形と同様に各種処理に用いることができる。ここで、図11は加算平均波形の表示例を示す図である。図11に示すように、視覚刺激に対する反応を観測する場合に、被験者が睡眠状態の時刻に含まれるトリガを削除し、残ったトリガ前後の波形について加算平均を行っている。
図10に戻り、以降の処理(アノテーション付与からダイポール推定)については、通常の信号の場合と同じように処理が可能である。
解析画面206が表示されると、特定のアノテーションが選択されたか否かが判断される(S23)。アノテーションの選択は、アノテーションリスト180内での特定のアノテーション番号または行の選択であってもよいし、第2の表示領域120の時間軸122上のタイムゾーン120bを操作することによる時刻位置の指定であってもよい。アノテーションの選択があると(S23でYes)、ステップS28に進む。
S28では、表示ウィンドウ190のMRI断層画面に推定結果190aが表示されるとともに、推定完了マーク182がアノテーションリスト180に追加される。そして、アノテーションリスト180の下に配置されたマージボタン300の押下を受け付けた場合(S29でYes)、情報処理装置50は別の画面を表示し、画面に関する処理を行う(S30)。マージボタン300の押下を受け付けなかった場合(S29:No)、または、S30の後は、解析終了ボタン301の押下を受け付けたか否かが判断される(S31)。
また、アノテーションの選択がない場合は(S23でNo)、ステップS31へ飛んで解析終了の判断を行う。解析終了ボタン301の押下が受け付けられるまで(S31でYes)、ステップS23~S30が繰り返される(S31でNo)。
なお、ここで示したのは一例であり、他の刺激を与え、他の状態を検知する方法もある。睡眠の検知は他の刺激に対する反応を見る場合に対しても、同様に適用可能である。また、睡眠以外に異常な興奮/緊張状態にある等を検出し、解析データから取り除くことも有用である。
以上、解析時の動作として説明したが、同様の動作を収録時に行っても構わない。収録時に行う場合には解析時に行うのと同様に睡眠検知信号を検出し、検出された時刻に発生したトリガを、保存するトリガデータから取り除いておけば良い。または、別途エラートリガのデータとしてその時刻を記録しておき、解析において加算平均を行う際に無視できるようにすればよい。
さらに、収録時に睡眠を検知する場合には、睡眠検知信号が発生した場合、一旦測定を中止し、被験者の体調を整える方法も考えられる。この場合、睡眠検知信号の発生を、収録時の画面上で気づきやすく表示することが肝要である。
ここで、図12は測定収録画面における睡眠検知信号の発生の表示例を示す図である。図12に示すように、測定収録画面205の領域201Bのモニタウィンドウ170において、睡眠検知信号の発生を示す表示171が表示される。
ここで、図13は、睡眠段階の基準を示す図である。図13は「http://naraamt.or.jp/Academic/kensyuukai/2005/kirei/nouha_suimin/nouha_suimin.html」に開示されているものである。本実施形態においては、α波が50%time未満となったときに睡眠検知信号が検出されたものとしたが、これに限るものではなく、図13に示すような睡眠段階の基準に応じて睡眠状態を判断してもよい。
さらに、加算平均が関わらない他の例を説明する。
α波が強い(睡眠状態またはそれに近い状態)の場合、てんかんのスパイクを発見しやすくなることが知られている。そこで、脳状態をα波の強さで測定し、α波の強い時間帯の信号を優先して操作者に見せることで、スパイク波形の発見を容易にすることも有効である。
見せ方はさまざまな方法が考えられるが、例えばα波がある一定の値より強い時間帯の信号のみを表示させる方法や、α波がある一定の値より強い時間帯に、信号の表示/背景色を変える方法などが考えられる。
ここで、図14は解析画面の別の一例を示す図である。図14に示すように、解析画面206において、領域202Aの波形表示領域101、102に表示されているMEG信号の右2/3が、α波が強い領域である。図14に示す例では、表示制御部251は、生体信号の周波数解析の結果に基づいて、信号が見えやすいように、α波が強い領域の表示色をその他の領域に比べて濃い色に変えている。
このように本実施の形態によれば、複数回の刺激に対する測定データを解析する際に、非侵襲な手法で脳の状態(刺激とは無関係な睡眠等の脳の状態)を把握し、不適切な状態のときに与えられた刺激に対する測定データを解析の対象から外す、言い換えれば、適切な状態のときの測定データのみを解析の対象とすることにより、解析の精度を向上させることができる。
また、上述した各実施形態の生体信号計測システム1で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ROM等に予め組み込んで提供するように構成してもよい。