CN111417342B - 脑网络的活动估计***、方法和存储介质 - Google Patents

脑网络的活动估计***、方法和存储介质 Download PDF

Info

Publication number
CN111417342B
CN111417342B CN201880076799.9A CN201880076799A CN111417342B CN 111417342 B CN111417342 B CN 111417342B CN 201880076799 A CN201880076799 A CN 201880076799A CN 111417342 B CN111417342 B CN 111417342B
Authority
CN
China
Prior art keywords
brain
activity
feature
measurement data
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880076799.9A
Other languages
English (en)
Other versions
CN111417342A (zh
Inventor
平山淳一郎
小川刚史
守谷大树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Publication of CN111417342A publication Critical patent/CN111417342A/zh
Application granted granted Critical
Publication of CN111417342B publication Critical patent/CN111417342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Psychiatry (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Neurology (AREA)
  • Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

脑网络的活动估计***(1)包括：获取从受验者(S)同时测量出的脑电波的测量数据(121)和功能性磁共振图像法的测量数据(122)的单元；单元(152)，其构建将脑电波的测量数据作为输入数据的特征估计模型(10)，并且决定用于规定该特征估计模型的参数；单元(154)，其基于在提供了脑电波的测量数据作为输入数据的情况下计算出的各模块的输出值，来计算每个模块的特征量；单元(158)，其基于功能性磁共振图像法的测量数据，来计算每个脑网络的图像特征量；以及单元(160)，其通过评价每个模块的特征量与每个脑网络的图像特征量之间的相关性，来决定多个模块中的表现特定的脑网络的活动的一个或多个模块。

Description

脑网络的活动估计***、方法和存储介质
技术领域
本发明涉及一种基于脑电波的测量数据来估计脑网络的活动的技术。
背景技术
以非侵入方式测量脑活动的方法大致分为功能性磁共振图像法(functionalMagnetic Resonance Imaging：fMRI)、近红外光谱测量(Near Infrared Spectroscopy：NIRS)之类的基于血流测量的方法、以及测量脑电图或脑电波图(Electroencephalogram：下面也简称为“EEG”。)、脑磁图(Magnetoencephalography：下面也简称为“MEG”。)的基于电磁场测量的方法这两种。为了便于说明，在本说明书中，将通过EEG测量和MEG测量而测量出的信号变化(时间波形)统称为“脑电波”。
这些测量方法中的EEG测量与其它的测量方法相比，在可移动性、便携性、价格、普及可能性等方面比较有利。提出了一种利用这样的EEG测量来决定脑内的模型的通用的机器学习方法(例如非专利文献1)。
另外，使用通过fMRI测量出的脑活动图案图像，来确认各种各样的脑网络的存在(例如非专利文献2)。
利用通过fMRI测量获取到的脑活动图案图像，能够直接观测脑网络的活动，另一方面，fMRI测量所需要的装置为大型，存在只能配置在有限的场所内并且受验者必须滞留在测量装置内之类的普及可能性等问题。
因此，提出了使用fMRI测量数据和EEG测量数据来估计脑网络的当前的活动那样的方法(例如专利文献1)。专利文献1公开使用了fMRI和EEG的同时测量数据的神经反馈***。
现有技术文献
专利文献
专利文献1：美国专利申请公开第2014/0148657号说明书
非专利文献
非专利文献1：Jun-ichiro Hirayama,Aapo Hyvarinen,Motoaki Kawanabe,“SPLICE：Fully Tractable Hierarchical Extension of ICA with Pooling(具有池的ICA的完全可扩展的层次扩展)”,Proceedings of the 34th InternationalConferenceon Machine Learning,PMLR 70:1491-1500,2017.
非专利文献2：B.T.T.Yeo,F.M.Krienen,J.Sepulcre,M.R.Sabuncu,D.Lashkari,M.Hollinshead,J.L.Roffman,J.W.Smoller,L.Zollei,J.R.Polimeni,et al.,“Theorganization of the human cerebral cortex estimated by functionalconnectivity(通过功能连通性估计的人类大脑皮层组织)”,J.Neurophysiol.,106(2011),pp.1125-1165
发明内容
发明要解决的问题
在如上所述的现有技术中，为了获取用于估计脑网络的活动的信息，需要对EEG测量结果进行逆问题分析。像这样的逆问题分析存在由于需要脑、头盖的形状信息和传感器的位置信息以获得高精度的结果因此通用性变低这样的问题，还存在运算处理量多并且计算的脑网络的活动的时间粒度不可避免地变大这样的问题。另外，在现有技术中，只能针对多个脑网络中的特定的一部分脑网络估计活动。
期望如下一种方法：能够使用通过EEG测量等比较简单的方法测量出的脑电波的信号，来比较高速地估计各种各样的脑网络的活动。
用于解决问题的方案
按照本发明的某个实施方式的脑网络的活动估计***包括：获取单元，其获取从受验者同时测量出的脑电波的测量数据和功能性磁共振图像法的测量数据；以及参数决定单元，其构建将脑电波的测量数据作为输入数据的特征估计模型，并且决定用于规定该特征估计模型的参数。特征估计模型包括表示脑内的信号源的多个元素以及分别与多个元素中的至少一部分元素结合的多个模块。脑网络的活动估计***还包括：第一特征量计算单元，其基于在提供了脑电波的测量数据作为输入数据的情况下计算出的各模块的输出值，来计算每个模块的特征量；第二特征量计算单元，其基于功能性磁共振图像法的测量数据，来计算每个脑网络的图像特征量；以及决定单元，其通过评价由第一特征量计算单元计算出的每个模块的特征量与由第二特征量计算单元计算出的每个脑网络的图像特征量之间的相关性，来决定多个模块中的表现特定的脑网络的活动的一个或多个模块。
在上述方式中，也可以为，脑网络的活动估计***还包括：第三特征量计算单元，其将从受验者测量出的脑电波的测量数据作为输入数据提供给特征估计模型，并且至少针对表现特定的脑网络的活动的一个或多个模块计算特征量；以及脑活动计算单元，其基于由第三特征量计算单元计算出的特征量，计算表示特定的脑网络的活动程度的值。
在上述方式中，也可以为，脑网络的活动估计***还包括反馈单元，所述反馈单元基于表示特定的脑网络的活动程度的值，来决定与受验者对应的动作的内容。
在上述方式中，也可以为，多个元素各自被计算为输入数据的线性组合。
在上述方式中，也可以为，输入数据是规定期间内的时间序列数据，第一特征量计算单元将各模块的规定期间内的特征量的时间序列数据在时间方向上进行汇总，作为每个模块的特征量进行输出。
在上述方式中，也可以为，参数决定单元以使在提供了脑电波的测量数据作为输入数据的情况下计算出的各元素的时间波形之间(短时间功率或振幅)产生强的相关性的方式决定用于规定特征估计模型的参数。
在上述方式中，也可以为，脑网络的活动估计***还具有存储单元，所述存储单元按受验者将用于规定特征估计模型的参数与表示表现特定的脑网络的活动的一个或多个模块的信息相关联地进行保存，并且响应于请求而输出与特定的受验者对应的参数及表示表现特定的脑网络的活动的一个或多个模块的信息。
按照本发明的另一实施方式的脑网络的活动估计方法包括以下步骤：获取从受验者同时测量出的脑电波的测量数据和功能性磁共振图像法的测量数据；以及参数步骤，构建将脑电波的测量数据作为输入数据的特征估计模型，并且决定用于规定该特征估计模型的参数。特征估计模型包括表示脑内的信号源的多个元素以及分别与多个元素中的至少一部分元素结合的多个模块。脑网络的活动估计方法包括以下步骤：基于在提供了脑电波的测量数据作为输入数据的情况下计算出的各模块的输出值，来计算每个模块的特征量；基于功能性磁共振图像法的测量数据，来计算每个脑网络的图像特征量；以及通过评价计算出的每个模块的特征量与计算出的每个脑网络的图像特征量之间的相关性，来决定多个模块中的表现特定的脑网络的活动的一个或多个模块。
按照本发明的又一实施方式的脑网络的活动估计程序使计算机执行以下步骤：获取从受验者同时测量出的脑电波的测量数据和功能性磁共振图像法的测量数据；以及参数步骤，构建将脑电波的测量数据作为输入数据的特征估计模型，并且决定用于规定该特征估计模型的参数。特征估计模型包括表示脑内的信号源的多个元素以及分别与多个元素中的至少一部分元素结合的多个模块。脑网络的活动估计程序使计算机还执行以下步骤：基于在提供了脑电波的测量数据作为输入数据的情况下计算出的各模块的输出值，来计算每个模块的特征量；基于功能性磁共振图像法的测量数据，来计算每个脑网络的图像特征量；以及通过评价计算出的每个模块的特征量与计算出的每个脑网络的图像特征量之间的相关性，来决定多个模块中的表现特定的脑网络的活动的一个或多个模块。
按照本发明的又一实施方式的脑网络的活动估计***包括：获取单元，其获取从受验者测量出的脑电波的测量数据；以及模型构建单元，其使用预先与受验者相关联地决定的参数，构建将脑电波的测量数据作为输入数据的特征估计模型。特征估计模型包括表示脑内的信号源的多个元素以及分别与多个元素中的至少一部分元素结合的多个模块。脑网络的活动估计***包括计算单元，所述计算单元基于预先与受验者相关联地决定的、表示多个模块中的表现特定的脑网络的活动的一个或多个模块的关联信息，将由获取单元获取到的脑电波的测量数据作为输入数据提供给特征估计模型，并且根据关于表现特定的脑网络的活动的一个或多个模块的特征量，计算表示该特定的脑网络的活动程度的值。以使在提供了脑电波的测量数据作为输入数据的情况下计算出的各元素的时间波形之间产生强的相关性的方式决定用于规定特征估计模型的参数。通过评价每个模块的特征量与每个脑网络的图像特征量之间的相关性来决定关联信息，所述每个模块的特征量是基于在将用于决定参数的脑电波的测量数据作为输入数据提供给特征估计模型的情况下产生的各模块的输出值而计算出的，所述每个脑网络的图像特征量是基于与用于决定参数的脑电波的测量数据同时地从受验者测量出的功能性磁共振图像法的测量数据而计算出的。
按照本发明的又一实施方式的脑网络的活动估计方法包括以下步骤：获取从受验者测量出的脑电波的测量数据；以及使用预先与受验者相关联地决定的参数，构建将脑电波的测量数据作为输入数据的特征估计模型。特征估计模型包括表示脑内的信号源的多个元素以及分别与多个元素中的至少一部分元素结合的多个模块。脑网络的活动估计方法包括以下步骤：基于预先与受验者相关联地决定的、用于确定多个模块中的表现特定的脑网络的活动的一个或多个模块的关联信息，将获取到的脑电波的测量数据作为输入数据提供给特征估计模型，并且根据关于表现特定的脑网络的活动的一个或多个模块的特征量，计算表示该特定的脑网络的活动程度的值。以使在提供了脑电波的测量数据作为输入数据的情况下计算出的各元素的时间波形之间产生强的相关性的方式决定用于规定特征估计模型的参数。通过评价每个模块的特征量与每个脑网络的图像特征量之间的相关性来决定关联信息，所述每个模块的特征量是基于在将用于决定参数的脑电波的测量数据作为输入数据提供给特征估计模型的情况下产生的各模块的输出值而计算出的，所述每个脑网络的图像特征量是基于与用于决定参数的脑电波的测量数据同时地从受验者测量出的功能性磁共振图像法的测量数据而计算出的。
按照本发明的又一实施方式的脑网络的活动估计程序使计算机执行以下步骤：获取从受验者测量出的脑电波的测量数据；以及使用预先与受验者相关联地决定的参数，构建将脑电波的测量数据作为输入数据的特征估计模型。特征估计模型包括表示脑内的信号源的多个元素以及分别与多个元素中的至少一部分元素结合的多个模块。脑网络的活动估计程序使计算机执行以下步骤：基于预先与受验者相关联地决定的、用于确定多个模块中的表现特定的脑网络的活动的一个或多个模块的关联信息，将获取到的脑电波的测量数据作为输入数据提供给特征估计模型，并且根据关于表现特定的脑网络的活动的一个或多个模块的特征量，计算表示该特定的脑网络的活动程度的值。以使在提供了脑电波的测量数据作为输入数据的情况下计算出的各元素的时间波形之间产生强的相关性的方式决定用于规定特征估计模型的参数。通过评价每个模块的特征量与每个脑网络的图像特征量之间的相关性来决定关联信息，所述每个模块的特征量是基于在将用于决定参数的脑电波的测量数据作为输入数据提供给特征估计模型的情况下产生的各模块的输出值而计算出的，所述每个脑网络的图像特征量是基于与用于决定参数的脑电波的测量数据同时地从受验者测量出的功能性磁共振图像法的测量数据而计算出的。
按照本发明的又一实施方式，提供一种已学习脑活动估计模型，其通过输入从受验者测量出的脑电波的测量数据，从而输出表示该受验者的特定的脑网络的活动程度的值。已学习脑活动估计模型包括：特征估计模型，其将脑电波的测量数据作为输入数据；以及关联信息。特征估计模型包括表示脑内的信号源的多个元素以及分别与多个元素中的至少一部分元素结合的多个模块，多个元素各自被规定为与脑电波的测量数据的各维对应的值的线性组合。关联信息包含预先与受验者相关联地决定的、用于确定多个模块中的表现特定的脑网络的活动的一个或多个模块的参数。在用于构建已学习脑活动估计模型的学习工序中，使计算机执行以下步骤：获取从受验者同时测量出的脑电波的测量数据和功能性磁共振图像法的测量数据；以使在将脑电波的测量数据作为输入数据提供给特征估计模型的情况下计算出的各元素的时间波形之间产生强的相关性的方式决定用于规定特征估计模型的参数；基于在将脑电波的测量数据作为输入数据提供给按照所决定的参数构建出的特征估计模型的情况下计算出的各模块的输出值，来计算每个模块的特征量；基于功能性磁共振图像法的测量数据，来计算每个脑网络的图像特征量；以及通过评价计算出的每个模块的特征量与计算出的每个脑网络的图像特征量之间的相关性，来决定关联信息。
发明的效果
根据本发明的某个实施方式，能够使用通过EEG测量等比较简单的方法测量出的脑电波的信号，来比较高速地估计各种各样的脑网络的活动。
附图说明
图1是示出本实施方式的脑网络的活动估计方法的概要的示意图。
图2是示出本实施方式的脑网络的活动估计***的概要的示意图。
图3是示出构成本实施方式的活动估计***的处理装置的装置结构的示意图。
图4是用于说明本实施方式的活动估计***中的模块估计的原理的示意图。
图5是用于说明图4所示的假定下的参数决定的过程的示意图。
图6是示出将本实施方式的活动估计***所使用的EEG测量数据设为输入的特征估计模型的一例的示意图。
图7是用于说明根据本实施方式的活动估计***中的EEG测量数据计算特征量的整体处理的示意图。
图8是示出公知的脑网络的分类例的示意图。
图9是示出本实施方式的特征估计模型的各元素的大小的一例的图。
图10是用于说明本实施方式的活动估计***中的相关性评价的处理过程的示意图。
图11是表示针对默认模式网络(DMN)示出相对强的相关性的测量结果的图。
图12是表示针对默认模式网络(DMN)的一个子网络示出相对强的相关性的测量结果的图。
图13是表示针对控制网络(CON)示出相对强的相关性的测量结果的图。
图14是表示针对控制网络(CON)示出相对强的相关性的另一测量结果的图。
图15是表示针对背侧注意网络(DAN)示出相对强的相关性的测量结果的图。
图16是表示针对背侧注意网络(DAN)示出相对强的相关性的另一测量结果的图。
图17是示出关于其它模块的测量结果的图。
图18是示出本实施方式的活动估计***的处理装置的功能结构例的示意图。
图19是示出本实施方式的脑网络的活动估计方法的处理过程的流程图。
图20是用于说明本实施方式的神经反馈的实现例的示意图。
图21是用于说明将本实施方式的活动估计***进行网络化的实现例的示意图。
图22是示出本实施方式的活动估计***的处理装置的功能结构例的示意图。
图23是示出通过本实施方式的活动估计***中的学习工序获取的脑活动估计器的示意图。
图24是示出本实施方式的脑网络的另一活动估计方法的处理过程的流程图。
具体实施方式
参照附图详细地说明本发明的实施方式。此外，对图中的相同或相当的部分标注相同的标记，不重复对其说明。
[A.概要]
首先，对本实施方式的脑网络的活动估计方法的概要进行说明。图1是示出本实施方式的脑网络的活动估计方法的概要的示意图。
参照图1，在本实施方式的脑网络的活动估计方法中，首先，针对同一受验者同时测量脑电波和功能性磁共振图像法(functional Magnetic Resonance Imaging)(下面也简称为“fMRI”。)((1)EEG/fMRI同时测量)。通过EEG测量得到的数据(下面也称为“EEG测量数据”。)和通过fMRI测量得到的数据(下面也称为“fMRI测量数据”。)表示同一受验者的同一脑活动。
本实施方式中的EEG测量数据是由配置于受验者的头部的各传感器测量出的信号组，反映出各传感器被配置的位置附近的脑活动。各传感器也被称为通道，EEG测量数据相当于多通道的脑电波数据。典型地说，各传感器由一对电极构成。
接着，根据EEG测量数据来对模块(网络)进行估计((2)模块估计)。模块中包含的信息包含特征量，该特征量表示在受验者的脑内设定的相关性强的信号源组的活动。即，通过模块化而估计出的特征量能够表现脑网络。如后文所述，估计出的特征量具有非线性。
各模块被估计为从EEG测量数据的多个通道受到影响的模块。基本上，各模块更强烈地受到由脑内的对应的信号源附近的传感器得到的EEG测量数据的影响。
并且，还针对与一个或多个模块关联的一个或多个上位因子进行估计。上位因子反映出将多个模块集合所得到的活动。
另外，根据fMRI测量数据来估计脑网络的活动((3)脑网络活动估计)。
脑网络也被称为静息时网络，是由于属于单个脑区域的信号源引起的、或者由于属于在空间上分离的多个脑区域的信号源进行协作引起的具有特征的脑活动图案的统称。脑网络主要是使用静息时fMRI来定义的。对于代表性的脑网络，存在默认模式网络(Default Mode Network，DMN)、背侧注意网络(Dorsal Attention Network)等。例如，当要求一些功能时，并非只有属于特定的脑区域的信号源激活，有时属于多个脑区域的信号源也相协作地激活。与像这样的各功能相应地示出属于一个或多个脑区域的信号源的活动的图案就是脑网络。此外，在着眼于单个脑区域的情况下，大多也简单地称为(功能性)关心区域，但是本说明书中的“脑网络”是包含着眼于单个脑区域的情况和着眼于在空间上分离的多个脑区域的情况这两方的概念。
各个脑网络位于与一个或多个信号源所关联的模块相同的层。
如上所述，EEG测量数据和fMRI测量数据是从同一受验者同时获取到的测量结果，因此各个测量数据理应反映出相同的脑网络。利用这种现有知识，对估计出的模块和/或上位因子与估计出的脑网络的关联性进行评价((4)相关性评价)。而且，将上位因子、以及与该上位因子相关联的一个或多个模块中的与估计出的脑网络具有相对强的相关性的模块决定为表现该脑网络的活动的候选((5)确定表现脑网络的活动的模块)。
通过以上那样的处理过程，能够决定表现脑网络的活动的模块和/或上位因子。为了便于说明，在下面的说明中，主要说明对表现脑网络的活动的模块进行估计的处理，但是也可以不仅对模块进行估计，还对表现脑网络的活动的上位因子进行估计。
在本实施方式的脑网络的活动估计方法中，不限于因脑电活动而产生的电压的测量值即EEG，也能够使用因脑电活动而产生的变动磁场的测量值即脑磁图(Magnetoencephalography：MEG)。
如上所述，在本说明书中，“脑电波”是对通过EEG测量和MEG测量而测量出的信号变化(时间波形)进行统称的术语。为了便于说明，在下面的说明中，主要说明使用EEG测量数据的例子。
[B.活动估计***的概要]
接着，对用于实现本实施方式的脑网络的活动估计方法的活动估计***的概要进行说明。
图2是示出本实施方式的脑网络的活动估计***1的概要的示意图。参照图2，活动估计***1包括处理装置100、EEG测量装置200以及fMRI测量装置300。
如后述那样，处理装置100接受由EEG测量装置200测量出的EEG测量数据和由fMRI测量装置300测量出的fMRI测量数据，输出用于确定表现特定的脑网络的活动的一个或多个模块的关联信息。像这样，处理装置100获取从受验者同时测量出的脑电波的测量数据(EEG测量数据)和功能性磁共振图像法的测量数据(fMRI测量数据)。
EEG测量装置200对表示配置于受验者S的头部的多个传感器220所产生的脑电波的信号(电信号)进行检测。EEG测量装置200包括多路复用器202、噪声滤波器204、A/D(Analog to Digital：模拟/数字)转换器206、存储部208以及接口210。
多路复用器202依次选择与多个传感器220分别连接的线缆222中的一组线缆，并且与噪声滤波器204电连接。噪声滤波器204是高频截止滤波器等去除噪声的滤波器，用于去除与被选择的通道对应的一组线缆间产生的表示脑电波的信号(电信号)中所包含的噪声成分。
A/D转换器206按规定周期对从噪声滤波器204输出的电信号(模拟信号)进行采样，作为数字信号进行输出。存储部208将从A/D转换器206输出的时间序列数据(数字信号)与被选择的通道及表示定时的信息(例如时刻或计数器值)相关联地依次进行保存。
接口210根据来自处理装置100等的访问，将存储部208中保存的表示脑电波的时间序列数据输出到处理装置100。
另一方面，fMRI测量装置300通过向希望获取受验者S的脑活动的信息的区域(下面也称为“关心区域”。)施加共振频率的高频电磁场，来检测由于共振而从特定的原子核(例如氢原子核)产生的电磁波，由此测量脑活动。
fMRI测量装置300包括磁场施加机构310、接收线圈302、驱动部320以及数据处理部350。
磁场施加机构310对受验者S的关心区域施加受到控制的磁场(静磁场和倾斜磁场)，并且照射RF(Radio Frequency：射频)脉冲。更具体地说，磁场施加机构310包括静磁场产生线圈312、倾斜磁场产生线圈314、RF照射部316以及将受验者S置于腔(bore)内的卧具318。
驱动部320与磁场施加机构310连接，用于控制对受验者S施加的磁场和RF脉冲波的发送接收。更具体地说，驱动部320包括静磁场电源322、倾斜磁场电源324、信号发送部326、信号接收部328以及卧具驱动部330。
在图2中，将圆筒形状的腔的中心轴定义为Z轴，将与Z轴正交的水平方向及铅直方向分别定义为X轴和Y轴，其中，受验者S被置于该圆筒形状的腔内。
静磁场产生线圈312从绕Z轴卷绕的螺旋线圈在腔内产生Z轴方向的静磁场。倾斜磁场产生线圈314包括向腔内分别产生X轴方向、Y轴方向、Z轴方向的倾斜磁场的X线圈、Y线圈、Z线圈(未图示)。RF照射部316基于按照控制序列从信号发送部326发送的高频信号，来向受验者S的关心区域照射RF脉冲。在图2中，例示RF照射部316被内置于磁场施加机构310的结构，但是也可以将RF照射部316设置于卧具318侧，还可以将RF照射部316与接收线圈302进行一体化。
接收线圈302接收从受验者S释放出的电磁波(NMR信号)，并输出模拟信号。从接收线圈302输出的模拟信号在信号接收部328中被进行放大和A/D转换之后，被输出到数据处理部350。接收线圈302优选为与受验者S接近地配置，使得能够高灵敏度地检测NMR信号。
数据处理部350设定针对驱动部320的控制序列，并且根据由接收线圈302接收到的NMR信号，输出表示脑内的活跃度的多个脑活动图案图像来作为表示脑活动的信息。
数据处理部350包括控制部351、输入部352、显示部353、存储部354、图像处理部356、数据收集部357以及接口358。作为数据处理部350，既可以是专用的计算机，也可以是通过执行存储部354等中保存的控制程序而实现规定处理的通用计算机。
控制部351对产生用于使驱动部320进行驱动的控制序列等各功能部的动作进行控制。输入部352从未图示的操作者接受各种操作、信息输入。显示部353对与受验者S的关心区域有关的各种图像和各种信息进行画面显示。存储部354保存用于执行与fMRI测量有关的处理的控制程序、参数、图像数据(三维模型像等)、其它的电子数据等。图像处理部356基于所检测出的NMR信号的数据，生成多个脑活动图案图像。接口358与驱动部320之间交换各种信号。数据收集部357收集由源自关心区域的一组NMR信号构成的数据。
图3是示出构成本实施方式的活动估计***1的处理装置100的装置结构的示意图。典型的是，处理装置100能够采用按照通用的体系结构(architecture)的计算机。参照图3，处理装置100包括处理器102、主存储部104、控制接口106、网络接口108、输入部110、显示部112以及二次存储部120来作为主要的组件。
处理器102由CPU(Central Processing Unit：中央处理单元)、GPU(GraphicalProcessing Unit：图形处理单元)之类的运算处理电路构成，通过按指定的顺序执行保存于二次存储部120的各种程序中包含的代码，从而实现后述的各种功能。主存储部104由DRAM(Dynamic Random Access Memory：动态随机存取存储器)等构成，用于保持由处理器102执行的程序的代码、执行程序所需要的各种工作数据。
处理装置100具有通信功能，该通信功能主要通过控制接口106和网络接口108来提供。
控制接口106与fMRI测量装置300的数据处理部350之间交换数据。网络接口108与外部装置(例如云端上的数据服务器装置等)之间交换数据。控制接口106和网络接口108通过有线LAN(Local Area Network：局域网)、无线LAN、USB(Universal Serial Bus：通用串行总线)、Bluetooth(注册商标)等任意的通信组件构成。
典型的是，输入部110由鼠标或键盘等构成，受理来自用户的操作。典型的是，显示部112由显示器等构成，向用户通知处理装置100中的处理的执行状态、与操作有关的各种信息。
典型的是，二次存储部120由硬盘或SSD(Solid State Drive：固态驱动器)等构成，用于保持由处理器102执行的各种程序、处理所需要的各种数据、设定值等。更具体地说，二次存储部120保存EEG测量数据121、fMRI测量数据122、模块估计程序123、脑网络活动估计程序124、评价程序125、生成模型参数170以及关联信息180。
[C.EEG/fMRI同时测量]
首先，对图1所示的“(1)EEG/fMRI同时测量”进行说明。利用图2所示的活动估计***1，受验者S以在头部佩戴有传感器的状态被置于fMRI测量装置300的腔内，被并行地执行EEG测量和fMRI测量。
处理装置100以通用的时刻为基准将来自EEG测量装置200和fMRI测量装置300的测量数据相互对应地进行保存。通过基于这样的通用的时刻进行测量数据的对应，能够获取使时间轴通用的EEG测量数据和fMRI测量数据。使用这两种测量数据来评价两者的相关性。
[D.模块估计]
接着，对图1所示的“(2)模块估计”进行说明。在下面的说明中，对模块估计处理的概要进行说明，关于更详细的处理过程等，请参照“Jun-ichiro Hirayama,AapoHyvarinen,Motoaki Kawanabe,‘SPLICE：Fully Tractable Hierarchical Extension ofICA with Pooling’,Proceedings of the 34th International Conference on MachineLearning,PMLR 70:1491-1500,2017.”(非专利文献1)等。
(d1：原理的说明)
首先，进行本实施方式的活动估计***1中的模块估计的原理的说明。图4是用于说明本实施方式的活动估计***1中的模块估计的原理的示意图。图5是用于说明图4所示的假定下的参数决定的过程的示意图。
参照图4，假定在脑内存在与脑活动相应地激活的多个信号源(下面还仅称为“源端(source)”。)。在此，EEG测量数据的各通道的时间波形作为所假定的多个源端的时间波形的合计而被求出。即，所假定的多个源端被假定为用于决定所测量的EEG测量数据的各通道的时间波形的元素。
当观察适当的频带时，报告有像这样的源端的时间信号的短时间功率(及包络线)分别与依赖于血中氧浓度的时间信号(下面也称为“BOLD信号”。)的短时间功率(及包络线)具有强的相关性。源端的时间信号的短时间功率(及包络线)表示源端活动度，该源端活动度表示源端的活动程度。作为像这样的源端活动度，也能够使用源端的时间信号的振幅。
根据定义，在同一网络内，BOLD信号间具有强的相关性。因此，能够假定为，当假定BOLD信号与各源端活动度的时间信号之间具有强的相关性时，属于同一网络的源端活动度的时间信号间也具有强的相关性。
如图5所示，引入根据多个通道的EEG测量数据计算各源端的时间波形的空间滤波器。引入的空间滤波器为将EEG测量数据与各源端的时间波形进行对应的映射矩阵。在本实施方式中，作为一例，设为EEG测量数据与各源端的时间波形之间为线性组合。
在上述那样的假定下，通过采用表现多个通道的EEG测量数据的概率分布的生成模型(图1)，使生成模型中包含的参数递归地变动，由此搜索所计算出的源端活动度的时间波形间相关性高的组合。在后面记述像这样的生成模型的详细内容。
图5所示的空间滤波器实际被定义为生成模型中包含的参数矩阵的逆矩阵的各行，使用这些空间滤波器来进行各源端活动度的计算。另外，将相关性高的源端的组合称为“模块”，将使用空间滤波器和模块根据EEG测量数据对源端和能够表现网络的活动度的特征量进行计算的模型称为“特征估计模型10”。特征估计模型10也可以还计算表现上位因子的活动度的特征量。
更具体地说，活动估计***1在提供了脑电波的测量数据(EEG测量数据)作为输入数据的情况下，以很好地再现测量数据的概率分布的方式估计用于规定生成模型的参数。由于生成模型假定源端活动度的时间信号间具有强的相关性，因此这样的估计具有与以使在计算出的各元素的时间波形间产生强的相关性的方式决定参数同样的含义。
由于特征估计模型10的参数与生成模型的参数是通用的，因此通过像这样的生成模型的参数估计处理，能够决定或估计用于规定特征估计模型10的参数。像这样，活动估计***1具有以下的参数决定功能：构建将脑电波的测量数据(EEG测量数据)设为输入数据的特征估计模型10，并且决定用于规定特征估计模型10的参数。
根据本实施方式的参数的估计方法，即使不存在原本的作为教师数据的BOLD信号，通过假定多个源端并应用递归处理，由此能够决定用于规定EEG测量数据与源端及模块的关系的特征估计模型10。
(d2：特征估计模型10)
接着，对在本实施方式的活动估计***1中使用的特征估计模型10进行说明。图6是示出将本实施方式的活动估计***1所使用的EEG测量数据设为输入的特征估计模型10的一例的示意图。在图6中示出特征估计模型10的最小结构的一例。
参照图6，在本实施方式中，假定由第一层和第二层构成的特征估计模型10。假定在第一层存在与EEG测量数据12的通道数相同数量的源端14。从第一层输出多个模块16的特征量。
将作为特征估计模型10的输入的已进行前处理的EEG测量数据12统称为n个输入向量xt(t＝1、2、···、n)。在输入向量xt的各个输入向量中保存作为实数或虚数的向量d的元素xit。各输入向量xt的元素设为源端向量st的线性组合。源端向量st的数量设为与输入向量xt的数量相同。像这样，特征估计模型10包括表示脑内的信号源的多个元素(源端14)以及分别与多个元素中的至少一部分元素结合的多个模块16。在第二层存在与多个模块16结合的多个上位因子18。
多个源端14与输入向量xt之间可以是任意的结合方式。但是，通过将多个源端14与输入向量xt之间设为线性组合，由此能够使如后述那样的用于规定特征估计模型10的参数的参数估计处理简单化。即，多个元素(源端14)中的各个元素也可以被计算为输入数据的线性组合。
在本实施方式的模块估计中，采用与独立子空间分析(Independent SubspaceAnalysis：ISA)类似的方法。在下面的说明中，设为输入向量xt和源端向量st是独立同分布(independently and identically distributed：IID)。能够省略下角标t，使用系数矩阵A(即，混合矩阵)来如下面的式(1)那样表示输入向量x与源端向量s之间的关系。
x＝As…(1)
系数矩阵A是方块矩阵，并且是可逆矩阵，因此作为系数矩阵A的逆矩阵的矩阵W(≡A-1)相当于解混矩阵。
在下面的说明中，设为通过减去原始数据向量的平均值，从而输入向量x和源端向量s的平均都为零。即使使用像这样的平均为零的向量，也不会失去一般性。
将第一层的源端14分割为互不重叠的m个组。设为将由第j个组(1≤j≤m)的dj的源端构成的向量表示为源端向量s[j]。在此，源端向量s[j]表示原始数据空间中的、乘以系数矩阵A的对应的列所得到的dj维的子空间。
在本实施方式所涉及的特征估计模型10中，m个源端向量s[j]在“功率(powers)”或“能量(energies)”上彼此存在依赖关系。像这样的“功率”或“能量”能够定量化为作为L2范数(即，平方和)的||s[j]||2。这样的依赖关系通过使用处于第二层的另一个源端的线性组合来被模型化。在这样的模型中，不产生分形维数的非线性。具体地说，L2范数能够如下面的式(2)那样表示(其中，j＝1、2、…、m)。
||s[j]||2＝Fj -1([A’s’]j)…(2)
在此，单调映射函数Fj通过反函数Fj -1将(非负的)平方和映射为实值。A’和s’是第二层的可逆的耦合矩阵和源端向量。作为系数矩阵A’的逆矩阵的矩阵W’(≡A’-1)相当于解混矩阵。另外，下角标j是指向量的第j个元素。
即，在第二层，与模块16对应的向量x’＝A’s’。
为了便于说明，通过针对所有的源端向量s[j]导入如下面的式(3)那样的归一化向量，由此规定具有第一层和第二层的特征估计模型10。
u[j]＝s[j]/||s[j]||…(3)
归一化向量u[j]设为关于所有的j都独立于其它的随机变量，且在单位超球面内均匀地分布。
(d3：参数决定)
在本实施方式中，通过对关于表示EEG测量数据12的输入向量x的概率密度函数(Probability Density Function：PDF)应用最大似然估计，来决定用于规定特征估计模型10的参数。
在本实施方式的特征估计模型10中，关于输入向量x的概率密度函数p(x)能够如下面的式(4)那样进行一般化。
[数1]
Figure GDA0004094048040000181
其中，
Hk(s′k)＝-ln p(s′k)
Gj(q)＝-ln|fj(q)|-lnkj(q)
在此，Hk是指与任意选择的非高斯分布的事先假定对应的固定的函数。另外，在式(4)中，W[j]是指仅由矩阵W的dj列的元素构成的子矩阵，能够通过源端向量s[j]＝W[j]X来计算。
在对上述的概率密度函数p(x)应用最大似然估计时，能够在与似然度的最大化对应的极限内应用任意的损失函数。在本实施方式中，作为损失函数L，采用将概率密度函数p(x)进行对数化所得到的L＝-lnp(x)+const.。
在本实施方式中，采用池化(pooling处理(即，关于时间的平均化处理)。在采用池化处理时，以预先决定的期间(采样周期的整数倍)为处理单位来进行参数的估计和特征量的计算。在下面的说明中，将时间序列数据按规定时间划分得到的单位也称为“历元(epoch)”。
更具体地说，关于本实施方式的由两个层构成的特征估计模型10的损失函数L(l)能够如下面的式(5)那样表示。在式(5)中，l是用于确定历元的变量。下面的式(5)是通过向上述的式(4)导入各历元的时间单位而计算出的。
[数2]
Figure GDA0004094048040000191
通过递归处理，将T个输入向量x1、x2、···、xT以历元为单位输入到损失函数L(l)，由此针对所有历元计算关于各历元的损失(l)。然后，以使在历元之间取得算术平均所得到的值(即，负的对数似然度)最小化的方式决定参数(系数矩阵A(≡W-1)和系数矩阵A’(≡W’-1))。
本实施方式的特征估计模型10由于假定m个模块的各模块内的源端活动度具有强的相关性的模型，因此作为最大似然估计的结果，在各模块内获得与假定一致那样的相关性强的源端的组合。
像这样，能够通过无监督学习来实现用于估计用于规定本实施方式的特征估计模型10的参数的机器学习。
(d4：模块特征量的计算处理)
接着，对使用通过上述那样的过程决定的参数根据EEG测量计算能够表现脑网络的活动的非线性的特征量的整体处理进行说明。
图7是用于说明根据本实施方式的活动估计***1中的EEG测量数据计算特征量的整体处理的示意图。参照图7，首先，针对通过EEG测量获取到的EEG测量数据执行前处理，来生成源端向量((1)前处理)。在前处理中包含利用伪像去除、频率滤波以及主成分分析(Principal Component Analysis：PCA)进行的低维化等标准处理。
被输入的EEG测量数据(原始数据)包含与通道数相应的时间序列数据。作为图7所示的向量表现，也可以使用由与通道数相同数量的行及与各时间序列数据的采样数相同数量的列构成的输入向量。但是，从降低处理负荷的观点出发，也可以将所测量出的原始数据进行低维化。在后述的评价例中，根据63个通道的EEG测量数据生成48维的输入向量。
像这样，对特征估计模型10提供由与通道数相同数量或其以下数量的通道的规定期间的时间序列数据构成的输入数据。针对通过这样的标准处理得到的输入数据应用线性空间滤波器。空间滤波器通过对输入数据的各个元素加权相加，来计算源端向量的各元素。
像这样，作为前处理，也可以使用包含用于低维化的主成分分析(PrincipalComponent Analysis：PCA)的线性空间滤波器等来实现。
在本实施方式中，设为从输入向量向源端向量的映射是线性组合，输入向量与源端向量设为行数和列数均相同。但是，并不限于此，也可以使输入向量与源端向量之间的矩阵大小不同。
接着，源端向量分割为m个模块(网络)((2)分割为m个模块)。在根据作为输入数据的EEG测量数据生成m个模块的处理中，使用按照如上所述的处理过程决定的参数(系数矩阵A(≡W-1))。
针对m个模块中的各个模块，计算与各时间对应的关于一个或多个元素的平方和((3)计算平方和)。计算出的各个平方和相当于各采用区间内的各模块的功率。
其结果为，计算出以每个模块的平方和为各时间的元素的平方和向量。即，生成以平方和为元素的m行×T列的向量。
并且，将所生成的平方和的向量在时间方向上分割为l个历元((4)沿时间方向分割为l个历元)。接着，将在各历元内对平方和(功率)进行池化处理(即，关于时间的平均化处理)所得到的结果(平均值)作为与各历元对应的时间区间的各模块的特征量(功率或活动度)进行输出((5)计算各历元内的功率的平均值)。即，分别计算将时间T进行l等分所得到的每个历元的功率的平均值。其结果为，生成以各历元的功率的平均值为元素的m行×l列的向量来作为特征量。此外，也可以输出将m行×l列的向量中包含的元素进行对数化所得到的元素来作为特征量。
像这样，将各模块的规定期间内的特征量的时间序列数据在时间方向上进行汇总，作为每个模块的特征量进行输出。
通过图7所示的一系列的处理，按与作为输入数据而提供的EEG测量数据中包含的各历元相当的时间计算特征量。像这样的一系列的特征量的计算处理被重复进行(被递归地执行)与EEG测量数据的长度相应的量。通过以上那样的处理过程计算出的特征量相当于图4所示的各模块的特征量。在下面的过程中，使用各模块的特征量。
像这样，活动估计***1具有如下的特征量计算功能：基于在提供了脑电波的测量数据(EEG测量数据)作为输入数据的情况下计算出的各模块的输出值，来计算每个模块的特征量。
[E.脑网络的活动估计]
接着，对图1所示的“(3)脑网络的活动估计”进行说明。
图8是示出公知的脑网络的分类例的示意图。图8所示的分类例是按照“B.T.T.Yeo,F.M.Krienen,J.Sepulcre,M.R.Sabuncu,D.Lashkari,M.Hollinshead,J.L.Roffman,J.W.Smoller,L.Zollei,J.R.Polimeni,et al.,‘The organization of thehuman cerebral cortex estimated by functional connectivity’,J.Neurophysiol.,106(2011),pp.1125-1165”(非专利文献2)所记载的内容的例子。
参照图8，作为fMRI的功能性的关心区域(Region Of Interest：ROI)(即，脑网络)的分类例，已知有如下面那样的7个网络估计。
具体地说，作为静息状态脑网络(resting state network：RSN)，由(a)控制网络(Control network：CON)、(b)背侧注意网络(Dorsal attentionnet work：DAN)、(c)默认模式网络(Default mode network：DMN)、(d)大脑边缘***(LIM)、(e)躯体运动网络(Somatomotor network：SMN)、(f)腹侧注意网络(Ventral attention network：VAN)以及(g)视觉网络(Visual network：VIS)这7种构成。
此外，(a)控制网络(Control network：CON)有时也被称为额顶网络(FrontalParietal network)，(f)腹侧注意网络(Ventral attention network：VAN)有时也被称为显著性网络(Saliency Network)。
图8所示的7个RSN被进一步分割为几个子网络。关于(a)控制网络(Controlnetwork：CON)，被分割为三个子网络，关于(c)默认模式网络(Default mode network：DMN)，被分割为四个子网络，关于除此以外的各网络，均被分割为两个子网络。其结果为，作为fMRI的功能性的关心区域，设定合计17个子网络。
关于各个fMRI测量数据(即，脑活动图案图像)，设为与如上述那样的17个ROI分别对应的特征量。像这样，在本实施方式中，按在输出的脑活动图案图像中设定的17个ROI，输出图像特征量来作为表示脑网络的活动的信息。
像这样，活动估计***1具有基于功能性磁共振图像法的测量数据(fMRI测量数据)来计算每个脑网络的图像特征量的特征量计算功能。
此外，在上述的说明中，示出针对非专利文献2所记载的网络和子网络计算特征量的例子。然而，在当前时间点，并未完全建立脑网络的定义，也可以按照其它的网络或其它的功能性ROI的定义来计算特征量。
[F.相关性评价]
接着，对图1所示的“(4)相关性评价”进行说明。在该相关性评价中，对构成特征估计模型10的各模块(网络)与静息状态脑网络(RSN)的相关性进行评价。
图9是示出本实施方式的特征估计模型10的各元素的大小的一例的图。参照图9，作为输入数据的EEG测量数据(输入向量x)设为48维(48个向量)，设定与输入向量x相同维数(48维)的源端向量s。与源端向量s相关联的模块(网络)及与模块相关联的上位层均设为20维(20个向量)。
此外，特征估计模型10的模块的数量可以通过基于似然度的留一法交叉认证(Leave-one-session-out Cross-Validation)来事先决定。
图10是用于说明本实施方式的活动估计***1中的相关性评价的处理过程的示意图。参照图10，作为一例，设为各通道的EEG测量数据的采样周期为2msec(采样频率：500Hz)。针对像这样的EEG测量数据，进行利用伪像去除、频率滤波以及主成分分析的低维化之类的标准的前处理之后，进行如上述那样的特征估计模型10的参数的决定处理。
例如，按每10个采样(20msec的时间窗)设定一个历元。通过使用如上述的式(5)所示那样的针对导入了关于时间的池化处理的特征估计模型10的损失Lepoch进行最大似然估计来决定参数。然后，按照所决定的参数，计算特征估计模型10的各模块(网络)的特征量即源端向量s的功率||s[j]||2，将在各历元内在时间方向上进行平均化所得到的特征量作为各模块的特征量(功率或活动度)进行输出。
当将上述的图7所示的各历元中的每一个历元的采样数设为“10”时，每隔200msec(采样频率：5Hz)计算最终的源端向量s的功率||s[j]||2(沿时间方向进行平均化后)。
使用针对计算出的源端向量s的功率的时间序列数据应用(即，卷积积分)血液动态反应函数(hemodynamic response function：HRF)所得到的结果，来评价与RSN的对应关系。针对构成特征估计模型10的每个模块(网络)计算像这样的源端向量s的功率。
fMRI测量数据使用了将针对各受验者在睁开眼睛的状态下进行8个会话(每1个会话5分钟以下)所得到的结果相结合所得到的数据。此时，RF脉冲的照射周期(time torepeat：TR(重复时间))设为2.45秒，在会话间对整体功率进行了标准化。另外，在EEG测量中应用了8Hz-12Hz的滤波器(α波模式)。
对通过以上那样的过程准备的各个模块(网络)所表示的特征量的时间序列数据与各个RSN之间的相关性进行评价。即，活动估计***1具有如下的决定功能：通过对计算出的特征估计模型10的每个模块(网络)的特征量与计算出的每个脑网络的图像特征量之间的相关性进行评价，来决定多个模块(网络)中的表现特定的脑网络的活动的一个或多个模块。
[G.确定表现脑网络的活动的模块]
接着，关于图1所示的“(5)确定表现脑网络的活动的模块”，对评价例进行说明。在模块的确定处理中，关于各RSN，评价与构成特征估计模型10的多个模块(在上述的例子中为20个模块)中的哪一个模块的相关性强。换言之，确定关注构成特征估计模型10的多个模块中的哪一个模块的话能够估计各RSN的值。
只要能够确定像这样的各RSN与哪个模块进行关联，则能够根据与fMRI相比容易测量的EEG测量数据来估计各RSN的活动度，例如能够应用于神经反馈等。
在下面的说明中，为了方便，对图9所示的构成特征估计模型10的20个模块(网络)赋予#1～#20的编号，从而对各个模块进行确定。
(g1：测量例1(DMN))
在上述那样的本测量例中，两个模块针对默认模式网络(DMN)示出相对强的相关性。
图11是表示针对默认模式网络(DMN)示出相对强的相关性的测量结果的图。图11的(a)示出与默认模式网络(DMN)及腹侧注意网络(VAN)激活的状态对应的脑活动图案图像的一例。图11的(b)示出关于模块#15的相关性评价的一例。
图11的(b)所示的相关性评价的横轴与在脑活动图案图像中设定的17个ROI对应，纵轴与相关值对应。另外，对于相关有意义的ROI(在本相关性评价中，排序检验和多重比较校正后的p值小于0.05的ROI)，附加了“*”。另外，在相关性评价的图表中，有时一并示出所计算出的相关值。下面的相关性评价的结果例也是同样的。
如图11所示，可知：模块#15针对DMN示出相对强的负相关，并且针对VAN示出相对强的正相关。其结果，示出了能够通过关注模块#15所表示的特征量来估计DMN和VAN的活跃度。
图12是表示针对默认模式网络(DMN)的一个子网络示出相对强的相关性的测量结果的图。图12的(a)示出与默认模式网络(DMN)激活的状态对应的脑活动图案图像的一例。图12的(b)示出关于模块#18的相关性评价的一例。
如图12所示，可知模块#18针对DMN中的一个子网络示出相对强的正相关。其结果，示出模块#18所表示的特征量有助于DMN的活跃度的估计。
(g2：测量例2(CON))
在本测量例中，三个模块针对控制网络(CON)示出相对强的相关性。
图13是表示针对控制网络(CON)示出相对强的相关性的测量结果的图。图13的(a)示出与控制网络(CON)激活的状态对应的脑活动图案图像的一例。图13的(b)示出关于模块#3的相关性评价的一例。
如图13所示，可知：模块#3针对CON中的一个子网络(后扣带回皮质+楔前叶(PCC+Precuneus))示出相对强的正相关。
图14是表示针对控制网络(CON)示出相对强的相关性的另一测量结果的图。图14的(a)示出与控制网络(CON)激活的状态对应的脑活动图案图像的一例。图14的(b)示出关于模块#20的相关性评价的一例。
如图14所示，可知：关于模块#20，也针对CON中的一个子网络(后扣带回皮质+楔前叶(PCC+Precuneus))示出相对强的正相关。
另外，还可知：关于上述的图12所示的模块#18，也针对CON中的一个子网络(后扣带回皮质+楔前叶(PCC+Precuneus))示出相对强的正相关。
还可知：模块#3、#18、#20各自针对背侧注意网络(DAN)和躯体运动网络(SMN)示出相对强的负相关。
以上那样的结果示出，模块#3、#18、#20所表示的特征量有助于CON的活跃度、DAN的活跃度以及SMN的活跃度的估计。
(g3：测量例3(DAN))
在本测量例中，三个模块针对背侧注意网络(DAN)示出相对强的相关性。
图15是表示针对背侧注意网络(DAN)示出相对强的相关性的测量结果的图。图15的(a)示出与背侧注意网络(DAN)激活的状态对应的脑活动图案图像的一例。图15的(b)示出关于模块#7的相关性评价的一例。
如图15所示，可知模块#7针对DAN中的一个子网络示出相对强的正相关。
图16是表示针对背侧注意网络(DAN)示出相对强的相关性的另一测量结果的图。图16的(a)示出与背侧注意网络(DAN)激活的状态对应的脑活动图案图像的一例。图16的(b)示出关于模块#9的相关性评价的一例。
如图16所示，可知模块#9针对DAN中的一个子网络示出相对强的正相关。
还可知：模块#7和#9针对躯体运动网络(SMN)示出相对强的相关(正或负)。
以上那样的结果示出了模块#7和#9所表示的特征量有助于DAN的活跃度和SMN的活跃度的估计。
(g4：测量例4(SMN/VIS/LIM))
在本测量例中，几个其它模块针对躯体运动网络(SMN)、大脑边缘***(LIM)和/或视觉网络(VIS)示出相对强的相关性。图17是示出关于其它模块的测量结果的图。
图17的(a)示出关于模块#6的相关性评价的一例，如图17的(a)所示，模块#6针对SMN和VIS示出相对强的相关性。
图17的(b)示出关于模块#8的相关性评价的一例。如图17的(b)所示，模块#8针对VIS示出相对强的相关性。
图17的(c)示出关于模块#17的相关性评价的一例。如图17的(c)所示，模块#17针对SMN和VIS示出相对强的相关性。
图17的(d)示出关于模块#11的相关性评价的一例。如图17的(d)所示，模块#11针对LIM示出相对强的相关性。
(g5：测量例5)
关于上述的模块以外的模块，针对任何的脑网络都未示出有意义的相关性。
[H.处理装置中的功能结构]
接着，对在本实施方式的活动估计***1的处理装置100中实现的功能结构的一例进行说明。
图18示出本实施方式的活动估计***1的处理装置100的功能结构例的示意图。图18所示的各功能通过处理装置100的处理器102执行模块估计程序123、脑网络活动估计程序124以及评价程序125来实现。这些程序相当于本实施方式的脑网络的活动估计程序。为了便于说明，只示出了由三个程序构成的安装例，也可以以更少的程序来安装，还可以以更多的程序来安装。
另外，可以为使用处理装置100内的一个或多个处理器执行这些程序，也可以为多个处理装置相互协同地执行这些程序。在后者的情况下，也可以使用被称为所谓的云***的配置于网络上的多个计算机。并且，也可以代替通过处理器执行程序来实现的结构(软件安装)，而使用FPGA(Field-Programmable Gate Array：现场可编程门阵列)、ASIC(Application Specific Integrated Circuit：专用集成电路)之类的硬连线的结构实现其全部或一部分。
本实施方式的各程序可以通过利用OS(Operating System：操作***)提供的功能那样的方式安装，这种情况也能够包含于本申请发明的保护范围。
参照图18，处理装置100包括前处理模块150、参数决定模块152、后处理模块154、ROI特征量提取模块156、相关值计算模块158以及评价模块160。
关于这些模块中的前处理模块150、参数决定模块152以及后处理模块154，通过模块估计程序123(图3)实现，关于ROI特征量提取模块156，通过脑网络活动估计程序124实现，关于评价模块160，通过评价程序125实现。
前处理模块150生成从EEG测量数据121输入到特征估计模型10的输入向量x。更具体地说，前处理模块150针对EEG测量数据121中包含的各通道的时间序列数据进行池化处理、滤波处理。
参数决定模块152决定构成特征估计模型10的参数(系数矩阵或映射函数等)。具体地说，参数决定模块152基于以通过将由前处理模块150生成的输入向量x输入到特征估计模型10而计算出的源端向量s的值(功率/平方和)为因子的损失函数(参照上述的式(5)等)，来估计使损失函数的值最小化的参数。
后处理模块154按照由参数决定模块152决定的参数，对从特征估计模型10输出的源端向量s的值执行后处理。具体地说，后处理模块154将从特征估计模型10输出的源端向量s的值(平方和的向量)分割为每规定时间的历元，对各历元执行池化处理(关于时间的平均化处理)等。
ROI特征量提取模块156输出从fMRI测量装置300输出的fMRI测量数据(一个或多个脑活动图案图像)中的与脑网络关联的部分(ROI)的图像特征量。即，按各RSN，从ROI特征量提取模块156输出图像特征量。
相关值计算模块158分别计算从后处理模块154输出的各模块的特征量与各RSN的图像特征量之间的相关值。来自相关值计算模块158的输出为模块与RSN的每个组合的相关值。
评价模块160基于来自相关值计算模块158的模块与RSN的每个组合的相关值，输出用于确定与各个静息状态脑网络(RSN)的关联性强的模块的信息来作为关联信息180。关联信息180是预先与各受验者相关联地决定的，用于确定构成特征估计模型10的多个模块中的表现特定的脑网络的活动的一个或多个模块。
一般地，关联信息180表示从构成特征估计模型10的多个模块中的各个模块对特定的脑网络的活动产生的影响的程度(关联性)。因此，各脑网络的活动也能够表示为在构成特征估计模型10的多个模块中出现的特征量的加权线性组合。
像这样，处理装置100获取从受验者同时测量出的脑电波的测量数据(EEG测量数据)和功能性磁共振图像法的测量数据(fMRI测量数据)。
另外，也输出由参数决定模块152决定的参数(生成模型参数170)。通过使用生成模型参数170，能够再现特征估计模型10。
如上述那样，在本实施方式的活动估计***1中，作为学习工序，包括决定用于构建特征估计模型10的生成模型参数170的处理(上述的[D.模块估计]的内容)、以及决定用于确定表现特定的脑网络的活动的一个或多个模块的关联信息180的处理(上述的[F.相关性评价]和[G.确定表现脑网络的活动的模块]的内容)。
[I.处理过程]
接着，对本实施方式的脑网络的活动估计方法的处理过程进行说明。图19是示出本实施方式的脑网络的活动估计方法的处理过程的流程图。图19所示的一部分步骤可以通过在处理装置100中执行程序来实现。
参照图19，首先，同时测量EEG和fMRI，来获取EEG测量数据和fMRI测量数据(步骤S100)。
接着，处理装置100通过对所获取到的EEG测量数据进行前处理，由此生成对特征估计模型10提供的输入数据(步骤S102)。接着，处理装置100使用初始参数来决定特征估计模型10(步骤S104)，通过对该决定的特征估计模型10提供输入数据，来计算源端向量的值(步骤S106)。并且，处理装置100判断包含计算出的源端向量的值的损失函数的值是否符合收敛条件(步骤S108)。
如果损失函数的值不符合收敛条件(步骤S108：“否”)，则处理装置100更新用于规定特征估计模型10的参数的值(步骤S110)，重复进行步骤S106以下的处理。
如果损失函数的值符合收敛条件(步骤S108：“是”)，则处理装置100输出当前时间点的用于规定特征估计模型10的参数来作为最终的特征估计模型10的参数(生成模型参数170)(步骤S112)。
处理装置100根据从由在步骤S112中决定的参数规定的特征估计模型10输出的源端向量的值，计算每个模块的特征量(步骤S114)。
与步骤S102～S114的处理并行地，或者，在步骤S114之后，处理装置100输出fMRI测量数据中的与脑网络关联的部分(ROI)的图像特征量(步骤S116)。
然后，处理装置100计算在步骤S114中计算出的每个模块的特征量与在步骤S116中计算出的每个ROI的图像特征量之间的相关值(步骤S118)。最终，处理装置100基于在步骤S118中计算出的各模块的特征量与各RSN的图像特征量之间的相关值，输出表示与各RSN的关联性强的模块的信息来作为最终的关联信息180(步骤S120)。
[J.应用例]
接着，对由本实施方式的脑网络的活动估计***1决定的特征估计模型和估计出的模块的信息(关联信息180)的应用例进行说明。作为一例，能够应用于神经反馈。
神经反馈包含估计受验者的当前的脑活动图案并对该受验者赋予一些动作以使该估计出的脑活动图案接近目标的脑活动图案的技术。
在使用fMRI的脑活动图案的测量中，fMRI测量装置300的大小可能成为对实现的制约，但是通过使用本实施方式的表现脑网络的活动的模块的估计方法，由此能够使用EEG测量数据来估计受验者的脑活动图案。即，本实施方式的估计方法提供用于使神经反馈普及的重要的基础技术。
图20是用于说明本实施方式的神经反馈的实现例的示意图。参照图20，按照通过上述那样的处理过程决定出的生成模型参数，来构建特征估计模型10，并且向该构建出的特征估计模型10提供从受验者测量出的EEG测量数据。
活动估计***1将从受验者测量的脑电波的测量数据(EEG测量数据)作为输入数据提供给特征估计模型10，并且至少针对表现特定的脑网络的活动的一个或多个模块计算特征量。而且，活动估计***1基于按照特征估计模型10计算的特征量，来计算表示特定的脑网络的活动程度与成为脑活动网络的目标的活动程度的相似度的值。
作为一例，在图20中示出以下例子：利用使用特征估计模型10计算出的各模块的特征量中的、预先估计出的特定模块的特征量，来估计默认模式网络(DMN)、控制网络(CON)以及背侧注意网络(DAN)等的活动度。此外，在实时地测量EEG测量数据的情况下，也能够大致实时地输出这些脑网络的活动。
基于这些脑网络的活动，决定反馈内容(与目标的相似度)，经由显示装置600等呈现装置来对受验者呈现所决定的反馈内容。此时，例如，使用如下的呈现方法：对受验者显示相似度越高则半径越大的圆形的图形等，从而能够掌握当前的相似度的程度。另一方面，例如在要呈现的相似度为规定值以上的情况下，事先向受验者通知会提供一些报酬(例如，可以为金钱报酬，也可以为其它报酬)。通过像这样的一系列的处理，能够实现针对受验者的神经反馈。
此外，作为向受验者呈现的信息，不限定于上述那样的信息，也不限定于图形信息，只要是受验者能够识别相似度的信息即可。
像这样，活动估计***1具有基于表示特定的脑网络的活动程度的值来决定与受验者对应的动作的内容的反馈功能。
在使用本实施方式的特征估计模型10的脑网络的活动估计方法中，如果存在规定特征估计模型10的生成模型参数170和在特征估计模型10中表示各RSN的活动度的模块的信息(关联信息180)，则能够实时地估计脑网络的活动。利用这样的优点，例如也能够使用专用的设备暂时进行了EEG与fMRI的同时测量之后，在任意的场所接受基于神经反馈的治疗。
图21是用于说明将本实施方式的活动估计***1进行网络化的实现例的示意图。参照图21，例如在专用的测量站中，对各受验者进行EEG与fMRI的同时测量，处理装置100输出关于各受验者的构建特征估计模型10的生成模型参数170及对应的关联信息180。从测量站向服务器装置400发送像这样的生成模型参数170和关联信息180。
在服务器装置400中，保持用于保存每个受验者的生成模型参数170和关联信息180的受验者数据402。
除了测量站以外，还从一个或多个治疗所中的、各受验者期望的治疗所访问服务器装置400来获取与各受验者对应的生成模型参数170及关联信息180。而且，在各治疗所中，配置有后述那样的处理装置500，基于获取到的生成模型参数170和关联信息180，来实施使用图20所示那样的神经反馈的治疗。
像这样，服务器装置400针对每个受验者，将规定特征估计模型10的生成模型参数170与表示表现特定的脑网络的活动的一个或多个模块的信息相关联地进行保存(受验者数据402)。另外，服务器装置400响应于请求而输出与特定的受验者对应的生成模型参数170及用于确定表现特定的脑网络的活动的一个或多个模块的关联信息180。
通过使用如图21所示那样的网络***，能够进一步促进使用神经反馈的治疗(疾病治疗)的普及。
接着，对在图21所示的本实施方式的活动估计***1的处理装置500中实现的功能结构的一例进行说明。处理装置500的装置结构与上述的图3所示的处理装置100的装置结构相同，因此不重复进行详细的说明。
图22示出本实施方式的活动估计***1的处理装置500的功能结构例的示意图。图22所示的各功能通过处理装置500的处理器执行脑网络活动估计程序(与图3所示的脑网络活动估计程序124相同)来实现。
可以为使用处理装置500内的一个或多个处理器执行这些程序，也可以为多个处理装置相互协同地执行这些程序。在后者的情况下，也可以使用被称为所谓的云***的配置于网络上的多个计算机。并且，也可以代替通过处理器执行程序来实现的结构(软件安装)，而使用FPGA、ASIC之类的硬连线的结构实现其全部或一部分。
本实施方式的各程序可以通过利用OS提供的功能那样的方式安装，这种情况也能够包含于本申请发明的保护范围。
参照图22，处理装置500包括输入模块560、前处理模块550、模型构建模块552、特征估计模型10、后处理模块554以及脑活动计算模块558。
输入模块560获取从受验者测量出的脑电波的测量数据即EEG测量数据121。输入模块560可以与EEG测量装置直接连接，也可以作为EEG测量装置的一部分来安装。或者，输入模块560也可以经由任意的介质从EEG测量装置接收EEG测量数据121。
前处理模块550根据EEG测量数据121生成输入到特征估计模型10的输入向量x。基本的功能与图18所示的前处理模块150相同，因此不重复进行详细的说明。
模型构建模块552使用通过事先的参数估计处理决定的预先与各受验者相关联地决定的生成模型参数170，来构建将脑电波的测量数据设为输入数据的特征估计模型10。即，模型构建模块552针对预先准备的网络结构的各元素，设定对应的参数。
后处理模块554针对通过将来自前处理模块550的输入向量输入到特征估计模型10而计算出的各源端向量s的值，执行后处理。具体地说，后处理模块554将从特征估计模型10输出的源端向量s的值(平方和的向量)分割为每规定时间的历元，对各历元执行池化处理(关于时间的平均化处理)等。
脑活动计算模块558基于关联信息180，根据从后处理模块554输出的各模块的特征量，分别输出表示各脑网络的活动程度的值。关联信息180是用于确定多个模块中的表现特定的脑网络的活动的一个或多个模块的信息(一个或多个参数)。从脑活动计算模块558输出的表示脑网络的活动程度的值也可以被利用于上述那样的神经反馈等。
像这样，前处理模块550、后处理模块554以及脑活动计算模块558基于预先与受验者相关联地决定的关联信息180，将从该受验者获取到的脑电波的测量数据(EEG测量数据121)作为输入数据提供给特征估计模型10，并且根据关于表现特定的脑网络的活动的一个或多个模块的特征量来计算表示该特定的脑网络的活动程度的值。
图23是示出通过本实施方式的活动估计***1中的学习工序获取的脑活动估计器20的示意图。参照图23，脑活动估计器20通过被输入从受验者测量出的脑电波的测量数据，从而输出表示该受验者的特定的脑网络的活动程度的值。
脑活动估计器20是由通过使用了从受验者获取到的脑电波的测量数据的机器学习来决定的特征估计模型10(第一模型)、以及通过使用了从受验者获取到的fMRI测量数据的机器学习来决定的关联信息180(第二模型)构成的已学习脑活动估计模型。
脑活动估计器20中包括的特征估计模型10包括表示脑内的信号源的多个元素(源端)以及分别与多个元素中的至少一部分元素结合的多个模块。多个元素各自被规定为与脑电波的测量数据的各维对应的值的线性组合。
脑活动估计器20中包含的关联信息180是预先与受验者相关联地决定的。关联信息180用于确定构成特征估计模型10的多个模块中的表现特定的脑网络的活动的一个或多个模块。此外，在特征估计模型10估计上位因子的情况下，作为关联信息180，也可以使用用于确定表现特定的脑网络的活动的一个或多个上位因子的一个或多个参数。
通过采用这样的脑活动估计器20，能够使用通过EEG测量等比较简单的方法测量出的脑电波的信号，来比较高速地估计各种各样的脑网络的活动。
接着，对本实施方式的活动估计***1的处理装置500中的脑网络的活动估计方法的处理过程进行说明。图24是示出本实施方式的脑网络的另一活动估计方法的处理过程的流程图。图24所示的一部分步骤可以通过在处理装置500中执行程序来实现。
参照图24，首先，处理装置500获取关于任意的受验者的EEG测量数据(步骤S200)。接着，处理装置500获取针对该受验者预先决定的生成模型参数170和关联信息180(步骤S202)，构建特征估计模型10(步骤S204)，并且根据特征估计模型10的各模块所表示的特征量来构建表示各脑网络的活动程度的关系式(模型)(步骤S206)。
接着，处理装置500通过对获取到的EEG测量数据进行前处理，由此生成对特征估计模型10提供的规定期间的输入数据(时间序列数据)(步骤S208)，计算通过将所生成的输入数据提供给特征估计模型10而出现的各模块的特征量(步骤S210)。然后，处理装置500根据各模块所表示的特征量，分别计算表示各脑网络的活动程度的值(步骤S212)。
处理装置500判断是否残留有在步骤S200中获取到的EEG测量数据中的未处理的EEG测量数据(步骤S214)，在残留有未处理的数据的情况下(步骤S214：“是”)，重复进行步骤S208以下的处理。另一方面，在没有残留未处理的数据的情况下(步骤S214：“否”)，处理装置500结束处理。
此外，能够附加使用在步骤S212中依次计算出的表示脑网络的活动程度的值的任意处理。
[K.优点]
根据本实施方式的脑网络的活动估计***，能够对多通道测量出的脑电波的信号进行解析，来使以脑内的多个信号源为前提的脑网络的活动度定量化。在本实施方式中，在特征估计模型中，不需要明确地决定脑内的信号源的位置，因此原则上不需要脑、头盖的形状测量、逆问题分析等。即，能够实现通用性高并且减少运算处理量且高速的处理。
在使用本实施方式的脑网络的活动估计***的评价实验中，示出了存在针对现有技术中已知的脑网络示出比较强的相关值的模块。
根据本实施方式的脑网络的活动估计***，能够将脑网络的活动程度进行定量化并获取，因此还会使精神疾病、智障等的定量指标(生物标记)的开发变得容易。
应当认为本次公开的实施方式的所有的点是例示性的而非限制性的。本发明的范围通过权利要求书来表示，而不是通过上述的实施方式的说明来表示，意图包括与权利要求书均等的意义及范围内的所有变更。
附图标记说明
1：活动估计***；10：特征估计模型；12：EEG测量数据；14：源端；16：模块；18：上位因子；20：脑活动估计器；100、500：处理装置；102：处理器；104：主存储部；106：控制接口；108：网络接口；110、352：输入部；112、353：显示部；120：二次存储部；121：EEG测量数据；122：fMRI测量数据；123：模块估计程序；124：脑网络活动估计程序；125：评价程序；150、550：前处理模块；152：参数决定模块；154、554：后处理模块；156：特征量提取模块；158：相关值计算模块；160：评价模块；170：生成模型参数；180：关联信息；200：EEG测量装置；202：多路复用器；204：噪声滤波器；206：A/D转换器；208、354：存储部；210、358：接口；220：传感器；222：线缆；300：fMRI测量装置；302：接收线圈；310：磁场施加机构；312：静磁场产生线圈；314：倾斜磁场产生线圈；316：照射部；318：卧具；320：驱动部；322：静磁场电源；324：倾斜磁场电源；326：信号发送部；328：信号接收部；330：卧具驱动部；350：数据处理部；351：控制部；356：图像处理部；357：数据收集部；400：服务器装置；402：受验者数据；552：模型构建模块；558：脑活动计算模块；560：输入模块；600：显示装置；S：受验者。

Claims (13)

1.一种脑网络的活动估计***，具备：
获取单元，其获取从受验者同时测量出的脑电波的测量数据和功能性磁共振图像法的测量数据；以及
参数决定单元，其构建将所述脑电波的测量数据作为输入数据的特征估计模型，并且决定用于规定该特征估计模型的参数，
其中，所述特征估计模型包括表示脑内的信号源的多个元素以及分别与所述多个元素中的至少一部分元素结合的多个模块，
所述脑网络的活动估计***还具备：
第一特征量计算单元，其基于在提供了所述脑电波的测量数据作为输入数据的情况下计算出的各模块的输出值，来计算每个模块的特征量；
第二特征量计算单元，其基于所述功能性磁共振图像法的测量数据，来计算每个脑网络的图像特征量；以及
决定单元，其通过评价由所述第一特征量计算单元计算出的每个模块的特征量与由所述第二特征量计算单元计算出的每个脑网络的图像特征量之间的相关性，来决定所述多个模块中的表现特定的脑网络的活动的一个或多个模块。
2.根据权利要求1所述的脑网络的活动估计***，其中，
所述脑网络的活动估计***还具备：
第三特征量计算单元，其将从受验者测量出的脑电波的测量数据作为输入数据提供给所述特征估计模型，并且至少针对所述表现特定的脑网络的活动的一个或多个模块计算特征量；以及
脑活动计算单元，其基于由所述第三特征量计算单元计算出的特征量，计算表示所述特定的脑网络的活动程度的值。
3.根据权利要求2所述的脑网络的活动估计***，其中，
所述脑网络的活动估计***还具备反馈单元，所述反馈单元基于表示所述特定的脑网络的活动程度的值，来决定与所述受验者对应的动作的内容。
4.根据权利要求1～3中的任一项所述的脑网络的活动估计***，其中，
所述多个元素各自被计算为所述输入数据的线性组合。
5.根据权利要求1～3中的任一项所述的脑网络的活动估计***，其中，
所述输入数据是规定期间内的时间序列数据，
所述第一特征量计算单元将各模块的所述规定期间内的特征量的时间序列数据在时间方向上进行汇总，作为每个模块的特征量进行输出。
6.根据权利要求1～3中的任一项所述的脑网络的活动估计***，其中，
所述参数决定单元以使在提供了所述脑电波的测量数据作为输入数据的情况下计算出的各元素的时间波形之间产生强的相关性的方式决定用于规定所述特征估计模型的参数。
7.根据权利要求1～3中的任一项所述的脑网络的活动估计***，其中，
所述脑网络的活动估计***还具备存储单元，所述存储单元按受验者将用于规定所述特征估计模型的参数与表示表现特定的脑网络的活动的一个或多个模块的信息相关联地进行保存，并且响应于请求而输出与特定的受验者对应的参数及表示表现特定的脑网络的活动的一个或多个模块的信息。
8.一种脑网络的活动估计方法，包括以下步骤：
获取从受验者同时测量出的脑电波的测量数据和功能性磁共振图像法的测量数据；以及
参数步骤，构建将所述脑电波的测量数据作为输入数据的特征估计模型，并且决定用于规定该特征估计模型的参数，
其中，所述特征估计模型包括表示脑内的信号源的多个元素以及分别与所述多个元素中的至少一部分元素结合的多个模块，
所述脑网络的活动估计方法还包括以下步骤：
基于在提供了所述脑电波的测量数据作为输入数据的情况下计算出的各模块的输出值，来计算每个模块的特征量；
基于所述功能性磁共振图像法的测量数据，来计算每个脑网络的图像特征量；以及
通过评价计算出的所述每个模块的特征量与计算出的所述每个脑网络的图像特征量之间的相关性，来决定所述多个模块中的表现特定的脑网络的活动的一个或多个模块。
9.一种存储介质，其存储脑网络的活动估计程序，所述脑网络的活动估计程序使计算机执行以下步骤：
获取从受验者同时测量出的脑电波的测量数据和功能性磁共振图像法的测量数据；以及
参数步骤，构建将所述脑电波的测量数据作为输入数据的特征估计模型，并且决定用于规定该特征估计模型的参数，
其中，所述特征估计模型包括表示脑内的信号源的多个元素以及分别与所述多个元素中的至少一部分元素结合的多个模块，
所述脑网络的活动估计程序还使计算机执行以下步骤：
基于在提供了所述脑电波的测量数据作为输入数据的情况下计算出的各模块的输出值，来计算每个模块的特征量；
基于所述功能性磁共振图像法的测量数据，来计算每个脑网络的图像特征量；以及
通过评价计算出的所述每个模块的特征量与计算出的所述每个脑网络的图像特征量之间的相关性，来决定所述多个模块中的表现特定的脑网络的活动的一个或多个模块。
10.一种脑网络的活动估计***，具备：
获取单元，其获取从受验者测量出的脑电波的测量数据；以及
模型构建单元，其使用预先与所述受验者相关联地决定的参数，构建将所述脑电波的测量数据作为输入数据的特征估计模型，
其中，所述特征估计模型包括表示脑内的信号源的多个元素以及分别与所述多个元素中的至少一部分元素结合的多个模块，
所述脑网络的活动估计***还具备计算单元，所述计算单元基于预先与所述受验者相关联地决定的、用于确定所述多个模块中的表现特定的脑网络的活动的一个或多个模块的关联信息，将由所述获取单元获取到的脑电波的测量数据作为输入数据提供给所述特征估计模型，并且根据关于所述表现特定的脑网络的活动的一个或多个模块的特征量，计算表示该特定的脑网络的活动程度的值，
以使在提供了所述脑电波的测量数据作为输入数据的情况下计算出的各元素的时间波形之间产生强的相关性的方式决定用于规定所述特征估计模型的参数，
通过评价每个模块的特征量与每个脑网络的图像特征量之间的相关性来决定所述关联信息，所述每个模块的特征量是基于在将用于决定所述参数的脑电波的测量数据作为输入数据提供给所述特征估计模型的情况下产生的各模块的输出值而计算出的，所述每个脑网络的图像特征量是基于与用于决定所述参数的脑电波的测量数据同时地从所述受验者测量出的功能性磁共振图像法的测量数据而计算出的。
11.一种脑网络的活动估计方法，包括以下步骤：
获取从受验者测量出的脑电波的测量数据；以及
使用预先与所述受验者相关联地决定的参数，构建将所述脑电波的测量数据作为输入数据的特征估计模型，
其中，所述特征估计模型包括表示脑内的信号源的多个元素以及分别与所述多个元素中的至少一部分元素结合的多个模块，
所述脑网络的活动估计方法还包括以下步骤：基于预先与所述受验者相关联地决定的、用于确定所述多个模块中的表现特定的脑网络的活动的一个或多个模块的关联信息，将获取到的所述脑电波的测量数据作为输入数据提供给所述特征估计模型，并且根据关于所述表现特定的脑网络的活动的一个或多个模块的特征量，计算表示该特定的脑网络的活动程度的值，
以使在提供了所述脑电波的测量数据作为输入数据的情况下计算出的各元素的时间波形之间产生强的相关性的方式决定用于规定所述特征估计模型的参数，
通过评价每个模块的特征量与每个脑网络的图像特征量之间的相关性来决定所述关联信息，所述每个模块的特征量是基于在将用于决定所述参数的脑电波的测量数据作为输入数据提供给所述特征估计模型的情况下产生的各模块的输出值而计算出的，所述每个脑网络的图像特征量是基于与用于决定所述参数的脑电波的测量数据同时地从所述受验者测量出的功能性磁共振图像法的测量数据而计算出的。
12.一种存储介质，其存储脑网络的活动估计程序，所述脑网络的活动估计程序使计算机执行以下步骤：
获取从受验者测量出的脑电波的测量数据；以及
使用预先与所述受验者相关联地决定的参数，构建将所述脑电波的测量数据作为输入数据的特征估计模型，
其中，所述特征估计模型包括表示脑内的信号源的多个元素以及分别与所述多个元素中的至少一部分元素结合的多个模块，
所述脑网络的活动估计程序还使计算机执行以下步骤：基于预先与所述受验者相关联地决定的、用于确定所述多个模块中的表现特定的脑网络的活动的一个或多个模块的关联信息，将获取到的所述脑电波的测量数据作为输入数据提供给所述特征估计模型，并且根据关于所述表现特定的脑网络的活动的一个或多个模块的特征量，计算表示该特定的脑网络的活动程度的值，
以使在提供了所述脑电波的测量数据作为输入数据的情况下计算出的各元素的时间波形之间产生强的相关性的方式决定用于规定所述特征估计模型的参数，
通过评价每个模块的特征量与每个脑网络的图像特征量之间的相关性来决定所述关联信息，所述每个模块的特征量是基于在将用于决定所述参数的脑电波的测量数据作为输入数据提供给所述特征估计模型的情况下产生的各模块的输出值而计算出的，所述每个脑网络的图像特征量是基于与用于决定所述参数的脑电波的测量数据同时地从所述受验者测量出的功能性磁共振图像法的测量数据而计算出的。
13.一种存储介质，其存储已学习脑活动估计模型，所述已学习脑活动估计模型通过输入从受验者测量出的脑电波的测量数据，从而输出表示该受验者的特定的脑网络的活动程度的值，所述已学习脑活动估计模型具备：
特征估计模型，其将所述脑电波的测量数据作为输入数据；以及
关联信息，
其中，所述特征估计模型包括表示脑内的信号源的多个元素以及分别与所述多个元素中的至少一部分元素结合的多个模块，所述多个元素各自被规定为与所述脑电波的测量数据的各维对应的值的线性组合，
所述关联信息包含预先与所述受验者相关联地决定的、用于确定所述多个模块中的表现特定的脑网络的活动的一个或多个模块的参数，
在用于构建所述已学习脑活动估计模型的学习工序中，使计算机执行以下步骤：
获取从受验者同时测量出的脑电波的测量数据和功能性磁共振图像法的测量数据；
以使在将所述脑电波的测量数据作为输入数据提供给所述特征估计模型的情况下计算出的各元素的时间波形之间产生强的相关性的方式决定用于规定所述特征估计模型的参数；
基于在将所述脑电波的测量数据作为输入数据提供给按照所决定的参数构建出的特征估计模型的情况下计算出的各模块的输出值，来计算每个模块的特征量；
基于所述功能性磁共振图像法的测量数据，来计算每个脑网络的图像特征量；以及
通过评价计算出的所述每个模块的特征量与计算出的所述每个脑网络的图像特征量之间的相关性，来决定所述关联信息。
CN201880076799.9A 2017-11-27 2018-11-13 脑网络的活动估计***、方法和存储介质 Active CN111417342B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017227094A JP6884344B2 (ja) 2017-11-27 2017-11-27 脳内ネットワークの活動推定システム、脳内ネットワークの活動推定方法、脳内ネットワークの活動推定プログラム、および、学習済み脳活動推定モデル
JP2017-227094 2017-11-27
PCT/JP2018/041950 WO2019102901A1 (ja) 2017-11-27 2018-11-13 脳内ネットワークの活動推定システム、脳内ネットワークの活動推定方法、脳内ネットワークの活動推定プログラム、および、学習済み脳活動推定モデル

Publications (2)

Publication Number Publication Date
CN111417342A CN111417342A (zh) 2020-07-14
CN111417342B true CN111417342B (zh) 2023-06-13

Family

ID=66631864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880076799.9A Active CN111417342B (zh) 2017-11-27 2018-11-13 脑网络的活动估计***、方法和存储介质

Country Status (5)

Country Link
US (1) US20210035665A1 (zh)
EP (1) EP3718473A4 (zh)
JP (1) JP6884344B2 (zh)
CN (1) CN111417342B (zh)
WO (1) WO2019102901A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553871B2 (en) * 2019-06-04 2023-01-17 Lab NINE, Inc. System and apparatus for non-invasive measurement of transcranial electrical signals, and method of calibrating and/or using same for various applications
CN112274144A (zh) * 2019-07-22 2021-01-29 苏州布芮恩智能科技有限公司 近红外脑功能成像数据的处理方法、装置和存储介质
JP7256765B2 (ja) * 2020-02-28 2023-04-12 株式会社日立製作所 医用撮像装置、医用画像処理装置、及び、画像処理プログラム
EP4176805A1 (en) 2020-07-02 2023-05-10 Advanced Telecommunications Research Institute International Estimation system, estimation method, program, estimation model, brain activity training device, brain activity training method, and brain activity training program
CN113017651B (zh) * 2021-03-16 2022-06-21 哈尔滨工业大学 一种情感eeg的脑功能网络分析方法
CN113040789B (zh) * 2021-03-17 2022-09-09 华南理工大学 一种同步EEG-fMRI数据采集中核磁伪迹的在线去除方法
CN115024684A (zh) * 2022-05-23 2022-09-09 天津大学 刺激范式生成***、脑-机接口***、检测方法及装置
CN115359297B (zh) * 2022-08-24 2024-01-26 南京航空航天大学 一种基于高阶脑网络的分类方法、***、电子设备及介质
CN116823813B (zh) * 2023-08-28 2023-12-01 北京航空航天大学 一种基于磁共振影像的脑韧性评估方法、***及电子设备
CN118094277A (zh) * 2024-04-25 2024-05-28 之江实验室 基于动态功能脑网络的大脑视听融合机制探索方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005000528A (ja) * 2003-06-13 2005-01-06 National Institute Of Information & Communication Technology 脳機能測定装置及び脳機能測定プログラム
CN102743166A (zh) * 2012-08-09 2012-10-24 西南大学 一种事件相关电位源定位方法
CN105916547A (zh) * 2013-10-21 2016-08-31 巴塞罗那神经电力开发有限公司 用于优化多部位经颅电流刺激的配置的方法和***以及计算机可读介质和计算机程序
JP6203324B1 (ja) * 2016-04-18 2017-09-27 株式会社アラヤ 認知状態推定システム及び認知状態推定方法
CN107242873A (zh) * 2017-07-05 2017-10-13 成都信息工程大学 一种基于功能磁共振心理生理交互的脑网络构建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2670299A4 (en) * 2011-02-03 2017-08-09 The Medical Research, Infrastructure, And Health Services Fund Of The Tel Aviv Medical Center Method and system for use in monitoring neural activity in a subject's brain
CN103345749B (zh) * 2013-06-27 2016-04-13 中国科学院自动化研究所 一种基于模态融合的大脑网络功能连接偏侧性检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005000528A (ja) * 2003-06-13 2005-01-06 National Institute Of Information & Communication Technology 脳機能測定装置及び脳機能測定プログラム
CN102743166A (zh) * 2012-08-09 2012-10-24 西南大学 一种事件相关电位源定位方法
CN105916547A (zh) * 2013-10-21 2016-08-31 巴塞罗那神经电力开发有限公司 用于优化多部位经颅电流刺激的配置的方法和***以及计算机可读介质和计算机程序
JP6203324B1 (ja) * 2016-04-18 2017-09-27 株式会社アラヤ 認知状態推定システム及び認知状態推定方法
CN107242873A (zh) * 2017-07-05 2017-10-13 成都信息工程大学 一种基于功能磁共振心理生理交互的脑网络构建方法

Also Published As

Publication number Publication date
CN111417342A (zh) 2020-07-14
JP6884344B2 (ja) 2021-06-09
EP3718473A4 (en) 2021-12-15
WO2019102901A1 (ja) 2019-05-31
EP3718473A1 (en) 2020-10-07
US20210035665A1 (en) 2021-02-04
JP2019093008A (ja) 2019-06-20

Similar Documents

Publication Publication Date Title
CN111417342B (zh) 脑网络的活动估计***、方法和存储介质
US11042982B2 (en) Ultra-dense electrode-based brain imaging system
Giraldo-Suarez et al. Reconstruction of neural activity from EEG data using dynamic spatiotemporal constraints
Pirondini et al. Computationally efficient algorithms for sparse, dynamic solutions to the EEG source localization problem
US20160051162A1 (en) Method for locating a brain activity associated with a task
US11270445B2 (en) Joint estimation with space-time entropy regularization
Wang et al. SACICA: a sparse approximation coefficient-based ICA model for functional magnetic resonance imaging data analysis
US20160051161A1 (en) Method for locating a brain activity associated with a task
CN114052668B (zh) 一种基于脑磁图数据的脑功能分析方法
Barton et al. Evaluating the performance of kalman-filter-based eeg source localization
JP2018187044A (ja) 感情推定装置、感情推定方法およびコンピュータプログラム
Iivanainen et al. Spatial sampling of MEG and EEG based on generalized spatial-frequency analysis and optimal design
Sorrentino et al. Bayesian multi-dipole modelling of a single topography in MEG by adaptive sequential Monte Carlo samplers
Hansen et al. Unmixing oscillatory brain activity by EEG source localization and empirical mode decomposition
Frank et al. Dynamic multiscale modes of resting state brain activity detected by entropy field decomposition
US11213255B2 (en) Information processing device, information processing method, and recording medium storing information processing program
WO2019028551A1 (en) SYSTEMS AND METHODS FOR QUALITY EVALUATION OF MAGNETIC RESONANCE FUNCTIONAL IMAGING DATA USING FREQUENCY DOMAIN ENTROPY REGULARIZATION
US20140018693A1 (en) Method for separating signal sources by use of physically unique dictionary elements
Pascarella et al. Statistical approaches to the inverse problem
JP6821171B2 (ja) 脳活動状態定量化方法および脳活動状態計測装置
Zong et al. A compressive learning-based scheme for nonlinear reconstructions in electrical impedance tomography
Ghosh et al. Bayesian inference for brain source imaging with joint estimation of structured low-rank noise
Liu et al. Bayesian spatio-temporal decomposition for electromagnetic imaging of extended sources based on Destrieux atlas
Nandagopal Implementation of the swLORETA in a cloud based service ofr EEG analysis
López et al. Spatio-temporal EEG brain imaging based on reduced Kalman filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant