CN106022384A - 基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法 - Google Patents

基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法 Download PDF

Info

Publication number
CN106022384A
CN106022384A CN201610361766.1A CN201610361766A CN106022384A CN 106022384 A CN106022384 A CN 106022384A CN 201610361766 A CN201610361766 A CN 201610361766A CN 106022384 A CN106022384 A CN 106022384A
Authority
CN
China
Prior art keywords
image
fmri
performance data
degree
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610361766.1A
Other languages
English (en)
Other versions
CN106022384B (zh
Inventor
闫镔
王林元
乔凯
童莉
曾颖
徐夫
徐一夫
贺文颉
张驰
高辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA Information Engineering University
Original Assignee
PLA Information Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA Information Engineering University filed Critical PLA Information Engineering University
Priority to CN201610361766.1A priority Critical patent/CN106022384B/zh
Publication of CN106022384A publication Critical patent/CN106022384A/zh
Application granted granted Critical
Publication of CN106022384B publication Critical patent/CN106022384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，通过被试在自然场景图像刺激下采集到的fMRI视觉功能数据，训练深度卷积神经网络模型，将其映射到关注目标类别标签上进行模型优化；构造与优化后的深度卷积神经网络对称的深度网络模型，利用fMRI视觉功能数据及刺激图像相对应的语义分割结果优化该模型参数，获得fMRI视觉功能数据到逐像素语义分割结果的映射；采集被试观看测试图像的fMRI视觉功能数据，确定被试关注目标类别和逐像素语义分割结果，分割出关注目标区域和相应目标语义。本发明对被试观看自然场景图像时所引发的fMRI视觉功能数据进行解析，提取出刺激图像中所有目标类别并获得语义分割结果，提高关注目标提取的准确性。

Description

基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法
技术领域
本发明涉及人机交互fMRI视觉功能数据处理技术领域，特别涉及一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法。
背景技术
视觉信息获取是人类获取外界信息最主要的方式，其解读方法也是神经科学的研究重点。长期以来，大量研究人员从各种不同的角度尝试用计算机模拟和扩展人类视觉功能。而在神经科学领域，一直有一个具有极大吸引力的问题，那就是为什么人脑可以用很少的精力来完成比如物体识别、场景理解等高级视觉任务。近年来，神经影像技术取得了长足的进步，功能磁共振成像(functionalMagnetic Resonance Imaging,fMRI)以其非侵入、时空分辨率好等特点成为研究大脑视觉信息处理机制的主要神经影像手段。为了***研究人脑视觉功能活动，了解人脑对于视觉信息的处理机制，人脑视觉功能脑区的fMRI信号解析技术取得了显著的进展，这些研究也被称为视觉信息编解码技术研究。视觉信息的编码技术，是一种视觉认知正向计算的技术，通过建立视觉计算模型即视觉编码模型，预测任意视觉刺激所能引发的大脑视觉功能的响应。而视觉解码技术则是由测量到的脑功能活动信号恢复出视觉刺激的类别、场景、细节等信息。
2001年，Haxby等人证明视觉目标的类别信息在腹侧颞叶(ventraltemporal lobe)分布式地表达，利用该脑区的体素激活模式能够准确地分辨多种目标类别。2003年，Cox等人应用多体素模式分类方法进行十种类别物体的分类。2010年，Chen等人提出基于皮层表面探照灯(Searchlight)的特征选择方法对旋转的乐器、椅子和小船进行了分类。2012年，Connolly等人研究人脑生物种类的表达，对不同的灵长类、鸟类、昆虫进行了分类。尽管现有研究已经能够对于某一类别的图像刺激所引发的fMRI视觉功能数据解析出其所属类别，然而对于被试所关注的目标语义的提取，却没有相应的研究成果。
发明内容
为克服现有技术中的不足，本发明提供一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，能够对被试观看自然场景图像时所引发的fMRI视觉功能数据进行解析，提取出刺激图像中所有目标类别并获得语义分割结果，进一步提升了对于人脑视觉功能的解析能力。
按照本发明所提供的设计方案，一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，包含如下步骤：
步骤1、采集被试在自然场景图像刺激下的fMRI视觉功能数据，训练一个由刺激图像到fMRI视觉功能数据的深度卷积神经网络模型，及一个由fMRI视觉功能数据到关注目标类别的线性映射模型，将训练得到的深度卷积神经网络模型映射到线性映射模型上，进行网络模型优化；
步骤2、构造一个与网络模型优化后的深度卷积神经网络对称的反卷积深度网络模型，利用fMRI视觉功能数据及刺激图像相对应的语义分割结果对反卷积深度网络模型进行优化处理，获得fMRI视觉功能数据到逐像素语义分割结果的映射，得到语义分割深度网络模型；
步骤3、采集被试观看测试图像时的fMRI视觉功能数据，通过语义分割深度网络模型，得到图像逐像素语义分割结果；
步骤4、通过关注目标类别的线性映射模型，得到被试图像关注的目标类别；
步骤5、根据步骤3得到的图像逐像素语义分割结果及步骤4中得到的被试图像关注的目标类别，分割出被试关注的目标区域和相应目标语义。
上述的，步骤2中反卷积深度网络模型包括反卷积层、反池化层，由根据采集到的被试fMRI视觉功能数据作为输入，刺激图像对应的关注目标语义分割结果作为输出，优化训练模型参数，训练学习各层的反卷积核，反池化层采用深度卷积神经网络中池化层的操作进行上采样，训练获得fMRI视觉功能数据到图像语义分割结果的反卷积深度网络模型。
本发明的有益效果：
本发明通过构建卷积神经网络模型模拟自然场景图像到fMRI视觉功能数据的映射关系，利用与其对称的反卷积网络结构训练从fMRI视觉功能数据到关注目标类别语义分割结果的深度网络模型，获得图像中包含在训练类别集合内的各个目标类别语义分割结果，从而提取出图像中关注目标，能够对被试观看自然场景图像时所引发的fMRI视觉功能数据进行解析，提取出刺激图像中所有目标类别并获得语义分割结果，提高关注目标提取的准确性，进一步提升对人脑视觉功能的解析能力。
附图说明：
图1为本发明的流程示意图。
具体实施方式：
现有图像数据集(如Pascal VOC数据集)中提供标记的图像语义分割结果，另外还可以通过人工标记的方式得到图像语义分割结果；通过这两种方式可以满足网络训练时对图像语义分割结果的需要。
下面结合附图和技术方案对本发明作进一步详细的说明，并通过优选的实施例详细说明本发明的实施方式，但本发明的实施方式并不限于此。
实施例一，参见图1所示，一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，包含如下步骤：
步骤1、采集被试在自然场景图像刺激下的fMRI视觉功能数据，训练一个由刺激图像到fMRI视觉功能数据的深度卷积神经网络模型，及一个由fMRI视觉功能数据到关注目标类别的线性映射模型，将训练得到的深度卷积神经网络模型映射到线性映射模型上，进行网络模型优化；
步骤2、构造一个与网络模型优化后的深度卷积神经网络对称的反卷积深度网络模型，利用fMRI视觉功能数据及刺激图像相对应的语义分割结果对反卷积深度网络模型进行优化处理，获得fMRI视觉功能数据到逐像素语义分割结果的映射，得到语义分割深度网络模型；
步骤3、采集被试观看测试图像时的fMRI视觉功能数据，通过语义分割深度网络模型，得到图像逐像素语义分割结果；
步骤4、通过关注目标类别的线性映射模型，得到被试图像关注的目标类别；
步骤5、根据步骤3得到的图像逐像素语义分割结果及步骤4中得到的被试图像关注的目标类别，分割出被试关注的目标区域和相应目标语义。
实施例二，参见图1所示，一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，包含如下步骤：
步骤1、采集被试在自然场景图像刺激下的fMRI视觉功能数据，训练一个由刺激图像到fMRI视觉功能数据的深度卷积神经网络模型，及一个由fMRI视觉功能数据到关注目标类别的线性映射模型，将训练得到的深度卷积神经网络模型映射到线性映射模型上，进行网络模型优化；
步骤2、构造一个与网络模型优化后的深度卷积神经网络对称的反卷积深度网络模型，利用fMRI视觉功能数据及刺激图像相对应的语义分割结果对反卷积深度网络模型进行优化处理，获得fMRI视觉功能数据到逐像素语义分割结果的映射，得到语义分割深度网络模型，其中，反卷积深度网络模型包括反卷积层、反池化层，由根据采集到的被试fMRI视觉功能数据作为输入，刺激图像对应的关注目标语义分割结果作为输出，优化训练模型参数，训练学习各层的反卷积核，反池化层采用深度卷积神经网络中池化层的操作进行上采样，训练获得fMRI视觉功能数据到图像语义分割结果的反卷积深度网络模型；
步骤3、采集被试观看测试图像时的fMRI视觉功能数据，通过语义分割深度网络模型，得到图像逐像素语义分割结果；
步骤4、通过关注目标类别的线性映射模型，得到被试图像关注的目标类别；
步骤5、根据步骤3得到的图像逐像素语义分割结果及步骤4中得到的被试图像关注的目标类别，分割出被试关注的目标区域和相应目标语义。
本发明创新性提出构建卷积神经网络模型模拟自然场景图像到fMRI视觉功能数据的映射关系，并利用与其对称的网络结构训练从fMRI视觉功能数据到图像语义分割结果的深度网络模型，获得图像中包含在训练类别集合内的各个目标类别语义分割结果。该方法能够对被试观看自然场景图像时所引发的fMRI视觉功能数据进行解析，提取出刺激图像中所有目标类别并获得语义分割结果，提取出被试在图像中所关注的目标，大大提高关注目标提取的精确度，进一步提升对于人脑视觉功能的解析能力，为基于视觉功能解析的脑机交互应用研究提供进一步的技术支撑。
本发明并不局限于上述具体实施方式，本领域技术人员还可据此做出多种变化，但任何与本发明等同或者类似的变化都应涵盖在本发明权利要求的范围内。

Claims (2)

1.一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，其特征在于：包含如下步骤：
步骤1、采集被试在自然场景图像刺激下的fMRI视觉功能数据，训练一个由刺激图像到fMRI视觉功能数据的深度卷积神经网络模型，及一个由fMRI视觉功能数据到关注目标类别的线性映射模型，将训练得到的深度卷积神经网络模型映射到线性映射模型上，进行网络模型优化；
步骤2、构造一个与网络模型优化后的深度卷积神经网络对称的反卷积深度网络模型，利用fMRI视觉功能数据及刺激图像相对应的语义分割结果对反卷积深度网络模型进行优化处理，获得fMRI视觉功能数据到逐像素语义分割结果的映射，得到语义分割深度网络模型；
步骤3、采集被试观看测试图像时的fMRI视觉功能数据，通过语义分割深度网络模型，得到图像逐像素语义分割结果；
步骤4、通过关注目标类别的线性映射模型，得到被试图像关注的目标类别；
步骤5、根据步骤3得到的图像逐像素语义分割结果及步骤4中得到的被试图像关注的目标类别，分割出被试关注的目标区域和相应目标语义。
2.根据权利要求1所述的基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，其特征在于：步骤2中反卷积深度网络模型包括反卷积层、反池化层，由根据采集到的被试fMRI视觉功能数据作为输入，刺激图像对应的关注目标语义分割结果作为输出，优化训练模型参数，训练学习各层的反卷积核，反池化层采用深度卷积神经网络中池化层的操作进行上采样，训练获得fMRI视觉功能数据到图像语义分割结果的反卷积深度网络模型。
CN201610361766.1A 2016-05-27 2016-05-27 基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法 Active CN106022384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610361766.1A CN106022384B (zh) 2016-05-27 2016-05-27 基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610361766.1A CN106022384B (zh) 2016-05-27 2016-05-27 基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法

Publications (2)

Publication Number Publication Date
CN106022384A true CN106022384A (zh) 2016-10-12
CN106022384B CN106022384B (zh) 2019-07-12

Family

ID=57093546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610361766.1A Active CN106022384B (zh) 2016-05-27 2016-05-27 基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法

Country Status (1)

Country Link
CN (1) CN106022384B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780498A (zh) * 2016-11-30 2017-05-31 南京信息工程大学 基于逐像素点深度卷积网络上皮和基质组织自动分割方法
CN106971155A (zh) * 2017-03-21 2017-07-21 电子科技大学 一种基于高度信息的无人车车道场景分割方法
CN107066916A (zh) * 2016-10-26 2017-08-18 中国科学院自动化研究所 基于反卷积神经网络的场景语义分割方法
CN107731011A (zh) * 2017-10-27 2018-02-23 中国科学院深圳先进技术研究院 一种港口泊船监测方法、***及电子设备
CN108898606A (zh) * 2018-06-20 2018-11-27 中南民族大学 医学图像的自动分割方法、***、设备及存储介质
CN108961269A (zh) * 2018-06-22 2018-12-07 深源恒际科技有限公司 基于图像的猪体重测算方法及***
CN110276762A (zh) * 2018-03-15 2019-09-24 北京大学 一种多b值扩散加权腹部磁共振成像的呼吸运动全自动校正方法
CN110569880A (zh) * 2019-08-09 2019-12-13 天津大学 一种利用人工神经网络模型对视觉刺激解码方法
CN111404274A (zh) * 2020-04-29 2020-07-10 平顶山天安煤业股份有限公司 一种输电***位移在线监控及预警***
CN112686098A (zh) * 2020-12-15 2021-04-20 中国人民解放军战略支援部队信息工程大学 基于Shape-Resnet的大脑中高级视觉区信号处理方法及***
CN113419537A (zh) * 2021-07-08 2021-09-21 西安理工大学 一种面向移动机器人自主运动的脑机融合控制方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778240A (zh) * 2014-02-10 2014-05-07 中国人民解放军信息工程大学 基于功能磁共振成像和图像字典稀疏分解的图像检索方法
CN104598575A (zh) * 2015-01-14 2015-05-06 中国人民解放军信息工程大学 基于实时功能磁共振成像的脑机交互图像检索***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778240A (zh) * 2014-02-10 2014-05-07 中国人民解放军信息工程大学 基于功能磁共振成像和图像字典稀疏分解的图像检索方法
CN104598575A (zh) * 2015-01-14 2015-05-06 中国人民解放军信息工程大学 基于实时功能磁共振成像的脑机交互图像检索***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HYEONWOO NOH ET AL.: "Learning Deconvolution Network for Semantic Segmentation", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
ZAIZHOU ZHENG ET AL.: "An Approach to Classify Visual Semantic Based on Visual Encoding With The Convolutional Neural Network", 《12TH INTERNATIONAL CONFERENCE ON FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066916B (zh) * 2016-10-26 2020-02-07 中国科学院自动化研究所 基于反卷积神经网络的场景语义分割方法
CN107066916A (zh) * 2016-10-26 2017-08-18 中国科学院自动化研究所 基于反卷积神经网络的场景语义分割方法
CN106780498A (zh) * 2016-11-30 2017-05-31 南京信息工程大学 基于逐像素点深度卷积网络上皮和基质组织自动分割方法
CN106971155A (zh) * 2017-03-21 2017-07-21 电子科技大学 一种基于高度信息的无人车车道场景分割方法
CN106971155B (zh) * 2017-03-21 2020-03-24 电子科技大学 一种基于高度信息的无人车车道场景分割方法
CN107731011A (zh) * 2017-10-27 2018-02-23 中国科学院深圳先进技术研究院 一种港口泊船监测方法、***及电子设备
CN110276762A (zh) * 2018-03-15 2019-09-24 北京大学 一种多b值扩散加权腹部磁共振成像的呼吸运动全自动校正方法
CN108898606A (zh) * 2018-06-20 2018-11-27 中南民族大学 医学图像的自动分割方法、***、设备及存储介质
CN108898606B (zh) * 2018-06-20 2021-06-15 中南民族大学 医学图像的自动分割方法、***、设备及存储介质
CN108961269A (zh) * 2018-06-22 2018-12-07 深源恒际科技有限公司 基于图像的猪体重测算方法及***
CN108961269B (zh) * 2018-06-22 2022-04-08 深源恒际科技有限公司 基于图像的猪体重测算方法及***
CN110569880A (zh) * 2019-08-09 2019-12-13 天津大学 一种利用人工神经网络模型对视觉刺激解码方法
CN111404274A (zh) * 2020-04-29 2020-07-10 平顶山天安煤业股份有限公司 一种输电***位移在线监控及预警***
CN112686098A (zh) * 2020-12-15 2021-04-20 中国人民解放军战略支援部队信息工程大学 基于Shape-Resnet的大脑中高级视觉区信号处理方法及***
CN113419537A (zh) * 2021-07-08 2021-09-21 西安理工大学 一种面向移动机器人自主运动的脑机融合控制方法及***

Also Published As

Publication number Publication date
CN106022384B (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN106022384A (zh) 基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法
Davison et al. Objective classes for micro-facial expression recognition
Ortiz-Echeverri et al. A new approach for motor imagery classification based on sorted blind source separation, continuous wavelet transform, and convolutional neural network
Sarraf et al. Deep learning-based pipeline to recognize Alzheimer's disease using fMRI data
Naselaris et al. Cortical representation of animate and inanimate objects in complex natural scenes
Wang et al. Central and peripheral vision for scene recognition: A neurocomputational modeling exploration
Sundaram et al. Extraction of blood vessels in fundus images of retina through hybrid segmentation approach
CN110223275B (zh) 一种task-fMRI引导的大脑白质纤维深度聚类方法
CN103646183A (zh) 一种基于人工神经网络和多模态mri的阿尔茨海默病智能判别分析方法
Minaee et al. Iris-gan: Learning to generate realistic iris images using convolutional gan
Bhutto et al. CT and MRI medical image fusion using noise-removal and contrast enhancement scheme with convolutional neural network
Wang et al. An unsupervised deep-transfer-learning-based motor imagery EEG classification scheme for brain–computer interface
Zhu et al. Indoor scene segmentation algorithm based on full convolutional neural network
CN106056602B (zh) 基于CNN的fMRI视觉功能数据目标提取方法
Khaleghi et al. Visual saliency and image reconstruction from EEG signals via an effective geometric deep network-based generative adversarial network
Alyasseri et al. EEG channel selection based user identification via improved flower pollination algorithm
Willeke et al. Deep learning-driven characterization of single cell tuning in primate visual area V4 unveils topological organization
Varadarajan et al. An efficient deep convolutional neural network approach for object detection and recognition using a multi-scale anchor box in real-time
Antonioli et al. Convolutional neural networks cascade for automatic pupil and iris detection in ocular proton therapy
Khaleghi et al. Salient arithmetic data extraction from brain activity via an improved deep network
Rossion et al. Intracerebral electrophysiological recordings to understand the neural basis of human face recognition
Li et al. An improved pulse-coupled neural network model for Pansharpening
Liang et al. Controller fatigue state detection based on ES-DFNN
Lin et al. Interoperability study of data preprocessing for deep learning and high-resolution aerial photographs for forest and vegetation type identification
Fortuna-Cervantes et al. Texture and materials image classification based on wavelet pooling layer in CNN

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant