CN110084883A - 一种诱发大脑活动重建面部图像的方法 - Google Patents

一种诱发大脑活动重建面部图像的方法 Download PDF

Info

Publication number
CN110084883A
CN110084883A CN201910298267.6A CN201910298267A CN110084883A CN 110084883 A CN110084883 A CN 110084883A CN 201910298267 A CN201910298267 A CN 201910298267A CN 110084883 A CN110084883 A CN 110084883A
Authority
CN
China
Prior art keywords
image
face
brain activity
function
eigenface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910298267.6A
Other languages
English (en)
Inventor
伏云发
李昭阳
王文乐
周洲州
陈睿
李玉
熊馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201910298267.6A priority Critical patent/CN110084883A/zh
Publication of CN110084883A publication Critical patent/CN110084883A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种诱发大脑活动重建面部图像的方法，本发明方法为：将n个描述不同人脸的面部图像进行PCA获取特征脸；从人脸面部图像中选择测试图像，测试者观看测试图像时利用功能磁共振进行高分辨率扫描之后，使用具有重复时间的T2*加权2D梯度回波序列获得功能图像、结构图像；对功能图像依次进行切片定时、头部运动校正；将结构图像记录到预处理功能图像上；接着对融合后的功能图像进行归一化处理；将归一化后的功能图像重新采样到3立方毫米体素；将大脑活动使用偏最小二乘回归方法映射到特征脸，输出大脑活动的预测矩阵；通过生成特征脸时定义的权重矩阵及大脑活动的预测矩阵来重建图像。本发明可以有效地用于实现对测试者测试图像的重建。

Description

一种诱发大脑活动重建面部图像的方法
技术领域
本发明涉及一种诱发大脑活动重建面部图像的方法，属于信息技术领域。
背景技术
最近的神经影像学进展使得视觉体验可以从大脑活动模式重建出来。虽然神经重建在复杂性方面有所不同，但它们几乎完全依赖于视觉输入和早期视觉皮层活动之间的视网膜映射。然而，主观知觉信息尚未被用作神经重建的主要基础的较高级皮层区域。
发明内容
本发明提供一种诱发大脑活动重建面部图像的方法，以用于通过该方法对测试者测试的图像进行重建。
本发明的技术方案是：一种诱发大脑活动重建面部图像的方法，所述方法步骤如下：
S1、收集n个描述不同人脸的面部图像，将n个描述不同人脸的面部图像进行PCA获取特征脸；
S2、从步骤S1中的人脸面部图像中选择想要测试图像，测试者观看测试图像时利用功能磁共振进行高分辨率扫描之后，使用具有重复时间的T2*加权2D梯度回波序列获得功能图像、结构图像；对功能图像依次进行切片定时、头部运动校正，得到预处理功能图像；将结构图像记录到预处理功能图像上，得到融合后的功能图像；接着对融合后的功能图像进行归一化处理，得到归一化后的功能图像；将归一化后的功能图像重新采样到3立方毫米体素；其中，每个体素特定的beta值为大脑活动；
S3、将步骤S2记录的大脑活动使用偏最小二乘回归方法映射到特征脸，输出大脑活动的预测矩阵；
S4、通过步骤S1生成特征脸时定义的权重矩阵及步骤S3获得的大脑活动的预测矩阵来重建图像Xpred：
Xpred=Wtrain*Ypred
其中，WTrain是通过步骤S1生成特征脸时定义的权重矩阵，Ypred是通过步骤S3获得的大脑活动的预测矩阵，Xpred表示重建的测试图像。
所述步骤S1中n个面部图像的尺寸一样，面部图像中存在眼睛和嘴巴特征。
所述高分辨率指1.0×1.0×1.0mm。
本发明的有益效果是：本发明采用PCA用于多个人脸图像分析，对于分析获得的特征脸效果更优，将其与偏最小二乘回归方法结合可以有效地用于实现对测试者测试图像的重建。
附图说明
图1为本发明流程示意框图。
具体实施方式
实施例1：如图1所示，一种诱发大脑活动重建面部图像的方法，所述方法步骤如下：
S1、收集n个描述不同人脸的面部图像，将n个描述不同人脸的面部图像进行PCA获取特征脸；其中，n个面部图像的尺寸一样，面部图像中存在眼睛和嘴巴特征；
S2、从步骤S1中的人脸面部图像中选择测试图像，测试者观看测试图像时利用功能磁共振进行高分辨率扫描之后，使用具有重复时间的T2*加权2D梯度回波序列获得功能图像、结构图像；对功能图像依次进行切片定时、头部运动校正，得到预处理功能图像；将结构图像记录到预处理功能图像上，得到融合后的功能图像；接着对融合后的功能图像进行归一化处理，得到归一化后的功能图像；将归一化后的功能图像重新采样到3立方毫米体素；其中，每个体素特定的beta值为大脑活动；所述高分辨率指1.0×1.0×1.0mm；
S3、将步骤S2记录的大脑活动使用偏最小二乘回归方法映射到特征脸，输出大脑活动的预测矩阵；
S4、通过步骤S1生成特征脸时定义的权重矩阵及步骤S3获得的大脑活动的预测矩阵来重建图像Xpred：
Xpred=Wtrain*Ypred
其中，WTrain是通过步骤S1生成特征脸时定义的权重矩阵，Ypred是通过步骤S3获得的大脑活动的预测矩阵，Xpred表示重建的测试图像。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (3)

1.一种诱发大脑活动重建面部图像的方法，其特征在于：所述方法步骤如下：
S1、收集n个描述不同人脸的面部图像，将n个描述不同人脸的面部图像进行PCA获取特征脸；
S2、从步骤S1中的人脸面部图像中选择测试图像，测试者观看测试图像时利用功能磁共振进行高分辨率扫描之后，使用具有重复时间的T2*加权2D梯度回波序列获得功能图像、结构图像；对功能图像依次进行切片定时、头部运动校正，得到预处理功能图像；将结构图像记录到预处理功能图像上，得到融合后的功能图像；接着对融合后的功能图像进行归一化处理，得到归一化后的功能图像；将归一化后的功能图像重新采样到3立方毫米体素；其中，每个体素特定的beta值为大脑活动；
S3、将步骤S2记录的大脑活动使用偏最小二乘回归方法映射到特征脸，输出大脑活动的预测矩阵；
S4、通过步骤S1生成特征脸时定义的权重矩阵及步骤S3获得的大脑活动的预测矩阵来重建图像Xpred：
Xpred=Wtrain*Ypred
其中，WTrain是通过步骤S1生成特征脸时定义的权重矩阵，Ypred是通过步骤S3获得的大脑活动的预测矩阵，Xpred表示重建的测试图像。
2.根据权利要求1所述的诱发大脑活动重建面部图像的方法，其特征在于：所述步骤S1中n个面部图像的尺寸一样，面部图像中存在眼睛和嘴巴特征。
3.根据权利要求1所述的诱发大脑活动重建面部图像的方法，其特征在于：所述高分辨率指1.0×1.0×1.0mm。
CN201910298267.6A 2019-04-15 2019-04-15 一种诱发大脑活动重建面部图像的方法 Pending CN110084883A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910298267.6A CN110084883A (zh) 2019-04-15 2019-04-15 一种诱发大脑活动重建面部图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910298267.6A CN110084883A (zh) 2019-04-15 2019-04-15 一种诱发大脑活动重建面部图像的方法

Publications (1)

Publication Number Publication Date
CN110084883A true CN110084883A (zh) 2019-08-02

Family

ID=67415206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910298267.6A Pending CN110084883A (zh) 2019-04-15 2019-04-15 一种诱发大脑活动重建面部图像的方法

Country Status (1)

Country Link
CN (1) CN110084883A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100249573A1 (en) * 2009-03-30 2010-09-30 Marks Donald H Brain function decoding process and system
CN102592148A (zh) * 2011-12-29 2012-07-18 华南师范大学 基于非负矩阵分解和多种距离函数的人脸识别方法
GB201300637D0 (en) * 2013-01-14 2013-02-27 Univ Heriot Watt An Image Restoration Method
CN105335991A (zh) * 2014-06-27 2016-02-17 联想(北京)有限公司 一种信息处理方法及电子设备
CN105590091A (zh) * 2014-11-06 2016-05-18 Tcl集团股份有限公司 一种面部识别方法及其***
CN105975921A (zh) * 2016-04-29 2016-09-28 厦门大学 基于局部特征共生性和偏最小二乘法的行人检测方法
CN109191505A (zh) * 2018-08-03 2019-01-11 北京微播视界科技有限公司 静态生成人脸三维模型的方法、装置、电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100249573A1 (en) * 2009-03-30 2010-09-30 Marks Donald H Brain function decoding process and system
CN102592148A (zh) * 2011-12-29 2012-07-18 华南师范大学 基于非负矩阵分解和多种距离函数的人脸识别方法
GB201300637D0 (en) * 2013-01-14 2013-02-27 Univ Heriot Watt An Image Restoration Method
CN105335991A (zh) * 2014-06-27 2016-02-17 联想(北京)有限公司 一种信息处理方法及电子设备
CN105590091A (zh) * 2014-11-06 2016-05-18 Tcl集团股份有限公司 一种面部识别方法及其***
CN105975921A (zh) * 2016-04-29 2016-09-28 厦门大学 基于局部特征共生性和偏最小二乘法的行人检测方法
CN109191505A (zh) * 2018-08-03 2019-01-11 北京微播视界科技有限公司 静态生成人脸三维模型的方法、装置、电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALAN S. COWEN: "Neural portraits of perception: Reconstructing face images from evoked", 《ELSEVIER SCIENCE》 *
YUNFA FU: "Imagined Hand Clenching Force and Speed Modulate Brain Activity and Are Classified by NIRS Combined With EEG", 《IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING》 *
霍丽娜: "基于视觉感知与注意机制的图像显著目标检测", 《中国博士学位论文全文数据库》 *

Similar Documents

Publication Publication Date Title
Ozcelik et al. Reconstruction of perceived images from fmri patterns and semantic brain exploration using instance-conditioned gans
Kaul et al. The gender of face stimuli is represented in multiple regions in the human brain
CN106023194B (zh) 基于静息态功能连接的杏仁核谱聚类分割方法
Bing et al. Medical image super resolution using improved generative adversarial networks
Yue et al. Auto-detection of Alzheimer's disease using deep convolutional neural networks
Gilaie-Dotan et al. Perceptual shape sensitivity to upright and inverted faces is reflected in neuronal adaptation
Wang et al. Where color rests: spontaneous brain activity of bilateral fusiform and lingual regions predicts object color knowledge performance
Kalarot et al. Component attention guided face super-resolution network: Cagface
CN110211045A (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN112002428B (zh) 以独立成分网络为参照的全脑个体化脑功能图谱构建方法
Allen et al. A massive 7T fMRI dataset to bridge cognitive and computational neuroscience
CN110246137A (zh) 一种成像方法、装置及存储介质
Gu et al. Decoding natural image stimuli from fmri data with a surface-based convolutional network
Jiang et al. CT image super resolution based on improved SRGAN
Zhao et al. Two-stage spatial temporal deep learning framework for functional brain network modeling
Huang et al. Perception-to-image: Reconstructing natural images from the brain activity of visual perception
Goebel et al. Reading imagined letter shapes from the mind’s eye using real-time 7 tesla fMRI
Kim et al. Spontaneously emerging patterns in human visual cortex and their functional connectivity are linked to the patterns evoked by visual stimuli
Wang et al. Brain MR image super-resolution using 3D feature attention network
CN108573512A (zh) 一种基于深度编解码对偶模型的复杂视觉图像重构方法
Zhang et al. Equivalent processing of facial expression and identity by macaque visual system and task-optimized neural network
Qiao et al. CorGAN: Context aware recurrent generative adversarial network for medical image generation
CN110084883A (zh) 一种诱发大脑活动重建面部图像的方法
CN104952053B (zh) 基于非线性压缩感知的人脸图像超分辨重构方法
Song et al. A medical image fusion method based on mdlatlrrv2

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190802