CN110148194A - 图像重建方法和装置 - Google Patents
图像重建方法和装置 Download PDFInfo
- Publication number
- CN110148194A CN110148194A CN201910375952.4A CN201910375952A CN110148194A CN 110148194 A CN110148194 A CN 110148194A CN 201910375952 A CN201910375952 A CN 201910375952A CN 110148194 A CN110148194 A CN 110148194A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- matrix
- nerve signal
- true picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 210000005036 nerve Anatomy 0.000 claims abstract description 127
- 238000004519 manufacturing process Methods 0.000 claims abstract description 30
- 230000004438 eyesight Effects 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 139
- 230000006870 function Effects 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 9
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000011478 gradient descent method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种图像重建方法和装置。本发明的图像重建方法包括：利用主成分分析方法PCA获取神经信号的特征坐标，所述神经信号用于重建图像；根据所述神经信号的特征坐标，获取所述神经信号的特征编码，其中，所述特征编码用于指示所述神经信号对应的真实图像的特征，所述真实图像为通过视觉看到的物体的图像；根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像。解决了PCA对神经信号进行图像重建时，重建出来的图像与真实图像相似度不高，且重建图像存在伪影的问题，提高了重建图像的准确性和清晰度。
Description
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图像重建方法和装置。
背景技术
从神经信号重建视觉感知物图像是当前国际上备受关注的前沿领域。这一技术结合机器学习相关方法，从被试者中采集到的功能性磁共振成像(functional MagneticResonance Imaging，fMRI)信号中还原出其看到的物体。近几年来，人们从fMRI信号中重建出了图案、颜色、手写字体等物体，但是，这些物体以中、低级视觉特征为主，对于一些如人脸这样具有丰富的细节、高维度特征物体的重建的技术仍在起步阶段。
目前，对于如人脸这样复杂的物体的重建，大多是采用主成分分析方法(Principal Component Analysis，PCA)，例如，使用PCA建立了人脸和看到该人脸所产生的神经信号之间的单一线性映射关系，并通过反向求解神经信号在人脸图像特征空间下的坐标，来实现人脸图像的重建。但是，使用PCA重建出来的图像与真实图像相似度不高。
发明内容
本发明实施例提供一种图像重建方法和装置，以得到与真实图像相似度高的重建图像。
第一方面，本发明实施例提供一种图像重建方法，包括：
利用主成分分析方法PCA获取神经信号的特征坐标，所述神经信号用于重建图像；
根据所述神经信号的特征坐标，获取所述神经信号的特征编码，其中，所述特征编码用于指示所述神经信号对应的真实图像的特征，所述真实图像为通过视觉看到的物体的图像；
根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像。
在一些实施例中，所述根据所述神经信号的特征坐标，获取所述神经信号的特征编码之前，还包括：
通过PCA获取N张样本真实图像中每张样本真实图像的特征编码，其中，N为大于或等于1的正整数；
通过PCA获取所述每张样本真实图像对应的神经信号的特征坐标；
建立所述每张样本真实图像的特征编码，与，所述每张样本真实图像对应的神经信号的特征坐标之间的映射关系；
所述根据所述神经信号的特征坐标，获取所述神经信号的特征编码，包括：
根据所述神经信号的特征坐标和所述映射关系，获取所述神经信号的特征编码。
在一些实施例中，所述通过PCA获取N张样本真实图像中每张样本真实图像的特征编码，包括：
获取所述N张样本真实图像的平均图像；
根据所述每张样本真实图像与所述平均图像之间的像素差值，获得第一矩阵；所述第一矩阵的行数等于所述平均图像的像素个数，列数等于所述N，或者，所述第一矩阵的行数等于所述N，列数等于所述平均图像的像素个数；
获取所述第一矩阵的特征向量；
根据所述第一矩阵的特征向量，获取第二矩阵，所述第二矩阵的行数等于所述第一矩阵的行数，所述第二矩阵的列数等于所述第一矩阵的列数；
获取所述每张样本真实图像在所述第二矩阵构成的特征空间下的特征坐标，将所述特征坐标作为所述每张样本真实图像的特征编码。
在一些实施例中，所述根据所述第一矩阵的特征向量，获取第二矩阵，包括：
按照所述特征向量对应的特征值的大小顺序，将所述特征向量进行组合，获取第三矩阵；
根据所述第三矩阵中特征值最大的前L列对应的特征向量，获得所述第二矩阵，L为大于等于1且小于等于N的整数。
在一些实施例中，所述根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像之前，还包括：
将所述每张样本真实图像的特征编码和随机信号输入至生成式对抗网络中的图像生成模型中，获取与所述每张样本真实图像对应的重建图像；
将所述每张样本真实图像对应的重建图像以及该样本真实图像分别输入生成式对抗网络中的图像判别模型，获取所述图像判别模型的输出结果；其中，所述输出结果中包括所述图像判别模型获得的所述每张样本真实图像的特征编码、所述每张样本真实图像对应的重建图像的特征编码；
根据图像判别模型的输出结果，更新所述图像生成模型和图像判别模型中的网络参数，获取所述预设的生成式对抗网络；
其中，所述预设的生成对抗网络包括更新后的图像生成模型和更新后的图像判别模型。
在一些实施例中，所述根据图像判别模型的输出结果，更新所述图像生成模型和图像判别模型中的网络参数，获取所述预设的生成式对抗网络，包括：
固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，更新所述图像判别模型中的网络参数，获取更新后的图像判别模型；
固定所述更新后的图像判别模型中的网络参数不变，根据所述图像判别模型的输出结果和第二预设损失函数，更新所述图像生成模型中的网络参数，获取更新后的图像生成模型。
在一些实施例中，所述固定所述图像生成模型中的网络参数，根据所述图像判别模型的输出结果和第一预设损失函数，更新所述图像判别模型的网络参数，获取更新后的图像判别模型，包括：
固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，迭代更新所述图像判别模型的网络参数；
当迭代次数大于等于预设次数时，迭代更新所述图像判别模型的网络参数，根据最后一次迭代更新获得的所述图像判别模型的网络参数，获取更新后的图像判别模型。
第二方面，本发明实施例提供一种图像重建装置，包括：
获取模块，用于利用PCA获取待进行图像重建的神经信号的特征坐标；根据所述待进行图像重建的神经信号的特征坐标获取待进行图像重建的神经信号的特征编码，其中，所述特征编码用来表示所述待进行图像重建的神经信号对应的原始图像的特征，所述原始图像为通过视觉看到的物体的真实图像；
重建模块，用于根据所述特征编码和训练后的生成式对抗网络对所述待进行图像重建的神经信号进行图像重建，获取重建后的图像。
在一些实施例中，所述装置还包括：关联模块；
所述获取模块在根据所述神经信号的特征坐标，获取所述神经信号的特征编码之前，还用于：
通过PCA获取N张样本真实图像中每张样本真实图像的特征编码，其中，N为大于或等于1的正整数；
通过PCA获取所述每张样本真实图像对应的神经信号的特征坐标；
所述关联模块，用于建立所述每张样本真实图像的特征编码，与，所述每张样本真实图像对应的神经信号的特征坐标之间的映射关系；
所述获取模块根据所述神经信号的特征坐标，获取所述神经信号的特征编码时，具体用于：
根据所述神经信号的特征坐标和所述映射关系，获取所述神经信号的特征编码。
在一些实施例中，所述获取模块通过PCA获取N张样本真实图像中每张样本真实图像的特征编码时，具体用于：
获取所述N张样本真实图像的平均图像；
根据所述每张样本真实图像与所述平均图像之间的像素差值，获得第一矩阵；所述第一矩阵的行数等于所述平均图像的像素个数，列数等于所述N，或者，所述第一矩阵的行数等于所述N，列数等于所述平均图像的像素个数；
获取所述第一矩阵的特征向量；
根据所述第一矩阵的特征向量，获取第二矩阵，所述第二矩阵的行数等于所述第一矩阵的行数，所述第二矩阵的列数等于所述第一矩阵的列数；
获取所述每张样本真实图像在所述第二矩阵构成的特征空间下的特征坐标，将所述特征坐标作为所述每张样本真实图像的特征编码。
在一些实施例中，所述获取模块根据所述第一矩阵的特征向量，获取第二矩阵时，具体用于：
按照所述特征向量对应的特征值的大小顺序，将所述特征向量进行组合，获取第三矩阵；
根据所述第三矩阵中特征值最大的前L列对应的特征向量，获得所述第二矩阵，L为大于等于1且小于等于N的整数。
在一些实施例中，所述装置还包括：更新模块；
所述获取模块，还用于在所述重建模块根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像之前，将所述每张样本真实图像的特征编码和随机信号输入至生成式对抗网络中的图像生成模型中，获取与所述每张样本真实图像对应的重建图像；
所述获取模块，还用于将所述每张样本真实图像对应的重建图像以及该样本真实图像分别输入生成式对抗网络中的图像判别模型，获取所述图像判别模型的输出结果；其中，所述输出结果中包括所述图像判别模型获得的所述每张样本真实图像的特征编码、所述每张样本真实图像对应的重建图像的特征编码；
所述更新模块，用于根据图像判别模型的输出结果，更新所述图像生成模型和图像判别模型中的网络参数，获取所述预设的生成式对抗网络；
其中，所述预设的生成对抗网络包括更新后的图像生成模型和更新后的图像判别模型。固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，迭代更新所述图像判别模型的网络参数；
当迭代次数大于等于预设次数时，迭代更新所述图像判别模型的网络参数，根据最后一次迭代更新获得的所述图像判别模型的网络参数，获取更新后的图像判别模型。
在一些实施例中，所述更新模块包括：第一更新子模块和第二更新子模块；
所述第一更新子模块，用于固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，更新所述图像判别模型中的网络参数，获取更新后的图像判别模型；
所述第二更新子模块，用于固定所述更新后的图像判别模型中的网络参数不变，根据所述图像判别模型的输出结果和第二预设损失函数，更新所述图像生成模型中的网络参数，获取更新后的图像生成模型。
在一些实施例中，所述第一更新子模块固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，更新所述图像判别模型中的网络参数，获取更新后的图像判别模型时，具体用于：
固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，迭代更新所述图像判别模型的网络参数；
当迭代次数大于等于预设次数时，迭代更新所述图像判别模型的网络参数，根据最后一次迭代更新获得的所述图像判别模型的网络参数，获取更新后的图像判别模型。
第三方面，本发明实施例提供一种电子设备，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，执行如本发明第一方面所述的图像重建方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面所述的图像重建方法。
本发明实施例提供一种图像重建方法和装置，通过利用PCA获取神经信号的特征坐标；根据所述神经信号的特征坐标，获取所述神经信号的特征编码，其中，所述特征编码用于指示所述神经信号对应的真实图像的特征，所述真实图像为通过视觉看到的物体的图像；根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像。实现将PCA和GAN结合对神经信号进行图像重建，获得重建图像。解决了PCA对神经信号进行图像重建时，重建出来的图像与真实图像相似度不高，且重建图像存在伪影的问题，提高了重建图像的准确性和清晰度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的图像重建方法的流程图；
图2为本发明一实施例提供的预设的GAN重建图像的示意图；
图3为本发明一实施例提供的图像重建装置的结构示意图；
图4为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一实施例提供的图像重建方法的流程图，如图1所示，本实施例的方法可以包括：
S101、利用主成分分析方法PCA获取神经信号的特征坐标。
其中，所述神经信号用于重建图像。
本实施例中，对于要进行重建图像的神经信号，首先需要根据PCA奇异值分解方法获取该神经信号的特征坐标。其中，本实施例中将神经信号表示为A，A为一个m维的列向量，确定A在空间坐标系下的投影坐标，该投影坐标即为神经信号的特征坐标。需要说明的是，空间坐标系为第六矩阵构成的特征空间对应的坐标系，其中，第六矩阵的介绍在下文介绍。
S102、根据所述神经信号的特征坐标，获取所述神经信号的特征编码。
其中，所述特征编码用于指示所述神经信号对应的真实图像的特征，所述真实图像为通过视觉看到的物体的图像。
本实施例中，获取到神经信号的特征坐标后，根据该特征坐标以及特征坐标与特征编码之间的映射关系，获得神经信号的特征编码。其中，本实施例对特征坐标与特征编码之间的映射关系不限制，可由实际需求决定。
需要说明的是，特征编码不仅指示神经信号对应的真实图像的特征，还用于指示真实图像本身的图像特征，即一张图像，无论是从该图像的真实图像还是其对应的神经信号获得的特征编码是相同的。
S103、根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像。
生成式对抗网络(Generative Adversarial Networks，GAN)是一种深度学习模型，包含图像生成模型(Generative Model)和图像判别模型(Discriminative Model)，GAN通过图像生成模型和图像判别模型这两个模型的互相博弈学习产生相当好的输出。
本实施例中，将特征编码输入到预设的GAN中，通过预设的GAN中的图像生成模型获得神经信号对应的重建图像。其中，预设的GAN为经过训练的GAN，在下文详细介绍获得预设的GAN的过程。
本实施例，通过利用PCA获取神经信号的特征坐标；根据所述神经信号的特征坐标，获取所述神经信号的特征编码，其中，所述特征编码用于指示所述神经信号对应的真实图像的特征，所述真实图像为通过视觉看到的物体的图像；根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像。实现将PCA和GAN结合对神经信号进行图像重建，获得重建图像。解决了PCA对神经信号进行图像重建时，重建出来的图像与真实图像相似度不高，且重建图像存在伪影的问题，提高了重建图像的准确性和清晰度。
在一些实施例中，S102之前，图像重建方法还包括：
S201、通过PCA获取N张样本真实图像中每张样本真实图像的特征编码，其中，N为大于或等于1的正整数。
可选的，S201的一种可能的实现方式为：
S2011、获取所述N张样本真实图像的平均图像；
S2012、根据所述每张样本真实图像与所述平均图像之间的像素差值，获得第一矩阵；所述第一矩阵的行数等于所述平均图像的像素个数，列数等于所述N，或者，所述第一矩阵的行数等于所述N，列数等于所述平均图像的像素个数；
S2013、获取所述第一矩阵的特征向量；
S2014、根据所述第一矩阵的特征向量，获取第二矩阵，所述第二矩阵的行数等于所述第一矩阵的行数，所述第二矩阵的列数小于或等于所述第一矩阵的列数；
S2015、获取所述每张样本真实图像在所述第二矩阵构成的特征空间下的特征坐标，将所述特征坐标作为所述每张样本真实图像的特征编码。
本实施例中，样本真实图像的图像特征例如通过图像的像素表示，并且，对于一张用图像的像素表示的样本真实图像来说其图像特征可以用二维的矩阵表示，在计算特征编码时，将通过二维的矩阵表示的图像特征转变为通过一维的列向量表示的图像特征。其中，本实施例中使用Xi(i＝1，2，…，N)表示N张样本真实图像中其中一张样本真实图像通过一维的列向量表示的图像特征。需要说明的是，本发明实施例不限制将二维的矩阵转变为一维的列向量的方法，但是，将每张样本真实图像的图像特征从二维的矩阵转变为一维的列向量的方法是相同的。
本实施例以一张样本真实图像的图像特征是一个m*1列向量为例进行说明，其中，m表示样本真实图像的像素的个数。根据N张样本真实图像中每张样本真实图像的图像特征计算N张样本真实图像的平均图像，例如，求每张样本真实图像的图像特征的列向量中相同未知的元素得平均值，从而获得N张样本真实图像的平均图像。其中，N张样本真实图像的平均图像用表示。
计算每张样本真实图像的图像特征Xi(i＝1，2，…，N)与平均图像的差值，记为：Xi-X，例如，将每张样本真实图像的图像特征Xi与平均图像相同位置的元素相减获得差值。根据N张样本真实图像的图像特征与平均图像的差值获取第一矩阵，其中，第一矩阵表示为R1，R1为一个m*n的矩阵，即需要说明的是，在本发明实施例中，除非特别说明，否则，n的值与N的值相等。
计算第一矩阵R1的特征值，并获得与特征值对应的特征向量，根据第一矩阵R1的至少一个特征向量构成第二矩阵R2，例如，由于特征向量为列向量，将第一矩阵R1的特征向量按照一列列的顺序排列获得第二矩阵R2。需要说明的是，第二矩阵R2的行数与第一矩阵R1的行数对应，列数小于或等于第一矩阵R1的列数，其中，本发明实施例中以第一矩阵R1的行数等于每张样本真实图像的像素的个数，列数与N相等为例进行说明。
对每张样本真实图像的图像特征Xi在第二矩阵R2构成的特征空间做投影，获得投影坐标，该投影坐标即为每张样本真实图像的特征编码，其中，将每张样本真实图像的特征编码记为ti(i＝1，2，…，N)，获得每张样本真实图像的特征编码ti的计算公式例如如公式1所示：
其中，在一些实施例中，S2014的一种可能的实现方式为：按照所述特征向量对应的特征值的大小顺序，将所述特征向量进行组合，获取第三矩阵R3；根据所述第三矩阵R3中特征值最大的前L列对应的特征向量，获得所述第二矩阵R2，L为大于等于1且小于等于所述第一矩阵R1的列数的整数。
本实施例中，由于特征值越大，其对应的特征向量对于图像特征的表示就越重要，因此，在根据第一矩阵的特征向量获得第二矩阵R2时，例如可以按照特征值从小到大的顺序将其对应的第一矩阵R1的特征向量按照一列列的顺序排列获得第二矩阵R2。
需要说明的是，在一些实施例中，获得第一矩阵R1后，获得第二矩阵R2的方式还可以为：
计算第一矩阵R1的转置矩阵R1 T与第一矩阵R1的乘积的特征向量，并将该特征向量构成第四矩阵R4。其中，第四矩阵R4为方阵，其行数与第一矩阵R1的列数相等。
计算第一矩阵R1与第三矩阵R3的乘积，获得第五矩阵R5，其中，第五矩阵R5的行数和列数分别与第一矩阵R1的行数和列数对应相等。从第五矩阵R5中任意选择至少一列构成新的矩阵，该新的矩阵即为第二矩阵R2。
此时，从第五矩阵R5中任意选择至少一列构成新的矩阵，也可以是从第五矩阵R5中按照第一矩阵R1的特征值的大小选择特征值最大的前L个构成新的矩阵，该新的矩阵即为第二矩阵。
在构成第二矩阵时，按照第一矩阵的特征值的大小选择特征值最大的前L个构成第二矩阵，即是利用PCA的奇异值分解方法对图像特征进行降噪，降低样本真实图像中噪声大的图像特征，从而最终使获得的重建图像与真实图像相似度高。
S202、通过PCA获取所述每张样本真实图像对应的神经信号的特征坐标。
本实施例中，将与每张样本真实图像对应的神经信号的图像特征的表示方法按照样本真实图像中图像特征的表示由二维的矩阵表示转变为一维的列向量表示的方法，获得与每张样本真实图像对应的神经信号的图像特征的表示，即用Ai(i＝1，2，…，N)表示样本真实图像Xi(i＝1，2，…，N)的神经信号的图像特征。本实施例以与每张样本真实图像对应的神经信号的图像特征是一个m*1列向量为例进行说明，其中，m表示样本真实图像的像素的个数。
根据与每张样本真实图像对应的神经信号的图像特征计算所有神经信号的图像特征的平均神经信号，例如，计算每个列向量中相同位置的元素的平均值。其中，平均神经信号用表示。然后按照获取第二矩阵的方法获取第六矩阵，该第六矩阵为S101中提到的第六矩阵。
其中，需要说明的是，在获取第六矩阵R6时，可以不按照特征值的大小选取特征值最大的前L个特征值对应的特征向量。因此，第六矩阵R6的行数和列数分别与第一矩阵R1的行数和列数相等。
对与每张样本真实图像对应的神经信号的图像特征Ai在第六矩阵R6构成的特征空间做投影，获得投影坐标，该投影坐标即为与每张样本真实图像对应的神经信号的特征坐标，其中，将与每张样本真实图像对应的神经信号的特征坐标记为Yi(i＝1，2，…，N)，获得每张样本真实图像的特征编码Yi的计算公式例如如公式2所示：
S203、建立所述每张样本真实图像的特征编码，与，所述每张样本真实图像对应的神经信号的特征坐标之间的映射关系。
本实施例中，由于对于一张图像，无论是从该图像的真实图像还是其对应的神经信号获得的特征编码是相同的，因此，在获得与所述每张样本真实图像对应的神经信号的特征坐标后，将与所述每张样本真实图像对应的神经信号的特征坐标转换为每张样本真实图像的特征编码，其中，每张样本真实图像的特征编码，与，每张样本真实图像对应的神经信号的特征坐标之间的映射关系用W表示。需要说明的是，在获得映射关系W时，将N张样本真实图像的特征编码构成一个矩阵，记为矩阵T，其中，该矩阵的每一行对应一张样本真实图像的特征编码，将与N张样本真实图像分别对应的神经信号的特征坐标构成一个矩阵，记为矩阵Y，则获得映射关系W的计算公式例如如公式3所示：
T＝YW 公式3
其中，本实施例通过矩阵T和矩阵Y在计算映射关系W，提高了映射关系W的适用性，使得通过映射关系W从神经信号的特征坐标映射得到真实图像的特征编码使可以保留该真实图像中重要的图像特征，从而提高了重建图像与真实图像的相速度。
本实施例，通过PCA获取N张样本真实图像中每张样本真实图像的特征编码，通过PCA获取所述每张样本真实图像对应的神经信号的特征坐标，从而建立所述每张样本真实图像的特征编码，与，所述每张样本真实图像对应的神经信号的特征坐标之间的映射关系，使得在对神经信号进行图像重建时，将神经信号对应的特征坐标利用映射关系获得与神经信号对应的真实图像的特征编码。
在一些实施例中，在S103之前，图像重建方法还包括：
S301、将所述每张样本真实图像的特征编码和随机信号输入至生成式对抗网络中的图像生成模型中，获取与所述每张样本真实图像对应的重建图像。
本实施例中，图2为本发明一实施例提供的预设的GAN重建图像的示意图。如图2所示，将每张样本真实图像的特征编码和随机信号组合后输入到GAN中的图像生成模型中，获取与每张样本真实图像的特征编码对应的重建图像。
需要说明的是，在将样本真实图像的特征编码和随机信号输入至生成式对抗网络中的图像生成模型中时，可以对N张样本真实图像进行分组，每次向输GAN中的图像生成模型中入一组样本真实图像和随机信号，当一次分组后的N张样本真实图像的特征编码区别已经输入到GAN中的图像生成模型中后，再次对N张样本真实图像进行分组并重复以上过程，当对N张样本真实图像进行分组的次数达到预设次数时，停止分组，从而可以获得预设的GAN。
S302、将所述每张样本真实图像对应的重建图像以及该样本真实图像分别输入生成式对抗网络中的图像判别模型，获取所述图像判别模型的输出结果。
其中，所述输出结果中包括所述图像判别模型获得的所述每张样本真实图像的特征编码、所述每张样本真实图像对应的重建图像的特征编码。
本实施例中，在通过GAN中的图像生成模型获得重建图像后，将重建图像以及与输入到图像生成模型中的特征编码对应的样本真实图像分别输入到GAN中的图像判别模型中，图像判别模型不仅分别输出对重建图像的判断结果以及对与输入到图像生成模型中的特征编码对应的样本真实图像的判断结果，还输出一个与输入到图像生成模型中的特征编码有关的子特征编码，该子特征编码的结构与输入到图像生成模型中的特征编码的结构相同。
S303、根据图像判别模型的输出结果，更新所述图像生成模型和图像判别模型中的网络参数，获取所述预设的生成式对抗网络。
其中，所述预设的生成对抗网络包括更新后的图像生成模型和更新后的图像判别模型。
本实施例中，在图像判别模型输出结果后，根据输出结果和图像生成模型以及图像判别模型分贝对应的损失函数分别对图像生成模型和图像判别模型进行更新，获得更新后的图像生成模型和更新后的图像判别模型，即获得预设的GAN。
在一些实施例中，S303的一种可能的实现方式为：
S3031、固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，更新所述图像判别模型中的网络参数，获取更新后的图像判别模型。
本实施例中，对于GAN，其损失函数包括与图像判别模型对应的第一预设损失函数和与图像生成模型对应的第二预设损失函数，其中，GAN的损失函数即为V，第一预设损失函数记为VD，第二预设损失函数记为VG。则损失函数V的计算公式例如可以为公式4所示：
其中，公式4中的G表示图像生成模型，D表示图像判别模型。在计算公式4时，可以将公式4转化为公式4-1计算，其中，公式4-1例如可以为：
H(p,q)＝-(qlog(p)+(1-q)log(1-p)) 公式4-1
其中，p表示图像判别模型输出的对重建图像的判断结果或者对与输入到图像生成模型中的特征编码对应的样本真实图像的判断结果，q与输入到图像判别模型的图像有关，当输入到图像判别模型的为重建图像时，q为0，当输入到图像判别模型的为样本真实图像时，q为1。
其中，由于图像判别模型不仅分别输出对重建图像的判断结果以及对与输入到图像生成模型中的特征编码对应的样本真实图像的判断结果，还输出一个与输入到图像生成模型中的特征编码有关的子特征编码。因此，第一预设损失函数的计算公式例如可以为公式5所示：
VD＝H(D(x),1)+H(D(G(z)),0)+H(Dclass(x),tx)+H(Dclass(G(z)),tG(z)) 公式5
其中，x表示输入到图像判别模型中与输入到图像生成模型中的特征编码对应的样本真实图像，D(x)表示图像判别模型对输入到图像判别模型中的样本真实图像的判断结果，z表示输入到图像生成模型中的随机信号和每张样本真实图像的特征编码组合后的向量，G(z)表示图像生成模型输出的样本真实图像对应的重建图像，D(G(z))表示图像判别模型对输入到图像判别模型中的重建图像的判断结果，Dclass(x)表示通过图像判别模型获得并输出的样本真实图像的特征编码，tx表示样本真实图像的特征编码，Dclass(G(z))表示图像判别模型获得并输出的样本真实图像对应的重建图像的特征编码，tG(z)表示通过图像生成模型获得的样本真实图像对应的重建图像的特征编码。
第二预设损失函数VG的计算公式例如可以为公式6所示：
VG＝H(D(G(z)),1) 公式6
在按照公式4更新GAN时，首先按照公式5更新图像判别模型，在更新图像判别模型时，采用梯度下降法。此时，保持图像生成模型的网络参数不变，且图像生成模型的网络参数为上次更新后的网络参数。其中，在更新图像判别模型时，使VD的结果对应的值的大小尽可能的大。
其中，S3032的一种可能的实现方式为：固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，迭代更新所述图像判别模型的网络参数；当迭代次数大于等于预设次数时，迭代更新所述图像判别模型的网络参数，根据最后一次迭代更新获得的所述图像判别模型的网络参数，获取更新后的图像判别模型。
本实施例中，按照对N张样本真实图像分组的次数划分更新周期，即一次对N张样本真实图像进行分组为一次更新周期。在一次更新周期内，在保持图像生成模型的网络参数不变，按照公式5以及梯度下降法更新图像判别模型时，可按照梯度下降法对图像判别模型的网络参数进行迭代更新，即在每次更新图像生成模型的网络参数前，迭代更新图像判别模型的网络参数，其中，迭代更新的次数为至少两次。
本发明实施例不限制迭代更新图像判别模型的网络参数的迭代更新的次数，当图像判别模型的网络参数的迭代更新的次数大于等于预设次数时，停止更新图像判别模型的网络参数，并以最后一次迭代更新获得的图像判别模型的网络参数作为更新后的图像判别模型的网络参数，获得更新后的图像判别模型。
在一个更新周期内，每次更新图像生成模型的网络参数前迭代更新图像判别模型的网络参数，提高了预设的GAN获得的重建图像与真实图像的相似度和清晰度。
S3032、固定所述更新后的图像判别模型中的网络参数不变，根据所述图像判别模型的输出结果和第二预设损失函数，更新所述图像生成模型中的网络参数，获取更新后的图像生成模型。
本实施例中，在每次更新完图像判别模型后，按照公式6更新图像生成模型，在更新图像生成模型时，采用梯度下降法。此时，保持图像判别模型的网络参数不变，且图像判别模型的网络参数为刚刚更新后的网络参数。其中，在更新图像生成模型时，使VG的结果对应的值的大小尽可能的小。
本实施例，通过PCA获取样本真实图像中每张样本真实图像的特征编码，以及通过PCA获取与每张样本真实图像对应的神经信号的特征坐标，将采用PCA获取的样本真实图像中每张样本真实图像的特征编码输入到GAN中，对GAN进行更新，即将PCA和GAN结合，获取预设的GAN，使根据预设的GAN获得的重建图像与真实图像的相似度高于采用PCA获得的重建图像与真实图像的相似度，并且，根据预设的GAN获得的重建图像中没有伪影，提高了重建图像的相似度。
图3为本发明一实施例提供的图像重建装置的结构示意图，如图3所示，本实施例提供的图像重建装置可以包括：获取模块31、重建模块32。可选的，图像重建装置还可以包括：关联模块33。可选的，图像重建装置还可以包括：更新模块34。可选的，更新模块34可以包括：第一更新子模块341和第二更新子模块342。其中，
获取模块31，用于利用PCA获取待进行图像重建的神经信号的特征坐标；根据所述待进行图像重建的神经信号的特征坐标获取待进行图像重建的神经信号的特征编码，其中，所述特征编码用来表示所述待进行图像重建的神经信号对应的原始图像的特征，所述原始图像为通过视觉看到的物体的真实图像。
重建模块32，用于根据所述特征编码和训练后的生成式对抗网络对所述待进行图像重建的神经信号进行图像重建，获取重建后的图像。
所述获取模块31在根据所述神经信号的特征坐标，获取所述神经信号的特征编码之前，还用于：
通过PCA获取N张样本真实图像中每张样本真实图像的特征编码，其中，N为大于或等于1的正整数。
通过PCA获取所述每张样本真实图像对应的神经信号的特征坐标。
所述关联模块33，用于建立所述每张样本真实图像的特征编码，与，所述每张样本真实图像对应的神经信号的特征坐标之间的映射关系。
所述获取模块31根据所述神经信号的特征坐标，获取所述神经信号的特征编码时，具体用于：
根据所述神经信号的特征坐标和所述映射关系，获取所述神经信号的特征编码。
在一些实施例中，所述获取模块31通过PCA获取N张样本真实图像中每张样本真实图像的特征编码时，具体用于：
获取所述N张样本真实图像的平均图像。
根据所述每张样本真实图像与所述平均图像之间的像素差值，获得第一矩阵；所述第一矩阵的行数等于所述平均图像的像素个数，列数等于所述N，或者，所述第一矩阵的行数等于所述N，列数等于所述平均图像的像素个数。
获取所述第一矩阵的特征向量。
根据所述第一矩阵的特征向量，获取第二矩阵，所述第二矩阵的行数等于所述第一矩阵的行数，所述第二矩阵的列数等于所述第一矩阵的列数。
获取所述每张样本真实图像在所述第二矩阵构成的特征空间下的特征坐标，将所述特征坐标作为所述每张样本真实图像的特征编码。
在一些实施例中，所述获取模块31根据所述第一矩阵的特征向量，获取第二矩阵时，具体用于：
按照所述特征向量对应的特征值的大小顺序，将所述特征向量进行组合，获取第三矩阵。
根据所述第三矩阵中特征值最大的前L列对应的特征向量，获得所述第二矩阵，L为大于等于1且小于等于N的整数。
所述获取模块31，还用于在所述重建模块32根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像之前，将所述每张样本真实图像的特征编码和随机信号输入至生成式对抗网络中的图像生成模型中，获取与所述每张样本真实图像对应的重建图像。
所述获取模块31，还用于将所述每张样本真实图像对应的重建图像以及该样本真实图像分别输入生成式对抗网络中的图像判别模型，获取所述图像判别模型的输出结果；其中，所述输出结果中包括所述图像判别模型获得的所述每张样本真实图像的特征编码、所述每张样本真实图像对应的重建图像的特征编码。
所述更新模块34，用于根据图像判别模型的输出结果，更新所述图像生成模型和图像判别模型中的网络参数，获取所述预设的生成式对抗网络；
其中，所述预设的生成对抗网络包括更新后的图像生成模型和更新后的图像判别模型。固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，迭代更新所述图像判别模型的网络参数。
当迭代次数大于等于预设次数时，迭代更新所述图像判别模型的网络参数，根据最后一次迭代更新获得的所述图像判别模型的网络参数，获取更新后的图像判别模型。
所述第一更新子模块341，用于固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，更新所述图像判别模型中的网络参数，获取更新后的图像判别模型。
所述第二更新子模块342，用于固定所述更新后的图像判别模型中的网络参数不变，根据所述图像判别模型的输出结果和第二预设损失函数，更新所述图像生成模型中的网络参数，获取更新后的图像生成模型。
在一些实施例中，所述第一更新子模块341固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，更新所述图像判别模型中的网络参数，获取更新后的图像判别模型时，具体用于：
固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，迭代更新所述图像判别模型的网络参数。
当迭代次数大于等于预设次数时，迭代更新所述图像判别模型的网络参数，根据最后一次迭代更新获得的所述图像判别模型的网络参数，获取更新后的图像判别模型。
本实施例以上所述的图像重建装置，可以用于执行上述各方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
图4为本发明一实施例提供的电子设备的结构示意图，本实施例的电子设备例如可以是计算机，如图4所示，本实施例的电子设备可以包括：至少一个处理器41和存储器42。图4示出的是以一个处理器为例的电子设备，其中，
存储器42，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器42可能包含高速随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器41，用于执行所述存储器42存储的计算机执行指令，以实现上述实施例中的图像重建方法。
其中，处理器41可能是图形处理器(Graphics Processing Unit，GPU)，或者是一个中央处理器(Central Processing Unit，CPU)，或者是特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
可选的，在具体实现上，如果存储器42和处理器41独立实现，则存储器42和处理器41可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器42和处理器41集成在一块芯片上实现，则存储器42和处理器41可以通过内部接口完成相同间的通信。
本实施例以上所述的电子设备，可以用于执行上述各方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：只读存储器(Read-Only Memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种图像重建方法，其特征在于，包括：
通过主成分分析方法PCA获取神经信号的特征坐标，所述神经信号用于重建图像；
根据所述神经信号的特征坐标，获取所述神经信号的特征编码，其中，所述特征编码用于指示所述神经信号对应的真实图像的特征，所述真实图像为通过视觉看到的物体的图像；
根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述神经信号的特征坐标，获取所述神经信号的特征编码之前，还包括：
通过PCA获取N张样本真实图像中每张样本真实图像的特征编码，其中，N为大于或等于1的正整数；
通过PCA获取所述每张样本真实图像对应的神经信号的特征坐标；
建立所述每张样本真实图像的特征编码，与，所述每张样本真实图像对应的神经信号的特征坐标之间的映射关系；
所述根据所述神经信号的特征坐标，获取所述神经信号的特征编码，包括：
根据所述神经信号的特征坐标和所述映射关系，获取所述神经信号的特征编码。
3.根据权利要求2所述的方法，其特征在于，所述通过PCA获取N张样本真实图像中每张样本真实图像的特征编码，包括：
获取所述N张样本真实图像的平均图像；
根据所述每张样本真实图像与所述平均图像之间的像素差值，获得第一矩阵；所述第一矩阵的行数等于所述平均图像的像素个数，列数等于所述N，或者，所述第一矩阵的行数等于所述N，列数等于所述平均图像的像素个数；
获取所述第一矩阵的特征向量；
根据所述第一矩阵的特征向量，获取第二矩阵，所述第二矩阵的行数等于所述第一矩阵的行数，所述第二矩阵的列数小于或等于所述第一矩阵的列数；
获取所述每张样本真实图像在所述第二矩阵构成的特征空间下的特征坐标，将所述特征坐标作为所述每张样本真实图像的特征编码。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一矩阵的特征向量，获取第二矩阵，包括：
按照所述特征向量对应的特征值的大小顺序，将所述特征向量进行组合，获取第三矩阵；
根据所述第三矩阵中特征值最大的前L列对应的特征向量，获得所述第二矩阵，L为大于等于1且小于等于所述第一矩阵的列数的整数。
5.根据权利要求2所述的方法，其特征在于，所述根据所述特征编码和预设的生成式对抗网络中的图像生成模型，进行图像重建，获取所述神经信号对应的重建图像之前，还包括：
将所述每张样本真实图像的特征编码和随机信号输入至生成式对抗网络中的图像生成模型中，获取与所述每张样本真实图像对应的重建图像；
将所述每张样本真实图像对应的重建图像以及该样本真实图像分别输入生成式对抗网络中的图像判别模型，获取所述图像判别模型的输出结果；其中，所述输出结果中包括所述图像判别模型获得的所述每张样本真实图像的特征编码、所述每张样本真实图像对应的重建图像的特征编码；
根据图像判别模型的输出结果，更新所述图像生成模型和图像判别模型中的网络参数，获取所述预设的生成式对抗网络；
其中，所述预设的生成对抗网络包括更新后的图像生成模型和更新后的图像判别模型。
6.根据权利要求5所述的方法，其特征在于，所述根据图像判别模型的输出结果，更新所述图像生成模型和图像判别模型中的网络参数，获取所述预设的生成式对抗网络，包括：
固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，更新所述图像判别模型中的网络参数，获取更新后的图像判别模型；
固定所述更新后的图像判别模型中的网络参数不变，根据所述图像判别模型的输出结果和第二预设损失函数，更新所述图像生成模型中的网络参数，获取更新后的图像生成模型。
7.根据权利要求6所述的方法，其特征在于，所述固定所述图像生成模型中的网络参数，根据所述图像判别模型的输出结果和第一预设损失函数，更新所述图像判别模型的网络参数，获取更新后的图像判别模型，包括：
固定所述图像生成模型中的网络参数不变，根据所述图像判别模型的输出结果和第一预设损失函数，迭代更新所述图像判别模型的网络参数；
当迭代次数大于等于预设次数时，迭代更新所述图像判别模型的网络参数，根据最后一次迭代更新获得的所述图像判别模型的网络参数，获取更新后的图像判别模型。
8.一种图像重建装置，其特征在于，包括：
获取模块，用于通过PCA获取待进行图像重建的神经信号的特征坐标；根据所述待进行图像重建的神经信号的特征坐标获取待进行图像重建的神经信号的特征编码，其中，所述特征编码用来表示所述待进行图像重建的神经信号对应的原始图像的特征，所述原始图像为通过视觉看到的物体的真实图像；
重建模块，用于根据所述特征编码和训练后的生成式对抗网络对所述待进行图像重建的神经信号进行图像重建，获取重建后的图像。
9.一种电子设备，其特征在于，包括：存储器和处理器，存储器用于存储程序指令，处理器用于调用存储器中的程序指令执行如权利要求1-7任一项所述的图像重建方法。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序；所述计算机程序被执行时，实现如权利要求1-7任一项所述的图像重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910375952.4A CN110148194B (zh) | 2019-05-07 | 2019-05-07 | 图像重建方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910375952.4A CN110148194B (zh) | 2019-05-07 | 2019-05-07 | 图像重建方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110148194A true CN110148194A (zh) | 2019-08-20 |
| CN110148194B CN110148194B (zh) | 2021-03-16 |
Family
ID=67595024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910375952.4A Expired - Fee Related CN110148194B (zh) | 2019-05-07 | 2019-05-07 | 图像重建方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110148194B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021184195A1 (zh) * | 2020-03-17 | 2021-09-23 | 中国科学院深圳先进技术研究院 | 医学图像重建方法、医学图像重建网络训练方法和装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6944319B1 (en) * | 1999-09-13 | 2005-09-13 | Microsoft Corporation | Pose-invariant face recognition system and process |
| CN104835507A (zh) * | 2015-03-30 | 2015-08-12 | 渤海大学 | 一种串并结合的多模式情感信息融合与识别方法 |
| US20160019693A1 (en) * | 2014-07-15 | 2016-01-21 | The Brigham And Women's Hospital | Systems and methods for generating biomarkers based on multivariate classification of functional imaging and associated data |
| EP3190542A1 (en) * | 2014-09-05 | 2017-07-12 | Universidad Politécnica de Valencia | Method and system for generating multiparametric nosological images |
| CN108288072A (zh) * | 2018-01-26 | 2018-07-17 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的面部表情合成方法 |
| CN109215126A (zh) * | 2018-09-21 | 2019-01-15 | 广州图语信息科技有限公司 | 基于低质量三维人脸点云的重构方法、装置及处理终端 |
| CN109522973A (zh) * | 2019-01-17 | 2019-03-26 | 云南大学 | 基于生成式对抗网络与半监督学习的医疗大数据分类方法及*** |
| CN109589092A (zh) * | 2018-10-08 | 2019-04-09 | 广州市本真网络科技有限公司 | 基于集成学习的阿尔茨海默症确定方法及*** |
| CN109711364A (zh) * | 2018-12-29 | 2019-05-03 | 成都视观天下科技有限公司 | 一种人脸图像超分辨重建方法、装置及计算机设备 |
-
2019
- 2019-05-07 CN CN201910375952.4A patent/CN110148194B/zh not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6944319B1 (en) * | 1999-09-13 | 2005-09-13 | Microsoft Corporation | Pose-invariant face recognition system and process |
| US20160019693A1 (en) * | 2014-07-15 | 2016-01-21 | The Brigham And Women's Hospital | Systems and methods for generating biomarkers based on multivariate classification of functional imaging and associated data |
| EP3190542A1 (en) * | 2014-09-05 | 2017-07-12 | Universidad Politécnica de Valencia | Method and system for generating multiparametric nosological images |
| CN104835507A (zh) * | 2015-03-30 | 2015-08-12 | 渤海大学 | 一种串并结合的多模式情感信息融合与识别方法 |
| CN108288072A (zh) * | 2018-01-26 | 2018-07-17 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的面部表情合成方法 |
| CN109215126A (zh) * | 2018-09-21 | 2019-01-15 | 广州图语信息科技有限公司 | 基于低质量三维人脸点云的重构方法、装置及处理终端 |
| CN109589092A (zh) * | 2018-10-08 | 2019-04-09 | 广州市本真网络科技有限公司 | 基于集成学习的阿尔茨海默症确定方法及*** |
| CN109711364A (zh) * | 2018-12-29 | 2019-05-03 | 成都视观天下科技有限公司 | 一种人脸图像超分辨重建方法、装置及计算机设备 |
| CN109522973A (zh) * | 2019-01-17 | 2019-03-26 | 云南大学 | 基于生成式对抗网络与半监督学习的医疗大数据分类方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| ALAN S. COWEN 等: "Neural portraits of perception: Reconstructing face images from evoked brain activity", 《NEUROIMAGE》 * |
| 宋文娟 等: "一种应用PCA的人脸图像集识别方法", 《现代计算机》 * |
| 杨胜凯: "基于核主成分分析的特征变换研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021184195A1 (zh) * | 2020-03-17 | 2021-09-23 | 中国科学院深圳先进技术研究院 | 医学图像重建方法、医学图像重建网络训练方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110148194B (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN109255831B (zh) | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 | |
| CN108648197B (zh) | 一种基于图像背景掩膜的目标候选区域提取方法 | |
| CN107392973B (zh) | 像素级手写体汉字自动生成方法、存储设备、处理装置 | |
| CN108122234A (zh) | 卷积神经网络训练及视频处理方法、装置和电子设备 | |
| US20220270207A1 (en) | Image processing method, apparatus, device, and computer-readable storage medium | |
| CN108229276A (zh) | 神经网络训练及图像处理方法、装置和电子设备 | |
| CN110717857A (zh) | 超分辨率图像重构方法和装置 | |
| CN110929637B (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| CN103503032B (zh) | 图形硬件中的纹理化 | |
| CN109035142A (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
| CN111583135B (zh) | 一种核预测神经网络蒙特卡罗渲染图像去噪方法 | |
| CN108537794A (zh) | 医学图像数据处理方法、装置和计算机可读存储介质 | |
| CN109754402A (zh) | 图像处理方法、图像处理装置以及存储介质 | |
| CN109993707A (zh) | 图像去噪方法和装置 | |
| CN111835983B (zh) | 一种基于生成对抗网络的多曝光图高动态范围成像方法及*** | |
| CN113159143B (zh) | 基于跳跃连接卷积层的红外与可见光图像融合方法和装置 | |
| CN113269858B (zh) | 虚拟场景渲染方法、装置、计算机设备和存储介质 | |
| Han et al. | STNet: An end-to-end generative framework for synthesizing spatiotemporal super-resolution volumes | |
| CN109215123A (zh) | 基于cGAN的无限地形生成方法、***、存储介质和终端 | |
| CN110517352B (zh) | 一种物体的三维重建方法、存储介质、终端及*** | |
| CN109087375A (zh) | 基于深度学习的图像空洞填充方法 | |
| CN110210492A (zh) | 一种基于深度学习的立体图像视觉显著性检测方法 | |
| CN110197183A (zh) | 一种图像盲去噪的方法、装置和计算机设备 | |
| CN113269677A (zh) | 基于无监督学习的hsi超分辨重建方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210316 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |