CN112133366A - 基于基因数据和生成对抗卷积神经网络的面型预测方法 - Google Patents
基于基因数据和生成对抗卷积神经网络的面型预测方法 Download PDFInfo
- Publication number
- CN112133366A CN112133366A CN202010930573.XA CN202010930573A CN112133366A CN 112133366 A CN112133366 A CN 112133366A CN 202010930573 A CN202010930573 A CN 202010930573A CN 112133366 A CN112133366 A CN 112133366A
- Authority
- CN
- China
- Prior art keywords
- feature
- data
- map
- feature map
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 108090000623 proteins and genes Proteins 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 56
- 230000001815 facial effect Effects 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000002591 computed tomography Methods 0.000 claims abstract description 7
- 210000003625 skull Anatomy 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 230000002068 genetic effect Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 101150005355 36 gene Proteins 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 210000000697 sensory organ Anatomy 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011425 standardization method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B10/00—ICT specially adapted for evolutionary bioinformatics, e.g. phylogenetic tree construction or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Biotechnology (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Physiology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于基因数据和生成对抗卷积神经网络的面型预测方法，包括以下步骤：S1：对人体颅骨CT扫描图进行数据预处理，并结合相应的基因数据，制作数据集；S2：搭建卷积神经网络；S3：使用训练样本训练步骤S2中搭建好的卷积神经网络，每训练四轮，便用模型对检测样本进行检测，评判生成的预测面型；S4：选取步骤S4中效果最好的一轮作为最终结果。本发明利用深度学习技术，通过卷积神经网络自动提取特征，模型只需要输入基因序列，就可以在很短的时间内计算出基因所对应的完整面部形态，实现端到端的预测。在提高了预测效率的同时，保证了可观的预测准确率。
Description
技术领域
本发明属于遗传医学领域，结合计算机技术，涉及一种基于基因数据的面型预测方法。
背景技术
通过基因预测人体的面部形态在刑侦以及法医领域一直是研究的热点，然而传统的算法算力有限，难以完全发掘出基因数据与面部形态之间复杂的关联性。
目前传统的基于基因预测面部形态的方法主要还是使用机器学习的一些算法，有很多的手工交互工作，例如需要对大量的数据进行手动标记，人工进行数据清理等，不仅处理流程复杂，能够提取到的特征信息也非常有限。
发明内容
为解决上述问题，本发明提出了一种基于基因数据和生成对抗卷积神经网络的面型预测方法，利用深度学习技术，通过卷积神经网络自动提取特征，模型只需要输入基因序列，就可以在很短的时间内计算出基因所对应的完整面部形态，实现端到端的预测。在提高了预测效率的同时，保证了可观的预测准确率。
为了达到上述目的，本发明提供如下技术方案：
基于基因数据和生成对抗卷积神经网络的面型预测方法，包括如下步骤：
S1：根据人体颅骨CT扫描图像和基因数据制作数据集，并选择训练样本和测试样本；
S2：利用生成器子网络G(x)与判别器子网络D(x)搭建卷积神经网络；
S3：使用训练样本训练步骤S2中搭建好的卷积神经网络，每训练四轮，便用模型对检测样本进行检测，评判生成的预测面型；
S4：选取步骤S3中效果最好一轮对应的模型作为最终结果。
进一步的，所述步骤S1具体包括如下子步骤：
S1.1：对颅骨CT图像进行阈值分割，得到三维面型点云数据；
S1.2：参考已经发表的与面部特征相关联的基因位点，得到样本的基因数据集；
S1.3：对步骤S1.1中得到的三维面型点云数据进行标准化处理后，柱体投影得到二维人脸高程图；
S1.4：通过下式对S1.3得到的二维人脸高程图在像素值上求平均：
其中xi代表二维人脸高程图，M代表得到的平均脸人脸高程图；
S1.5：划分训练集与测试集，训练集中为正样本对、不匹配样本对、负样本对，测试集中样本包括M、人脸高程图及其对应的基因数据。
进一步的，所述步骤S1.1包括如下子步骤：
S1.1.1：对于CT扫描图的每一层，使用反锐化掩膜算法对图像进行边缘增强，设置参数α；
S1.1.2：使用一个滑动窗口对图像进行阈值分割处理；
S1.1.3：对步骤S1.1.2得到的图像建立坐标轴，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x，以y轴为准线进行裁剪，保留x上半轴图像；遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分脸的点云数据，其中x,y轴不变，垂直于x,y轴的向上的轴为z。
进一步的，所述步骤S1.1.2中的阈值分割处理包括如下过程：窗口大小为7*7，首先对滑动窗口内的所有CT值进行升序排序，然后选择排在第7*7*0.8个的CT值和先验阈值500进行比较，取较大值作为最终的阈值进行分割；小于阈值的像素值置为零，反之保存原值。
进一步的，所述步骤S1.3包括如下子步骤：
S1.3.1：遍历每一层图像的点云数据点，计算真实角度，并按角度从小到大排序；
S1.3.2：遍历数据点的角度，分别找角度为0°、0.5°、1°、1.5°……179.5°的点；如果角度
上的点P存在，则直接保存该点坐标；否则使用相邻的两个数据点，通过线性插值求出
对应的点的坐标；具体为连接指定的两个相邻数据点A(xa,ya),B(xb,yb)，计算该线段l1的直线方程式
线段l2方程
建立方程式组求解交点，即为角度
所对应的数据点；
S1.3.3：对于步骤S1.3.2所得到的点云数据，在软件Geomagic Studio中可视化并手工标注8个特征点，分别为4个眼角位置、2个鼻翼位置、2个嘴角位置，最后在软件中进行N点对齐操作，使得所有的三维人脸五官位置一致；
S1.3.4：将步骤S1.3.3对齐后的三维点云数据从原来的470层扩展到512层，即扩展后的每层间隔为原来的0.919，数据点z坐标除以0.919再向下取整为新的层数，计算每一个数据点的真实角度，并按照角度从小到大排序；
S1.3.5：寻找第N层角度为α的点H(xh,yh,N)，遍历第N-1层数据点，找与α相邻且角度差距不超过4°的两个点C(xc,yc,zc),D(xd,yd,zd)；若存在，则连接CD，直线方程式为
求解直线CD与Y＝tanαx的交点
遍历第N层数据点，找与α相邻且角度差距不超过4°的两个点E(xe,ye,ze),F(xf,yf,zf)；若存在，则连接EF，直线方程式为
求解直线EF与Y＝tanαx的交点
则
其中w11＝w1/(w1+w2)，w22＝w2/(w1+w2)，w1＝(zc+zd)/2–N，w2＝(ze+zf)/2–N，N为层数；若CD不存在，则w22＝0，若EF不存在，则w11＝0；
S1.3.6：对步骤S1.3.5得到的点云数据进行柱体投影,得到二维人脸高程图f。
进一步的，所述步骤S1.3.6具体包括如下过程：以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的y轴坐标值；对于当前层，扫描每个数据点，每个数据点的角度
作为投影后的x轴坐标值，该点与投影轴的距离
作为投影后对应坐标上的像素值,即
最终得到512*360大小的二维人脸高程图。
进一步的，所述步骤S2中，生成器子网络包括基因特征提取模块、特征编码模块、特征解码模块，其工作流程为：首先向基因特征提取模块输入1*36的基因数据，经过第一层全连接层得到256*1的特征向量，leaky_relu激活后，经过第二层全连接层得到360448*1的特征向量，然后Group Norm,reshape得到32*22*512的特征图再进行激活；之后再依次经过4层上采样块后leaky_relu激活分别得到64*45*256、128*90*128、256*180*64、512*360*32的特征图，最后与输入的M 512*360*1在“通道”维度上连接；其次在特征编码模块中，512*360*33的特征图依次经过下采样块1、2、3、4、5、6分别得到256*180*64、128*90*128、64*45*256，32*23*512，16*12*512，8*6*512的特征图，至此，下采样提取特征完成；最后在特征解码模块中，8*6*512的特征图经过上采样块1得到16*12*512的特征图，再与之前经过下采样块5得到的16*12*512的特征图在“通道”维度上连接得到16*12*1024的特征图，然后经过leaky_relu激活；之后将此16*12*1024的特征图再经过上采样块2得到32*23*512的特征图，将该特征图与之前经过下采样4得到的32*23*512的特征图在“通道”维度上连接得到32*23*1024的特征图；激活后将此32*23*1024的特征图再经过上采样块3得到64*45*256的特征图，将该特征图与之前经过下采样3得到的64*45*256的特征图在“通道”维度上连接得到64*45*512的特征图；激活后将此64*45*512的特征图再经过上采样块4得到128*90*128的特征图，将该特征图与之前经过下采样2得到的128*90*128的特征图在“通道”维度上连接得到128*90*256的特征图；激活后将此128*90*256的特征图再经过上采样块5得到256*180*64的特征图，将该特征图与之前经过下采样1得到的256*180*64的特征图在“通道”维度上连接得到256*180*128的特征图；然后256*180*128的特征图经过线性插值得到512*360*128的特征图，再经过一层卷积层得到512*360*1的特征图，经tanh激活，至此图像重构完成；
判别器子网络的具体工作流程为：
将生成器子网络生成的预测人脸高程图及其对应的基因、标签人脸高程图及其对应的基因、标签人脸高程图及其非对应基因输入到判别器子网络中，输入的人脸高程图大小为512*360*1，基因数据为1*36；基因数据添加维度并进行复制得到512*360*36大小的特征图后，与512*360*1的人脸高程图在“通道”维度上连接得到512*360*37特征图；特征图先经过一层卷积层得到256*180*64的特征图，之后通过一层leaky_Relu激活，之后依次经过下采样块1、2、3、4分别得到128*90*128、64*45*256、32*23*512、16*12*512的特征图，之后16*12*512特征图折叠为一维向量98304，再经过一层全连接层得到一个数值，最后经过sigmoid层得到最终的概率结果。
进一步的，所述步骤S3中训练过程包括如下子步骤：
(1)从训练集中随机选取400个样本{(M，g1)、(M，g2)……(M，g400)}输入到生成器子网络中G(x)中,G(x)根据基因信息得到预测面型
其中基因数据{g1、g2、……、g400}所对应的人脸高程图为{f1、f2、……、f400}；
(2)将{(f1,g1)、(f2,g2)、……(f400,g400)}、{(fi,gj)||i≠j}、
输入到判别器子网络D(x)中，D(x)给出是基因所对应的真实人脸的概率
(3)利用梯度下降算法减小损失函数函数值，优化生成器子网络，使用的优化器为自适应矩估计优化器,根据迭代次数设定学习率，使用的损失函数为
λ值能够设定，
代表交叉熵误差，MSE(G(x),y)代表为MSE误差，其中：
D(G(x)|x)表示判别器的输入是预测面部高程图和基因序列的拼接；
(4)利用梯度下降算法减小损失函数函数值，优化判别器子网络，使用的优化器为自适应矩估计优化器、根据迭代次数设定学习率，使用的损失函数为:
损失函数中，
分别是对正样本对、负样本对和不匹配样本对的判别损失；
(5)设置每次送入网络中训练的训练样本个数batchsize＝4,每训练一次判别器，训练两次生成器；按步骤(2)和步骤(4)预训练判别器，所有训练样本训练5次；然后重复步骤(1)～(4)直至训练集中所有的图片都参与了训练。
进一步的，所述步骤S3中测试过程具体包括如下子步骤：
(1)将测试集中的样本{(f1,g1)、(f2,g2)、……(f72,g72)}输入到生成器子网络G(x)中，得到预测面型图像
(2)计算
与f之间的均方误差MSE(Mean Squared Error):
(3)通过步骤(2)中评判指标评判生成预测面型的效果。
进一步的，步骤S4中所述效果最好的模型选取为MSE最小的模型。
与现有技术相比，本发明具有如下优点和有益效果：
本发明利用端到端的神经网络结构自动提取特征，利用基因对面型的关联性影响，实现对面型的预测，与传统方法相比，简化了处理流程，解决了传统算法算力不足的缺陷，提升了预测精度和整体效率。
附图说明
图1为柱体投影后的512*360*1大小的二维人脸高程图；
图2为本发明的网络结构；
图3为生成器子网络的结构图；
图4为网络中上采样块的结构图；
图5为网络中下采样块的结构图；
图6为判别器子网络的结构图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提出的基于基因数据和生成对抗卷积神经网络的面型预测方法，包括如下步骤：
S1：根据人体颅骨CT扫描图像和基因数据制作数据集，数据集制作过程包括：
S1.1：对颅骨CT图像进行阈值分割，得到三维面型点云数据，具体阈值分割操作为：
S1.1.1：对于CT扫描图的每一层，使用反锐化掩膜算法对图像进行边缘增强，参数α＝2；
S1.1.2：使用一个滑动窗口对图像进行阈值分割处理。窗口大小为7*7，首先对滑动窗口内的所有CT值进行升序排序，然后选择排在第7*7*0.8个的CT值和先验阈值500进行比较，取较大值作为最终的阈值进行分割。小于阈值的像素值置为零，反之保存原值；
S1.1.3：对S1.1.2得到的图像建立坐标轴，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x。以y轴为准线进行裁剪，保留x上半轴图像。遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分脸的点云数据，其中x,y轴不变，垂直于x,y轴的向上的轴为z；
S1.2：参考目前相关文献已经发表的与面部特征相关联的基因位点，得到样本的基因数据集；
S1.3：对S1.1中得到的三维面型点云数据进行标准化处理后，柱体投影得到二维人脸高程图，具体标准化方法和投影方法如下：
S1.3.1：由于从CT扫描图中获取的点云数据坐标值都是整数，且计算的角度都是经过向下处理，因此每层的点对应的角度不是等间隔的。首先遍历每一层图像的点云数据点，计算真实角度，并按角度从小到大排序；
S1.3.2：遍历数据点的角度，分别找角度为0°、0.5°、1°、1.5°……179.5°的点。如果角度
上的点P存在，则直接保存该点坐标。否则使用相邻的两个数据点，通过线性插值求出
对应的点的坐标。具体为连接指定的两个相邻数据点A(xa,ya),B(xb,yb)，计算该线段l1的直线方程式
线段l2方程
建立方程式组求解交点，即为角度
所对应的数据点；
S1.3.3：对于S1.3.2所得到的点云数据，在软件Geomagic Studio中可视化并手工标注8个特征点，分别为4个眼角位置、2个鼻翼位置、2个嘴角位置，最后利用软件功能进行N点对齐操作，使得所有的三维人脸在五官上尽可能处于同一位置；
S1.3.4：S1.3.3对齐后的三维点云数据，在角度上发生了偏移，因此需要在三维点云基础上再一次求解精确角度。具体为将原来的470层扩展到512层，即扩展后的每层间隔为原来的0.919，按照这个间隔，数据点z坐标除以0.919再向下取整为新的层数，计算每一个数据点的真实角度，并按照角度从小到大排序；
S1.3.5：寻找第N层角度为α的点H(xh,yh,N)，遍历第N-1层数据点，找与α相邻且角度差距不超过4°的两个点C(xc,yc,zc),D(xd,yd,zd)。若存在，则连接CD，直线方程式为
求解直线CD与Y＝tanαx的交点
遍历第N层数据点。找与α相邻且角度差距不超过4°的两个点E(xe,ye,ze),F(xf,yf,zf)。若存在，则连接EF，直线方程式为
求解直线EF与Y＝tanαx的交点
则
其中w11＝w1/(w1+w2)，w22＝w2/(w1+w2)，w1＝(zc+zd)/2–N，w2＝(ze+zf)/2–N。若CD不存在，则w22＝0，若EF不存在，则w11＝0。
S1.3.6：对S1.3.5得到的点云数据进行柱体投影,得到二维人脸高程图f。以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的y轴坐标值。对于当前层，扫描每个数据点，每个数据点的角度
作为投影后的x轴坐标值，该点与投影轴的距离
作为投影后对应坐标上的像素值,即
最终得到512*360大小的二维人脸高程图，如图1所示；
S1.4：通过下式对S1.3.6得到的二维人脸高程图在像素值上求平均：
得到平均脸人脸高程图M,其中xi代表二维人脸高程图；
S1.5：划分训练集与测试集，训练集中为正样本对(M、人脸高程图及其对应的基因数据)、不匹配样本对(M、人脸高程图及其非对应基因数据)负样本对(M、预测的人脸高程图及其对应的基因数据)，测试集中为M，人脸高程图及其对应的基因数据。
S2：根据训练样本的样本特征搭建卷积神经网络，该网络由生成器子网络G(x)与判别器子网络D(x)构成如图2所示；
生成器子网络具体结构如图3所示，包括基因特征提取模块、特征编码模块、特征解码模块。如图4所示，图中的“上采样块”的结构为UpSampling->Conv->GN。如图5所示，图中的“下采样块”的结构为Conv->GN->leaky_Relu。图中，Conv代表卷积层、leaky_Relu代表leaky_Relu激活层——leaky_relu(x)＝max(0.1x,x)、GN代表Group Normalization层——组归一化；图中的“tanh”则代表tanh激活层——
图中的“Concat”则代表两个特征图在“通道”这一维度上连接。
生成器子网络本质上是一个图像生成器，它能够对输入图像进行重构。生成器子网络首先会对输入基因进行特征提取，然后通过上采样得到特征图并与平均脸“通道”相连，之后会对此特征图进行编码解码预测面型。在训练阶段，将平均脸和基因作为输入，生成器子网络通过“基因特征提取模块—特征编码模块——特征解码模块”的过程对输入重构。之后根据重构结果以及对抗自网络结果计算损失函数，再利用梯度下降算法优化损失函数从而达到优化生成器的目的。生成器子网络的具体工作流程为：
首先基因特征提取模块输入1*36的基因数据，经过第一层全连接层(FC1)得到256*1的特征向量，leak_relu激活后，经过第二层全连接层(FC2)得到360448*1的特征向量，然后groupnorm,reshape得到32*22*512的特征图再进行激活。之后再依次经过4层上采样块后leak_relu激活分别得到64*45*256、128*90*128、256*180*64、512*360*32的特征图，最后与输入的M 512*360*1在“通道”维度上连接；其次特征编码模块，512*360*33的特征图依次经过下采样块1、2、3、4、5、6分别得到256*180*64、128*90*128、64*45*256，32*23*512，16*12*512，8*6*512的特征图，至此，下采样提取特征完成；最后特征解码模块，8*6*512的特征图经过上采样块1得到16*12*512的特征图，再与之前经过下采样块5得到的16*12*512的特征图在“通道”维度上连接得到16*12*1024的特征图，然后经过leak_relu激活。之后将此16*12*1024的特征图再经过上采样块2得到32*23*512的特征图，将该特征图与之前经过下采样4得到的32*23*512的特征图在“通道”维度上连接得到32*23*1024的特征图。激活后将此32*23*1024的特征图再经过上采样块3得到64*45*256的特征图，将该特征图与之前经过下采样3得到的64*45*256的特征图在“通道”维度上连接得到64*45*512的特征图。激活后将此64*45*512的特征图再经过上采样块4得到128*90*128的特征图，将该特征图与之前经过下采样2得到的128*90*128的特征图在“通道”维度上连接得到128*90*256的特征图。激活后将此128*90*256的特征图再经过上采样块5得到256*180*64的特征图，将该特征图与之前经过下采样1得到的256*180*64的特征图在“通道”维度上连接得到256*180*128的特征图。然后256*180*128的特征图经过线性插值得到512*360*128的特征图，再经过一层卷积层得到512*360*1的特征图，经tanh激活，至此图像重构完成。
判别器子网络具体结构如图6所示，其中，expand_dims代表添加维度、Sigmoid代表sigmoid激活层——
判别器子网络用于分辨出人脸高程图是否是基因所对应的真实图像。因此，它所用训练的图像样本由三类构成——人脸高程图及其对应的基因、生成的人脸高程图及其对应的基因、人脸高程图及其非对应基因。训练阶段，判别器子网络会先对基因进行维度处理，将基因与人脸高程图“通道“相连，然后提取特征，再凭借这些特征对拼接图像给出一个对应基因的真图概率(概率在0到1之间，0代表非对应基因的真图，1代表是对应基因的真图)。之后会利用梯度下降算法减小判别器结果与真实值之间的误差即损失函数函数值，从而达到优化判别器子网络的目的。判别器子网络的具体工作流程为：
将生成器子网络生成的预测人脸高程图及其对应的基因、标签人脸高程图及其对应的基因、标签人脸高程图及其非对应基因作为输入到判别器子网络中，输入的人脸高程图大小为512*360*1，基因数据为1*36。基因数据添加维度并进行复制得到512*360*36大小的特征图后，与512*360*1的人脸高程图在“通道”维度上连接得到512*360*37特征图。特征图先经过一层卷积层得到256*180*64的特征图，之后通过一层leak_Relu激活，之后依次经过下采样块1、2、3、4分别得到128*90*128、64*45*256、32*23*512、16*12*512的特征图，之后16*12*512特征图折叠为一维向量98304，再经过一层全连接层得到一个数值，最后经过sigmoid层得到最终的概率结果。
S3：使用训练样本训练步骤S2中搭建好的卷积神经网络，每训练五轮，便用模型对测试样本进行测试，评判生成的人脸高程图，共计训练400轮；
模型的训练采用了GAN网络(GenerativeAdversarial Networks)的“对抗训练”的思想——生成器通过训练尽可能提升性能，使判别器无法分辨生成图片的真假；而判别器则需要通过训练获得能够分辨图片真假的性能。每一轮训练具体流程包括：
(1)从训练集中随机选取400个样本{(M,g1)、(M,g2)、……(M,g400)}输入到生成器子网络中G(x)中,G(x)根据基因信息得到预测面型
其中基因数据{g1、g2、……、g400}所对应的人脸高程图为{f1、f2、……、f400}；
(2)将{(f1,g1)、(f2,g2)、……(f400,g400)}、{(fi,gj)||i≠j}、
输入到判别器子网络D(x)中，D(x)给出是基因所对应的真实人脸的概率
(3)利用梯度下降算法减小损失函数函数值，优化生成器子网络，使用的优化器为自适应矩估计(Adam)优化器,根据迭代次数设定学习率，使用的损失函数为
λ设为10，
代表交叉熵误差，MSE(G(x),y)代表为MSE误差，其中：
D(G(x)|x)表示判别器的输入是预测面部高程图和基因序列的拼接；
(4)利用梯度下降算法减小损失函数函数值，优化判别器子网络，使用的优化器为自适应矩估计(Adam)优化器、根据迭代次数设定学习率，使用的损失函数为
损失函数共分为三个部分，
分别是对正样本对、负样本对和不匹配样本对的判别损失。
(5)设置每次送入网络中训练的训练样本个数batchsize＝4,每训练一次判别器，训练两次生成器。按步骤(2)和步骤(4)预训练判别器，所有训练样本训练5次。然后重复步骤(1)～(4)直至训练集中所有的图片都参与了训练。
其中，步骤S3测试的具体方法如下：
(1)将测试集中的样本{(f1,g1)、(f2,g2)、……(f72,g72)}输入到生成器子网络G(x)中，得到预测面型图像
(2)计算
与f之间的均方误差MSE(Mean Squared Error):
(3)通过(2)中评判指标评判生成预测面型的效果；
S4：选取步骤S3中效果最好的一轮作为最终结果，即选取MSE最小模型为最优模型。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.基于基因数据和生成对抗卷积神经网络的面型预测方法，其特征在于，包括如下步骤：
S1：根据人体颅骨CT扫描图像和基因数据制作数据集，并选择训练样本和测试样本；
S2：利用生成器子网络G(x)与判别器子网络D(x)搭建卷积神经网络；
S3：使用训练样本训练步骤S2中搭建好的卷积神经网络，每训练四轮，便用模型对检测样本进行检测，评判生成的预测面型；
S4：选取步骤S3中效果最好一轮对应的模型作为最终结果。
2.根据权利要求1所述的基于基因数据和生成对抗卷积神经网络的面型预测方法，其特征在于，所述步骤S1具体包括如下子步骤：
S1.1：对颅骨CT图像进行阈值分割，得到三维面型点云数据；
S1.2：参考已经发表的与面部特征相关联的基因位点，得到样本的基因数据集；
S1.3：对步骤S1.1中得到的三维面型点云数据进行标准化处理后，柱体投影得到二维人脸高程图；
S1.4：通过下式对S1.3得到的二维人脸高程图在像素值上求平均：
其中xi代表二维人脸高程图，M代表得到的平均脸人脸高程图；
S1.5：划分训练集与测试集，训练集中为正样本对、不匹配样本对、负样本对，测试集中样本包括M、人脸高程图及其对应的基因数据。
3.根据权利要求2所述的基于基因数据和生成对抗卷积神经网络的面型预测方法，其特征在于，所述步骤S1.1包括如下子步骤：
S1.1.1：对于CT扫描图的每一层，使用反锐化掩膜算法对图像进行边缘增强，设置参数α；
S1.1.2：使用一个滑动窗口对图像进行阈值分割处理；
S1.1.3：对步骤S1.1.2得到的图像建立坐标轴，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x，以y轴为准线进行裁剪，保留x上半轴图像；遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分脸的点云数据，其中x,y轴不变，垂直于x,y轴的向上的轴为z。
4.根据权利要求3所述的基于基因数据和生成对抗卷积神经网络的面型预测方法，其特征在于，所述步骤S1.1.2中的阈值分割处理包括如下过程：窗口大小为7*7，首先对滑动窗口内的所有CT值进行升序排序，然后选择排在第7*7*0.8个的CT值和先验阈值500进行比较，取较大值作为最终的阈值进行分割；小于阈值的像素值置为零，反之保存原值。
5.根据权利要求3所述的基于基因数据和生成对抗卷积神经网络的面型预测方法，其特征在于，所述步骤S1.3包括如下子步骤：
S1.3.1：遍历每一层图像的点云数据点，计算真实角度，并按角度从小到大排序；
S1.3.2：遍历数据点的角度，分别找角度为0°、0.5°、1°、1.5°……179.5°的点；如果角度
上的点P存在，则直接保存该点坐标；否则使用相邻的两个数据点，通过线性插值求出
对应的点的坐标；具体为连接指定的两个相邻数据点A(xa,ya),B(xb,yb)，计算该线段l1的直线方程式
线段l2方程
建立方程式组求解交点，即为角度
所对应的数据点；
S1.3.3：对于步骤S1.3.2所得到的点云数据，在软件Geomagic Studio中可视化并手工标注8个特征点，分别为4个眼角位置、2个鼻翼位置、2个嘴角位置，最后在软件中进行N点对齐操作，使得所有的三维人脸五官位置一致；
S1.3.4：将步骤S1.3.3对齐后的三维点云数据从原来的470层扩展到512层，即扩展后的每层间隔为原来的0.919，数据点z坐标除以0.919再向下取整为新的层数，计算每一个数据点的真实角度，并按照角度从小到大排序；
S1.3.5：寻找第N层角度为α的点H(xh,yh,N)，遍历第N-1层数据点，找与α相邻且角度差距不超过4°的两个点C(xc,yc,zc),D(xd,yd,zd)；若存在，则连接CD，直线方程式为
求解直线CD与Y＝tanαx的交点
遍历第N层数据点，找与α相邻且角度差距不超过4°的两个点E(xe,ye,ze),F(xf,yf,zf)；若存在，则连接EF，直线方程式为
求解直线EF与Y＝tanαx的交点
则
其中w11＝w1/(w1+w2)，w22＝w2/(w1+w2)，w1＝(zc+zd)/2–N，w2＝(ze+zf)/2–N，N为层数；若CD不存在，则w22＝0，若EF不存在，则w11＝0；
S1.3.6：对步骤S1.3.5得到的点云数据进行柱体投影,得到二维人脸高程图f。
6.根据权利要求5所述的基于基因数据和生成对抗卷积神经网络的面型预测方法，其特征在于，所述步骤S1.3.6具体包括如下过程：以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的y轴坐标值；对于当前层，扫描每个数据点，每个数据点的角度
作为投影后的x轴坐标值，该点与投影轴的距离
作为投影后对应坐标上的像素值,即
最终得到512*360大小的二维人脸高程图。
7.根据权利要求1所述的基于基因数据和生成对抗卷积神经网络的面型预测方法，其特征在于，所述步骤S2中，生成器子网络包括基因特征提取模块、特征编码模块、特征解码模块，其工作流程为：首先向基因特征提取模块输入1*36的基因数据，经过第一层全连接层得到256*1的特征向量，leaky_relu激活后，经过第二层全连接层得到360448*1的特征向量，然后Group Norm,reshape得到32*22*512的特征图再进行激活；之后再依次经过4层上采样块后leaky_relu激活分别得到64*45*256、128*90*128、256*180*64、512*360*32的特征图，最后与输入的M 512*360*1在“通道”维度上连接；其次在特征编码模块中，512*360*33的特征图依次经过下采样块1、2、3、4、5、6分别得到256*180*64、128*90*128、64*45*256，32*23*512，16*12*512，8*6*512的特征图，至此，下采样提取特征完成；最后在特征解码模块中，8*6*512的特征图经过上采样块1得到16*12*512的特征图，再与之前经过下采样块5得到的16*12*512的特征图在“通道”维度上连接得到16*12*1024的特征图，然后经过leaky_relu激活；之后将此16*12*1024的特征图再经过上采样块2得到32*23*512的特征图，将该特征图与之前经过下采样4得到的32*23*512的特征图在“通道”维度上连接得到32*23*1024的特征图；激活后将此32*23*1024的特征图再经过上采样块3得到64*45*256的特征图，将该特征图与之前经过下采样3得到的64*45*256的特征图在“通道”维度上连接得到64*45*512的特征图；激活后将此64*45*512的特征图再经过上采样块4得到128*90*128的特征图，将该特征图与之前经过下采样2得到的128*90*128的特征图在“通道”维度上连接得到128*90*256的特征图；激活后将此128*90*256的特征图再经过上采样块5得到256*180*64的特征图，将该特征图与之前经过下采样1得到的256*180*64的特征图在“通道”维度上连接得到256*180*128的特征图；然后256*180*128的特征图经过线性插值得到512*360*128的特征图，再经过一层卷积层得到512*360*1的特征图，经tanh激活，至此图像重构完成；判别器子网络的具体工作流程为：
将生成器子网络生成的预测人脸高程图及其对应的基因、标签人脸高程图及其对应的基因、标签人脸高程图及其非对应基因输入到判别器子网络中，输入的人脸高程图大小为512*360*1，基因数据为1*36；基因数据添加维度并进行复制得到512*360*36大小的特征图后，与512*360*1的人脸高程图在“通道”维度上连接得到512*360*37特征图；特征图先经过一层卷积层得到256*180*64的特征图，之后通过一层leaky_Relu激活，之后依次经过下采样块1、2、3、4分别得到128*90*128、64*45*256、32*23*512、16*12*512的特征图，之后16*12*512特征图折叠为一维向量98304，再经过一层全连接层得到一个数值，最后经过sigmoid层得到最终的概率结果。
8.根据权利要求1所述的基于基因数据和生成对抗卷积神经网络的面型预测方法，其特征在于，所述步骤S3中训练过程包括如下子步骤：
(1)从训练集中随机选取400个样本{(M,g1)、(M,g2)、……(M,g400)}输入到生成器子网络中G(x)中,G(x)根据基因信息得到预测面型
其中基因数据{g1、g2、……、g400}所对应的人脸高程图为{f1、f2、……、f400}；
(2)将
输入到判别器子网络D(x)中，D(x)给出是基因所对应的真实人脸的概率
(3)利用梯度下降算法减小损失函数函数值，优化生成器子网络，使用的优化器为自适应矩估计优化器,根据迭代次数设定学习率，使用的损失函数为
λ值能够设定，
代表交叉熵误差，MSE(G(x),y)代表为MSE误差，其中：
D(G(x)|x)表示判别器的输入是预测面部高程图和基因序列的拼接；
(4)利用梯度下降算法减小损失函数函数值，优化判别器子网络，使用的优化器为自适应矩估计优化器、根据迭代次数设定学习率，使用的损失函数为:
损失函数中，
分别是对正样本对、负样本对和不匹配样本对的判别损失；
(5)设置每次送入网络中训练的训练样本个数batchsize＝4,每训练一次判别器，训练两次生成器；按步骤(2)和步骤(4)预训练判别器，所有训练样本训练5次；然后重复步骤(1)～(4)直至训练集中所有的图片都参与了训练。
9.根据权利要求1所述的基于基因数据和生成对抗卷积神经网络的面型预测方法，其特征在于，所述步骤S3中测试过程具体包括如下子步骤：
(1)将测试集中的样本{(f1,g1)、(f2,g2)、……(f72,g72)}输入到生成器子网络G(x)中，得到预测面型图像
(2)计算
与f之间的均方误差MSE:
(3)通过步骤(2)中评判指标评判生成预测面型的效果。
10.根据权利要求1所述的基于基因数据和生成对抗卷积神经网络的面型预测方法，其特征在于，所述步骤S4中效果最好一轮对应的模型选取为MSE最小的模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010930573.XA CN112133366B (zh) | 2020-09-07 | 2020-09-07 | 基于基因数据和生成对抗卷积神经网络的面型预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010930573.XA CN112133366B (zh) | 2020-09-07 | 2020-09-07 | 基于基因数据和生成对抗卷积神经网络的面型预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112133366A true CN112133366A (zh) | 2020-12-25 |
| CN112133366B CN112133366B (zh) | 2024-03-15 |
Family
ID=73847414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010930573.XA Active CN112133366B (zh) | 2020-09-07 | 2020-09-07 | 基于基因数据和生成对抗卷积神经网络的面型预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112133366B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115171196A (zh) * | 2022-08-25 | 2022-10-11 | 北京瑞莱智慧科技有限公司 | 人脸图像处理方法、相关装置及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| CN111445445A (zh) * | 2020-03-16 | 2020-07-24 | 东南大学 | 基于半监督异常检测的碳纤维复合芯导线损伤检测方法 |
-
2020
- 2020-09-07 CN CN202010930573.XA patent/CN112133366B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| CN111445445A (zh) * | 2020-03-16 | 2020-07-24 | 东南大学 | 基于半监督异常检测的碳纤维复合芯导线损伤检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 侯柯冰;程晓荣;: "基于生成对抗网络的ACGAN模型", 信息技术与信息化, no. 05, 28 May 2020 (2020-05-28) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115171196A (zh) * | 2022-08-25 | 2022-10-11 | 北京瑞莱智慧科技有限公司 | 人脸图像处理方法、相关装置及存储介质 |
| CN115171196B (zh) * | 2022-08-25 | 2023-03-28 | 北京瑞莱智慧科技有限公司 | 人脸图像处理方法、相关装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112133366B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Paulinas et al. | A survey of genetic algorithms applications for image enhancement and segmentation | |
| Wu et al. | Stereo matching with fusing adaptive support weights | |
| Liu et al. | Learning gaussian instance segmentation in point clouds | |
| CN113139479B (zh) | 一种基于光流和rgb模态对比学习的微表情识别方法及*** | |
| CN111027377B (zh) | 一种双流神经网络时序动作定位方法 | |
| CN112633382A (zh) | 一种基于互近邻的少样本图像分类方法及*** | |
| CN108171249B (zh) | 一种基于rgbd数据的局部描述子学习方法 | |
| CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、***及装置 | |
| Yang et al. | T-AutoML: Automated machine learning for lesion segmentation using transformers in 3d medical imaging | |
| CN110490913A (zh) | 基于角点与单线段编组的特征描述算子进行影像匹配方法 | |
| CN111009005A (zh) | 几何信息与光度信息相结合的场景分类点云粗配准方法 | |
| CN112529870A (zh) | 基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法 | |
| CN114494199A (zh) | 一种基于深度学习的肝脏ct肿瘤分割与分类的方法 | |
| CN115880720A (zh) | 一种基于置信度分享的无标注场景自适应人体姿态和外形估计方法 | |
| Liao et al. | Dense-view geis set: View space covering for gait recognition based on dense-view gan | |
| CN113361431B (zh) | 一种基于图推理的人脸遮挡检测的网络模型及方法 | |
| CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
| CN112133366A (zh) | 基于基因数据和生成对抗卷积神经网络的面型预测方法 | |
| Aonty et al. | Multi-Person Pose Estimation Using Group-Based Convolutional Neural Network Model | |
| CN114882545A (zh) | 基于三维智能重建的多角度人脸识别方法 | |
| CN111274893B (zh) | 基于部件分割与特征融合的飞行器图像细粒度识别方法 | |
| CN113326892A (zh) | 一种基于关系网络的少样本图像分类方法 | |
| CN113705731A (zh) | 一种基于孪生网络的端到端图像模板匹配方法 | |
| CN113536926A (zh) | 基于距离向量和多角度自适应网络的人体动作识别方法 | |
| CN117095033B (zh) | 一种基于图像与几何信息引导的多模态点云配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |