CN112132759B - 一种基于端到端卷积神经网络的颅骨面貌复原方法 - Google Patents

一种基于端到端卷积神经网络的颅骨面貌复原方法 Download PDF

Info

Publication number
CN112132759B
CN112132759B CN202010931407.1A CN202010931407A CN112132759B CN 112132759 B CN112132759 B CN 112132759B CN 202010931407 A CN202010931407 A CN 202010931407A CN 112132759 B CN112132759 B CN 112132759B
Authority
CN
China
Prior art keywords
skull
feature map
axis
threshold
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010931407.1A
Other languages
English (en)
Other versions
CN112132759A (zh
Inventor
胡轶宁
潘玥利
谢理哲
王浩
顾正宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010931407.1A priority Critical patent/CN112132759B/zh
Publication of CN112132759A publication Critical patent/CN112132759A/zh
Application granted granted Critical
Publication of CN112132759B publication Critical patent/CN112132759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于端到端卷积神经网络的颅骨面貌复原方法，包括以下步骤：S1：对人体颅骨CT扫描图像进行数据预处理并制作数据集；S2：搭建卷积神经网络；S3：使用训练样本训练步骤S2中搭建好的卷积神经网络，每训练五轮，便用模型对检测样本进行检测，评判生成的预测面型；S4：选取步骤S4中效果最好的一轮作为最终结果。本发明采用神经网络的方法自动提取颅骨的特征，根据颅骨本身的特性预测面型，具有较高的灵活性，流程少，耗时短，并提升了预测准确率。本发明利用深度卷积编解码器，学习头骨和面貌之间的相互关系及特征，根据颅骨信息还原面型，充分考虑了面部点的空间特性，弥补了稀疏特征点带来的误差。

Description

一种基于端到端卷积神经网络的颅骨面貌复原方法
技术领域
本发明属于颅骨面貌复原技术领域，结合计算机技术，涉及一种基于端到端卷积神经网络的颅骨面貌复原方法。
背景技术
颅骨具有耐腐蚀性、坚固、难以被任意篡改等优点，通过对颅骨进行面貌复原，对考古学、医学整容学、法医学和刑事侦探学等都有着广泛应用前景。目前，传统的颅骨面貌复原方法将面部特征点处的平均软组织厚度作为待复原的颅骨软组织厚度，完全忽略了个体之间的差异性和其本身的特性。显然，传统方法没有考虑颅骨自身特性，依靠平均测量值进行预测估计，导致精度不高。
发明内容
为解决上述问题，本发明提供一种基于端到端卷积神经网络的颅骨面貌复原方法。利用端到端的卷积神经网络结构自动提取颅骨本身的特性，根据软组织厚度与颅骨之间的内在联系预测面型，精度更高、效率更高。
为了达到上述目的，本发明提供如下技术方案：
一种基于端到端卷积神经网络的颅骨面貌复原方法，包括如下步骤：
S1：对人体颅骨CT扫描图进行数据处理，制作数据集，并划分训练集和测试集；
S2：根据训练样本的样本特征搭建卷积神经网络G(x)；
S3：使用训练样本训练步骤S2中搭建好的卷积神经网络，每训练五轮，便用模型对测试样本进行测试，评判生成的预测面型；
S4：选取步骤S3中效果最好一轮对应的模型作为最终结果。
进一步的，所述步骤S1具体包括如下子步骤：
S1.1：读取颅骨CT扫描图，采用基于先验值和UM的局部自适应迭代阈值分割对颅骨进行分割，自适应设置阈值，得到精确的颅骨数据；
S1.2：读取颅骨CT扫描图，采用局部阈值分割方法，得到面型数据；
S1.3：将颅骨高程图及其对应的人脸高程图按照预设比例划分训练集，测试集。
进一步的，所述步骤S1.1包括如下子步骤：
S1.1.1：读取颅骨CT扫描图，手动去除空气杂质；
S1.1.2：采用3*3大小的窗口进行均值滤波去噪；
S1.1.3：对S1.1.2去噪后的数据，根据sobel算子得出高频部分，高频部分乘上倍数1加到原数据；
S1.1.4：对S1.1.3增强后的数据设置15*15滑动窗口，根据迭代阈值算法求出阈值，即求出当前窗口内最大灰度值tmax和最小灰度值tmin，然后根据阈值将图像分为目标与背景，再分别求出目标与背景的平均灰度t1,t2，根据t1,t2求得阈值/>若Tk+1＝Tk，则Tk为迭代阈值算法所求最优阈值T，比较最优阈值T与颅骨先验值，选取较大者最为当前窗口阈值进行分割；
S1.1.5：对S1.1.4得到的数据进行裁剪，得到前半部分颅骨的点云数据；首先建立坐标系，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x，垂直于x,y轴，层数增加方向为z轴；以y轴为准线进行裁剪，保留x上半轴图像；遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分颅骨的点云数据；
S1.1.6：对S1.1.5得到得点云数据进行柱体投影；以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的第二维坐标值；对于当前层，扫描每个数据点，每个数据点的角度作为投影后的第一维坐标值，该点与投影轴的距离/>作为投影后对应坐标上的像素值,即/>最终得到512*360大小的二维颅骨图像。
进一步的，所述步骤S1.2包括如下子步骤：
S1.2.1：对于CT扫描图的每一层，使用反锐化掩膜算法对图像进行边缘增强；
S1.2.2：使用一个滑动窗口对图像进行阈值分割处理；窗口大小为7*7，首先对滑动窗口内的所有CT值进行升序排序，然后选择排在第7*7*0.8个的CT值和先验阈值500进行比较，取较大值作为最终的阈值进行分割；小于阈值的像素值置为零，反之保存原值；
S1.2.3：对S1.2.2得到的图像建立坐标轴，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x；以y轴为准线进行裁剪，保留x上半轴图像；遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分脸的点云数据，其中x,y轴不变，垂直于x,y轴的向上的轴为z；
S1.2.4：对S1.2.3得到的点云数据进行柱体投影,得到二维人脸高程图f；以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的y轴坐标值；对于当前层，扫描每个数据点，每个数据点的角度作为投影后的x轴坐标值，该点与投影轴的距离/>作为投影后对应坐标上的像素值,即/>相同角度选择距离最远的点，最终得到512*360大小的二维人脸高程图。
进一步的，所述步骤S2中网络G(x)包括特征编码模块和特征解码模块，其具体工作流程如下：
首先输入512*360*1的二维颅骨高程图，经过一层卷积层后得到256*180*64得特征图；Leaky_relu激活后依次经过下采样块1、2、3、4、5分别得到128*90*128、64*45*256，32*23*512，16*12*512，8*6*512的特征图，至此特征编码模块完成；然后特征解码模块，8*6*512的特征图经过上采样块1得到16*12*512的特征图，再与之前经过下采样块5得到的16*12*512的特征图在“通道”维度上连接得到16*12*1024的特征图，然后经过leak_relu激活；之后将此16*12*1024的特征图再经过上采样块2得到32*23*512的特征图，将该特征图与之前经过下采样4得到的32*23*512的特征图在“通道”维度上连接得到32*23*1024的特征图；激活后将此32*23*1024的特征图再经过上采样块3得到64*45*256的特征图，将该特征图与之前经过下采样3得到的64*45*256的特征图在“通道”维度上连接得到64*45*512的特征图；激活后将此64*45*512的特征图再经过上采样块4得到128*90*128的特征图，将该特征图与之前经过下采样2得到的128*90*128的特征图在“通道”维度上连接得到128*90*256的特征图；激活后将此128*90*256的特征图再经过上采样块5得到256*180*64的特征图，将该特征图与之前经过下采样1得到的256*180*64的特征图在“通道”维度上连接得到256*180*128的特征图；然后256*180*128的特征图经过线性插值得到512*360*128的特征图，再经过一层卷积层得到512*360*1的特征图，经tanh激活，至此人脸高程图生成。
进一步的，所述步骤S3中训练过程包括如下子步骤：
(1)从训练集中随机选取400个样本{s1,s2,…s400}输入到网络G(x)中,G(x)生成对应的二维人脸高程图{f′1、f′2、……、f′400}；
(2)利用梯度下降算法减小损失函数函数值，优化网络，使用的优化器为自适应矩估计(Adam)优化器，设定学习率为2e-4，使用的损失函数为
(3)重复步骤(1)～(2)直至训练集中所有的图片都参与了训练。
进一步的，所述步骤S3中测试过程具体包括如下子步骤：
(1)将测试集中的样本{s1,s2,…s128}输入到网络G(x)中，得到预测人脸高程图{f′1、f′2、……、f′128}；
(2)计算f与f′之间的MSE误差：
进一步的，步骤S4中所述效果最好的模型为MSE最小的模型。
与现有技术相比，本发明具有如下优点和有益效果：
本发明采用神经网络的方法自动提取颅骨的特征，根据颅骨本身的特性预测面型，具有较高的灵活性，流程少，耗时短，并提升了预测准确率。本发明利用深度卷积编解码器，学习头骨和面貌之间的相互关系及特征，根据颅骨信息还原面型，充分考虑了面部点的空间特性，弥补了稀疏特征点带来的误差。
附图说明
图1为512*360*1大小的二维人脸高程图；
图2为512*360*1大小的二维颅骨高程图；
图3为本发明的网络结构；
图4为网络中上采样块的结构图；
图5为网络中下采样块的结构图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提供的一种基于端到端卷积神经网络的颅骨面貌复原方法，包括如下步骤：
S1：对人体颅骨CT扫描图像进行数据处理，制作数据集，并划分训练集和测试集，数据集制作方法如下：
S1.1：读取颅骨CT扫描图，采用基于先验值和UM的局部自适应迭代阈值分割方法对颅骨进行分割，准确设置阈值，得到精确的颅骨数据，分割的具体方法如下：
S1.1.1：读取颅骨CT扫描图，手工去除空气杂质；
S1.1.2：采用3*3大小的核进行阈值滤波去噪；
S1.1.3：对S1.1.2去噪后的数据，根据sobel算子得出高频部分，高频部分乘上倍数1加到原数据，从而增强原数据的边界信息。其中sobel算子包含两组3x3的矩阵a,b， a,b分别与原数据卷积得到Ga,Gb,最终高频部分为Ga+Gb；
S1.1.4：对S1.1.3增强后的数据设置15*15滑动窗口，根据迭代阈值算法求出阈值，即求出当前窗口内最大灰度值tmax和最小灰度值tmin，然后根据阈值将图像分为目标与背景，再分别求出目标与背景的平均灰度t1,t2，根据t1,t2求得阈值/>若Tk+1＝Tk，则Tk为迭代阈值算法所求最优阈值T，比较最优阈值T与颅骨先验值2000，选取较大者最为当前窗口阈值进行分割；
S1.1.5：对S1.1.4得到的数据进行裁剪，得到前半部分颅骨的点云数据。首先建立坐标系，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x，垂直于x,y轴，层数增加方向为z轴。以y轴为准线进行裁剪，保留x上半轴图像。遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分颅骨的点云数据；
S1.1.6：对S1.1.5得到的点云数据进行柱体投影。以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的第二维坐标值。对于当前层，扫描每个数据点，每个数据点的角度作为投影后的第一维坐标值，该点与投影轴的距离作为投影后对应坐标上的像素值,即/>最终得到如图1所示512*360大小的二维颅骨图像；
S1.2：读取颅骨CT扫描图，采用局部阈值分割方法，得到面型数据，具体阈值分割方法如下：
S1.2.1：对于CT扫描图的每一层，使用反锐化掩膜算法对图像进行边缘增强，参数α＝2；
S1.2.2：使用一个滑动窗口对图像进行阈值分割处理。窗口大小为7*7，首先对滑动窗口内的所有CT值进行升序排序，然后选择排在第7*7*0.8个的CT值和先验阈值500进行比较，取较大值作为最终的阈值进行分割。小于阈值的像素值置为零，反之保存原值；
S1.2.3：对S1.2.2得到的图像建立坐标轴，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x。以y轴为准线进行裁剪，保留x上半轴图像。遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分脸的点云数据，其中x,y轴不变，垂直于x,y轴的向上的轴为z；
S1.2.4：对S1.2.3得到的点云数据进行柱体投影,得到二维人脸高程图f。以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的y轴坐标值。对于当前层，扫描每个数据点，每个数据点的角度作为投影后的x轴坐标值，该点与投影轴的距离/>作为投影后对应坐标上的像素值,即/>最终得到512*360大小的二维人脸高程图，如图2所示；
S1.3：将颅骨高程图及其对应的人脸高程图按照比例11：1划分训练集，测试集；
S2：根据训练样本的样本特征搭建卷积神经网络，神经网络G(x)如图3所示，其包括特征编码模块和特征解码模块。
如图4所示，网络中“上采样块”的结构为UpSampling->Conv->GN。如图5所示，“下采样块”的结构为Conv->GN->leaky_Relu。其中Conv代表卷积层、leaky_Relu代表leaky_Relu激活层——leaky_relu(x)＝max(0.1x,x)、GN代表GroupNormalization层——组归一化；Conv指卷积层，改变特征图的维度。图中的“tanh”则代表tanh激活层——图中的“Concat”则代表两个特征图在“通道”这一维度上连接。
网络G(x)首先会对输入图像进行降采样得到一个特征图，之后会对此特征图上采样得到预测图像。在训练阶段，将二维颅骨高程图像作为输入，网络通过“降采样——上采样”的过程对输入重构。之后根据重构结果计算损失函数，再利用梯度下降算法优化损失函数从而达到优化网络的目的。网络具体工作流程为：
输入512*360*1的二维颅骨高程图，经过一层卷积层后得到256*180*64的特征图。Leak_relu激活后依次经过下采样块1、2、3、4、5分别得到128*90*128、64*45*256，32*23*512，16*12*512，8*6*512的特征图，至此特征编码模块完成；然后特征解码模块，8*6*512的特征图经过上采样块1得到16*12*512的特征图，再与之前经过下采样块4得到的16*12*512的特征图在“通道”维度上连接得到16*12*1024的特征图，然后经过leak_relu激活。之后将此16*12*1024的特征图再经过上采样块2得到32*23*512的特征图，将该特征图与之前经过下采样3得到的32*23*512的特征图在“通道”维度上连接得到32*23*1024的特征图。激活后将此32*23*1024的特征图再经过上采样块3得到64*45*256的特征图，将该特征图与之前经过下采样2得到的64*45*256的特征图在“通道”维度上连接得到64*45*512的特征图。激活后将此64*45*512的特征图再经过上采样块4得到128*90*128的特征图，将该特征图与之前经过下采样1得到的128*90*128的特征图在“通道”维度上连接得到128*90*256的特征图。激活后将此128*90*256的特征图再经过上采样块5得到256*180*64的特征图，将该特征图与之前经过第一层卷积层得到的256*180*64的特征图在“通道”维度上连接得到256*180*128的特征图。然后256*180*128的特征图经过线性插值得到512*360*128的特征图，再经过一层卷积层得到512*360*1的特征图，经tanh激活，至此人脸高程图生成；
S3：使用训练样本训练步骤S2中搭建好的卷积神经网络，每训练五轮，便用模型对测试样本进行测试，评判生成的预测面型，共训练400轮；
(1)从训练集中随机选取400个样本{s1,s2,…s400}输入到网络G(x)中,G(x)生成对应的二维人脸高程图{f′1、f′2、……、f′400}；
(2)利用梯度下降算法减小损失函数函数值，优化网络，使用的优化器为自适应矩估计(Adam)优化器，设定学习率为2e-4，使用的损失函数为
(3)重复步骤(1)～(2)直至训练集中所有的图片都参与了训练。
其中，步骤S3测试的具体方法如下：
(1)将测试集中的样本{s1,s2,…s128}输入到网络G(x)中，得到预测人脸高程图{f′1、f′2、……、f′128}；
(2)计算f与f′之间的MSE误差：
S4：选取步骤S3中效果最好一轮对应的模型作为最终结果，即取MSE最小模型为最优模型。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种基于端到端卷积神经网络的颅骨面貌复原方法，其特征在于，包括如下步骤：
S1：对人体颅骨CT扫描图进行数据处理，制作数据集，并划分训练集和测试集；具体包括如下子步骤：
S1.1：读取颅骨CT扫描图，采用基于先验值和UM的局部自适应迭代阈值分割对颅骨进行分割，自适应设置阈值，得到精确的颅骨数据；包括如下子步骤：
S1.1.1：读取颅骨CT扫描图，手动去除空气杂质；
S1.1.2：采用3*3大小的窗口进行均值滤波去噪；
S1.1.3：对S1.1.2去噪后的数据，根据sobel算子得出高频部分，高频部分乘上倍数1加到原数据；
S1.1.4：对S1.1.3增强后的数据设置15*15滑动窗口，根据迭代阈值算法求出阈值，即求出当前窗口内最大灰度值tmax和最小灰度值tmin，然后根据阈值将图像分为目标与背景，再分别求出目标与背景的平均灰度t1,t2，根据t1,t2求得阈值/>若Tk+1＝Tk，则Tk为迭代阈值算法所求最优阈值T，比较最优阈值T与颅骨先验值，选取较大者最为当前窗口阈值进行分割；
S1.1.5：对S1.1.4得到的数据进行裁剪，得到前半部分颅骨的点云数据；首先建立坐标系，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x，垂直于x,y轴，层数增加方向为z轴；以y轴为准线进行裁剪，保留x上半轴图像；遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分颅骨的点云数据；
S1.1.6：对S1.1.5得到得点云数据进行柱体投影；以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的第二维坐标值；对于当前层，扫描每个数据点，每个数据点的角度作为投影后的第一维坐标值，该点与投影轴的距离/>作为投影后对应坐标上的像素值,即/>最终得到512*360大小的二维颅骨图像；
S1.2：读取颅骨CT扫描图，采用局部阈值分割方法，得到面型数据；包括如下子步骤：
S1.2.1：对于CT扫描图的每一层，使用反锐化掩膜算法对图像进行边缘增强；
S1.2.2：使用一个滑动窗口对图像进行阈值分割处理；窗口大小为7*7，首先对滑动窗口内的所有CT值进行升序排序，然后选择排在第7*7*0.8个的CT值和先验阈值500进行比较，取较大值作为最终的阈值进行分割；小于阈值的像素值置为零，反之保存原值；
S1.2.3：对S1.2.2得到的图像建立坐标轴，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x；以y轴为准线进行裁剪，保留x上半轴图像；遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分脸的点云数据，其中x,y轴不变，垂直于x,y轴的向上的轴为z；
S1.2.4：对S1.2.3得到的点云数据进行柱体投影,得到二维人脸高程图f；以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的y轴坐标值；对于当前层，扫描每个数据点，每个数据点的角度作为投影后的x轴坐标值，该点与投影轴的距离作为投影后对应坐标上的像素值,即/>相同角度选择距离最远的点，最终得到512*360大小的二维人脸高程图；
S1.3：将颅骨高程图及其对应的人脸高程图按照预设比例划分训练集，测试集；
S2：根据训练样本的样本特征搭建卷积神经网络G(x)；网络G(x)包括特征编码模块和特征解码模块，其具体工作流程如下：
首先输入512*360*1的二维颅骨高程图，经过一层卷积层后得到256*180*64得特征图；Leaky_relu激活后依次经过下采样块1、2、3、4、5分别得到128*90*128、64*45*256，32*23*512，16*12*512，8*6*512的特征图，至此特征编码模块完成；然后特征解码模块，8*6*512的特征图经过上采样块1得到16*12*512的特征图，再与之前经过下采样块5得到的16*12*512的特征图在“通道”维度上连接得到16*12*1024的特征图，然后经过leak_relu激活；之后将此16*12*1024的特征图再经过上采样块2得到32*23*512的特征图，将该特征图与之前经过下采样4得到的32*23*512的特征图在“通道”维度上连接得到32*23*1024的特征图；激活后将此32*23*1024的特征图再经过上采样块3得到64*45*256的特征图，将该特征图与之前经过下采样3得到的64*45*256的特征图在“通道”维度上连接得到64*45*512的特征图；激活后将此64*45*512的特征图再经过上采样块4得到128*90*128的特征图，将该特征图与之前经过下采样2得到的128*90*128的特征图在“通道”维度上连接得到128*90*256的特征图；激活后将此128*90*256的特征图再经过上采样块5得到256*180*64的特征图，将该特征图与之前经过下采样1得到的256*180*64的特征图在“通道”维度上连接得到256*180*128的特征图；然后256*180*128的特征图经过线性插值得到512*360*128的特征图，再经过一层卷积层得到512*360*1的特征图，经tanh激活，至此人脸高程图生成；
S3：使用训练样本训练步骤S2中搭建好的卷积神经网络，每训练五轮，便用模型对测试样本进行测试，评判生成的预测面型；
S4：选取步骤S3中效果最好一轮对应的模型作为最终结果。
2.根据权利要求1所述的基于端到端卷积神经网络的颅骨面貌复原方法，其特征在于，所述步骤S3中训练过程包括如下子步骤：
(1)从训练集中随机选取400个样本{s1,s2,…s400}输入到网络G(x)中,G(x)生成对应的二维人脸高程图{f'1、f'2、……、f'400}；
(2)利用梯度下降算法减小损失函数函数值，优化网络，使用的优化器为自适应矩估计优化器，设定学习率为2e-4，使用的损失函数为
(3)重复步骤(1)～(2)直至训练集中所有的图片都参与了训练。
3.根据权利要求1所述的基于端到端卷积神经网络的颅骨面貌复原方法，其特征在于，所述步骤S3中测试过程具体包括如下子步骤：
(1)将测试集中的样本{s1,s2,…s128}输入到网络G(x)中，得到预测人脸高程图{f'1、f'2、……、f'128}；
(2)计算f与f'之间的MSE误差：
4.根据权利要求1所述的基于端到端卷积神经网络的颅骨面貌复原方法，其特征在于，步骤S4中所述效果最好的模型选取为MSE最小的模型。
CN202010931407.1A 2020-09-07 2020-09-07 一种基于端到端卷积神经网络的颅骨面貌复原方法 Active CN112132759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010931407.1A CN112132759B (zh) 2020-09-07 2020-09-07 一种基于端到端卷积神经网络的颅骨面貌复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010931407.1A CN112132759B (zh) 2020-09-07 2020-09-07 一种基于端到端卷积神经网络的颅骨面貌复原方法

Publications (2)

Publication Number Publication Date
CN112132759A CN112132759A (zh) 2020-12-25
CN112132759B true CN112132759B (zh) 2024-03-19

Family

ID=73848093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010931407.1A Active CN112132759B (zh) 2020-09-07 2020-09-07 一种基于端到端卷积神经网络的颅骨面貌复原方法

Country Status (1)

Country Link
CN (1) CN112132759B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及***
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN109636910A (zh) * 2018-12-18 2019-04-16 四川大学 一种基于深度生成对抗网络的颅面复原方法
CN111445445A (zh) * 2020-03-16 2020-07-24 东南大学 基于半监督异常检测的碳纤维复合芯导线损伤检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及***
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN109636910A (zh) * 2018-12-18 2019-04-16 四川大学 一种基于深度生成对抗网络的颅面复原方法
CN111445445A (zh) * 2020-03-16 2020-07-24 东南大学 基于半监督异常检测的碳纤维复合芯导线损伤检测方法

Also Published As

Publication number Publication date
CN112132759A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN108921800B (zh) 基于形状自适应搜索窗口的非局部均值去噪方法
Wei et al. Tensor voting guided mesh denoising
CN112819772B (zh) 一种高精度快速图形检测识别方法
CN110222784B (zh) 融合短时和长时深度特征的太阳能电池片缺陷检测方法
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN110580680B (zh) 基于组合学习的人脸超分辨率方法及装置
Liu et al. Gradnet image denoising
Hirata Jr et al. Segmentation of microarray images by mathematical morphology
Zhao et al. Texture variation adaptive image denoising with nonlocal PCA
CN108629762B (zh) 一种骨龄评测模型减少干扰特征的图像预处理方法及***
CN112488934B (zh) 一种基于cs-tcgan的指静脉图像去噪方法
CN110348459B (zh) 基于多尺度快速地毯覆盖法声呐图像分形特征提取方法
Pei et al. Effects of image degradations to cnn-based image classification
CN112734911A (zh) 基于卷积神经网络的单幅图像三维人脸重建方法及***
CN113592923A (zh) 一种基于深度局部特征匹配的批图像配准方法
CN113723399A (zh) 一种车牌图像矫正方法、车牌图像矫正装置和存储介质
CN113570658A (zh) 基于深度卷积网络的单目视频深度估计方法
CN115439804A (zh) 一种用于高铁检修的监测方法以及装置
CN114283058A (zh) 基于对抗网络和最大互信息优化的图像超分辨率重建方法
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
CN117809123B (zh) 一种双阶段图像的异常检测与重构方法及***
CN112132759B (zh) 一种基于端到端卷积神经网络的颅骨面貌复原方法
Koivunen A robust nonlinear filter for image restoration
CN112801021A (zh) 基于多级语义信息的车道线检测方法及***
CN112581626A (zh) 一种基于非参数化和多注意力机制的复杂曲面测量***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant