CN102968775A - 基于超分辨率重建技术的低分辨率人脸图像的重建方法 - Google Patents
基于超分辨率重建技术的低分辨率人脸图像的重建方法 Download PDFInfo
- Publication number
- CN102968775A CN102968775A CN2012104353732A CN201210435373A CN102968775A CN 102968775 A CN102968775 A CN 102968775A CN 2012104353732 A CN2012104353732 A CN 2012104353732A CN 201210435373 A CN201210435373 A CN 201210435373A CN 102968775 A CN102968775 A CN 102968775A
- Authority
- CN
- China
- Prior art keywords
- resolution
- frequency coefficient
- low
- fritter
- high frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005516 engineering process Methods 0.000 title claims abstract description 10
- 238000010606 normalization Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000001815 facial effect Effects 0.000 claims description 106
- 230000004304 visual acuity Effects 0.000 claims description 48
- 230000003321 amplification Effects 0.000 claims description 21
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 16
- 239000004744 fabric Substances 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 11
- 238000004321 preservation Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 240000006409 Acacia auriculiformis Species 0.000 description 1
- WUKWITHWXAAZEY-UHFFFAOYSA-L calcium difluoride Chemical compound [F-].[F-].[Ca+2] WUKWITHWXAAZEY-UHFFFAOYSA-L 0.000 description 1
- 229910001634 calcium fluoride Inorganic materials 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及基于超分辨率重建技术的低分辨率人脸图像的重建方法,属于图像处理领域,本发明包括:对原始图像进行基于人脸三点定位的归一化,得到待重建的归一化人脸图像;再通过生成训练集,对待重建的低分辨率图像进行去噪并通过模糊度估计确定学习样本,通过LLE学习得到最终重建出的高分辨率图像。本发明采用的人脸图像的归一化方法不仅准确,而且和训练集的归一化方法一致,提升了低分辨率人脸图像的准确性。再采用基于低频分量的超分辨率人脸图像的重建方法,制作出低分辨率人脸图像的大尺寸重建像,较好地解决了低分辨率人脸图像的重建难题。
Description
技术领域
本发明属于图像处理领域,特别涉及一种制作低分辨率人脸重建像的方法。
背景技术
当前,视频监控得到了迅速的发展,在安防工作中发挥了越来越重要的作用。在视频监控的图像中,记录了许多与案件有关的人像信息。但是,由于视频监控的涉案人脸图像往往很小,因此无法分辨涉案人,致使许多案件的办案工作陷入了困境。这种小人脸图像的本质问题是人脸分辨率低的问题。低分辨率人脸图像的重建技术是公安部门办案工作急需的关键技术。本发明所指人脸图像,限定为正面人脸图像(下同)。包括人的头顶之下、颏底线之上、左耳到右耳之间的部分(参见中华人民共和国公共安全行业标准GA/T893-2010“安防生物特征识别应用术语”)。
专利号为ZL 2005 1 0067692.X的专利公开一种人脸几何尺寸归一化的方法:即基于人脸几何尺寸归一化的人脸图像识别方法中的人脸三点归一化方法。确定图像中人脸的左、右眼和颌下点的坐标,并按三点归一化方法生成标准的尺寸的归一化低分辨率人脸图像。
目前常用的超分辨率人脸图像重建的方法为:利用一个包含成对的高分辨率图像及其对应的低分辨率图像的数据集作为训练库。将待重建的含有低分辨率人脸的图像分为若干小块,对待重建的低分辨率图像中的每一个小块,通过LLE表示成训练库中所有低分辨率图像对应位置小块的线性组合,然后使用相同的线性组合权重对训练库中相应高分辨率图像对应位置的小块进行组合,得到重建后的超分辨图像对应位置的小块。将得到的重建后的超分辨图像对应位置的小块进行拼接,块与块之间有少量的重叠,重叠的部分取平均值。最后得到整个重建后的超分辨大图。该方法虽然能对超低分辨率图像进行重建,但是,其直接在时域中进行流形学习,局部几何结构相似度不高,流行学习效果较差。此外其重建过程中受光照及噪声影响较大,未对超低分辨率人脸图像进行配准,对实际场景中的超分辨率图像重建效果较差。
发明内容
本发明的目的是为克服已有技术的不足之处,提出了一种基于超分辨率重建技术的低分辨率人脸图像的重建方法,较好地解决了低分辨率人脸图像的重建难题。
一种基于超分辨率重建技术的低分辨率人脸图像的重建方法,其特征在于,包括以下步骤:
1)对原始图像进行基于人脸三点定位的归一化,得到待重建的归一化人脸图像,具体包括:
1.1)对含有低分辨率人脸图像的原始图像进行裁剪,裁剪出包含低分辨率人脸图像的矩形区域,得到低分辨率人脸图像;该区域左上、左下、右上、右下4个顶点在原始图像中坐标分别为:(m1,n1)、(m1,n2)、(m2,n1)、(m2,n2),m、n分别表示坐标系中的点的横坐标和纵坐标;
1.2)对1.1)中得到的低分辨率人脸图像进行等比放大,放大倍率为K×K,放大后图像的高度为L,L=K×(n2-n1),k满足:K≥150/(n2-n1);
1.3)对放大后的低分辨率人脸图像采用基于人脸三点定位的归一化方法进行归一化,得到一幅待重建的标准尺寸的归一化人脸图像;
1.31)在放大后的低分辨率人脸图像a上确定左眼球上的一点A的坐标(x11,y11)、右眼球上的一点B的坐标位置(x21,y21),通过A、B两点做直线L1,并确定下颌点C0坐标(x01,y01),按放大倍率K将三点的坐标对应至原裁剪图像坐标,分别为(x1,y1),(x2,y2),(x0,y0);
1.32)对原始图像进行基于人脸几何尺寸归一化的人脸图像识别方法中的人脸三点归一化方法,得到尺寸为H×W的待重建的归一化人脸图像,其中H,W满足下式:
W=H×3/4,H0=5×H/12,H1=63×H/120,H2=7×H/120;
2)对标准的待重建的归一化人脸图像进行基于低频分量的超分辨率人脸图像的重建得到512×384高分辨率图像:
2.1)生成训练集:
2.11)将不低于100幅的清晰正面人脸图像作为训练集的图像;
2.12)采用人脸三点定位归一化方法将训练集中的每一幅图像变为512×384的标准分辨率人脸图像;
2.13)对每一幅512×384的标准分辨率图像使用9-7滤波器下采样生成32×24,64×48,128×96,256×192,512×384的五种清晰的分辨率样本,再对每一幅512×384的标准分辨率图像使用高斯金字塔滤波器下采样生成32×24的模糊的分辨率样本;
2.14)对64×48,128×96,256×192,512×384的四种清晰的分辨率样本用9-7滤波器组进行拉普拉斯金字塔分解提取高频分量并保存,作为高分辨率图像小波系数样本;
2.15)对32×24,64×48,128×96,256×192四种清晰的分辨率样本进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取它们的高频分量并保存,作为清晰的低分辨率图像小波系数样本,同时对模糊的32×24分辨率样本进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取其高频分量并保存,作为模糊的32×24低分辨率图像小波系数样本;
2.2)对待重建的低分辨率图像进行去噪并通过模糊度估计确定学习样本:
2.21)对归一化后的待重建的32×24低分辨率图像进行去噪;步骤如下:
对待重建图像进行拉普拉斯金字塔分解,计算出其所有高频系数绝对值的中位数σ作为噪声标准差估计值,根据经典去噪算法以λσ为阈值进行去噪,λ为经验系数,取值范围为0.05<λ<0.3;
2.22)进行模糊程度估计,算出模糊程度系数:
∑h为待重建的低分辨率图像的高频系数绝对值之和,∑i为去噪后的待重建的32×24低分辨率图像像素值之和;
2.23)根据模糊程度系数u选取学习样本:
u<0.05,时学习采用模糊的32×24样本,u≥0.05时采用清晰的32×24样本;
2.3)通过LLE学习得到最终重建出的高分辨率图像:
2.31)从32×24到64×48放大:
2.31.1)将于2.21)中得到的去噪后的32×24低分辨率图像的像素值直接作为重建出的64×48高分辨率图像的低频系数;
2.31.2)对去噪后的32×24低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数;
2.31.3)将去噪后的32×24低分辨率图像分割为大小为s×t的小块,s取值范围为4~8,t取值范围为8~12,相邻小块间有(s-1)×(t-1)的重叠;
2.31.4)利用LLE学习得到2.31.3)中分割出的小块对应位置的64×48高分辨率小块的高频系数:
令yLR为单个于2.31.3)中得到小块对应的于2.31.2)中得到的高频系数组成的向量,xLR(i)为第i个在2.23)确定的样本集中相应位置小块的高频系数组成的向量,在2.23)确定的样本集相应位置的小块中取前k个(5<k<8)与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量;w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量;进而计算出学习得到的64×48高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的64×48清晰分辨率样本小块的高频系数向量;
2.31.5)重复2.31.4)得到所有2.31.3)中分割出的小块对应的64×48高分辨率小块的高频系数
2.31.6)将2.31.5)中学习得到的64×48高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为结果,得到64×48高分辨率图像的高频系数;
2.31.7)将得到的64×48高分辨率图像的高、低频系数进行反变换便得到64×48高分辨率图像;
2.32)从64×48到128×96放大:
2.32.1)将从2.31)步得到的64×48高分辨率图像作为此步的64×48低分辨率图像,其像素值直接作为重建出的128×96高分辨率图像的低频系数;
2.32.2)对64×48低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数;
2.32.3)将64×48低分辨率图像分割为大小为s×t的小块,s取值范围为4~8,t取值范围为8~12,相邻小块间有(s-1)×(t-1)的重叠;
2.32.4)利用LLE学习得到2.32.3)中分割出的小块对应位置的128×96高分辨率小块的高频系数:
令yLR为单个于2.31.3)中得到小块对应的于2.32.2)中得到的高频系数组成的向量,xLR(i)为第i个64×48清晰的分辨率样本集相应位置小块的高频系数组成的向量,在64×48清晰的分辨率样本集相应位置的小块中取前k个(5<k<8)与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量,w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量,进而计算出学习得到的128×96高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的128×96清晰分辨率样本小块的高频系数向量;
2.32.5)重复2.32.4)得到所有2.32.3)中分割出的小块对应的128×96高分辨率小块的高频系数
2.32.6)将2.32.5)中学习得到的128×96高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为结果,得到128×96高分辨率图像的高频系数;
2.32.7)将得到的128×96高分辨率图像的高、低频系数进行反变换便得出128×96高分辨率图像;
2.33)从128×96到256×192放大:
2.33.1)将从2.32)步得到的128×96高分辨率图像作为此步的128×96低分辨率图像,其像素值直接作为重建出的256×192高分辨率图像的低频系数;
2.33.2)对128×96低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数;
2.33.3)将128×96低分辨率图像分割为大小为s×t的小块,s取值范围为4~8,t取值范围为8~12,相邻小块间有(s-1)×(t-1)的重叠;
2.33.4)利用LLE学习得到2.33.3)中分割出的小块对应位置的256×192高分辨率小块的高频系数:
令yLR为单个于2.31.3)中得到小块对应的于2.33.2)中得到的高频系数组成的向量,xLR(i)为第i个128×96清晰的分辨率样本相应位置小块的高频系数组成的向量,在128×96清晰的分辨率样本相应位置的小块中取前k个(5<k<8)与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量,w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量,进而计算出学习得到的256×192高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的256×192清晰分辨率样本小块的高频系数向量;
2.33.5)重复2.33.4)得到所有2.33.3)中分割出的小块对应的256×192高分辨率小块的高频系数
2.33.6)将2.33.5)中学习得到的256×192高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果,得到256×192高分辨率图像的高频系数;
2.33.7)将得到的256×192高分辨率图像的高、低频系数进行反变换便得出256×192高分辨率图像;
2.34)从256×192到512×384放大:
2.34.1)将从2.33)步得到的256×192高分辨率图像作为此步的256×192低分辨率图像,其像素值直接作为重建出的512×384高分辨率图像的低频系数;
2.34.2)对256×192低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数;
2.34.3)将256×192低分辨率图像分割为大小为s×t的小块,s取值范围为4~8,t取值范围为8~12,相邻小块间有(s-1)×(t-1)的重叠;
2.34.4)利用LLE学习得到2.34.3)中分割出的小块对应位置的512×384高分辨率小块的高频系数:
令yLR为单个于2.34.3)中得到小块对应的于2.34.2)中得到的高频系数组成的向量,xLR(i)为第i个256×192清晰的分辨率样本相应位置小块的高频系数组成的向量,在256×192清晰的分辨率样本相应位置小块中取前k个(5<k<8)与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量,w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量,进而计算出学习得到的512×384高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的512×384清晰分辨率样本小块的高频系数向量;
2.34.5)重复2.34.4)得到所有2.34.3)中分割出的小块对应的512×384高分辨率小块的高频系数
2.34.6)将2.34.5)中学习得到的512×384高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果,得到512×384高分辨率图像的高频系数;
将得到的512×384高分辨率图像的高、低频系数进行反变换便得到最终重建出的512×384高分辨率图像。
本发明的特点及效果:
本发明首先采用低分辨率人脸图像的归一化方法,特别是采用了基于人脸三点定位归一化方法的低分辨率人脸图像的归一化方法(见发明专利:基于人脸几何尺寸归一化的人脸图像识别方法,发明专利号:ZL 2005 1 0067692.X,),这种人脸图像的归一化方法不仅准确,而且和训练集的归一化方法一致,提升了低分辨率人脸图像的准确性。获得归一化的低分辨率人脸图像后,再采用基于低频分量的超分辨率人脸图像的重建方法,制作出低分辨率人脸图像的大尺寸重建像,较好地解决了低分辨率人脸图像的重建难题。
附图说明
图1为本发明的低分辨率人脸实施例图像。
图2为本实施例裁剪的低分辨率人脸图像。
图3为本实施例的裁剪的低分辨率人脸的放大图像。
图4为本实施例的低分辨率人脸的放大图像的三点定位图像。
图5为本实施例的基于人脸三点定位的低分辨率人脸图像的归一化图像,图像尺寸为32×24。
图6为本实施例的低分辨率人脸图像的重建像。
图7为本实施例的低分辨率人脸对应的真实清晰人脸图像。
具体实施方式
本发明提出的基于超分辨率重建技术的低分辨率人脸图像的重建方法结合附图及实施例详细说明如下:
本发明提出的一种基于超分辨率重建技术的低分辨率人脸图像的重建方法,包括低分辨率人脸图像的归一化和基于低频分量的超分辨率重建;具体包括以下步骤:
1)对原始图像进行基于人脸三点定位的归一化,得到待重建的归一化人脸图像
1.1)对含有低分辨率人脸图像的原始图像进行裁剪,裁剪出包含低分辨率人脸图像的矩形图像区域,得到低分辨率人脸图像;该区域左上、左下、右上、右下4个顶点坐标分别为:(m1,n1)、(m1,n2)、(m2,n1)、(m2,n2),m、n分别表示坐标系中点的横坐标和纵坐标;
1.2)对1.1)得到的低分辨率人脸图像进行等比放大,放大倍率为K×K,放大后图像的高度为L,L=K×(n2-n1),k满足:K≥150/(n2-n1);
1.3)对放大后的低分辨率人脸图像采用基于人脸三点定位的归一化方法进行归一化,得到一幅待重建的标准尺寸的人脸图像;
1.31)在放大后的低分辨率人脸图像a上确定左眼球上的一点A的坐标(x11,y11)、右眼球上的一点B的坐标位置(x21,y21),通过A、B两点做直线L1,并确定下颌点C0坐标(x01,y01),,按放大倍率k将三点的坐标对应至原裁剪图像坐标,分别为(x1,y1),(x2,y2),(x0,y0);
1.32)对原始图像进行基于人脸几何尺寸归一化的人脸图像识别方法中的人脸三点归一化方法,得到尺寸为H×W的待重建的归一化人脸图像,具体包括(属于已有技术):
1.32.1)计算直线L1和水平线的夹角α;直线L1和水平线的夹角α由下式求得,其中(x1,y1),(x2,y2)分别对应左右眼球坐标:
式中,x、y为输入人脸图像的坐标,x、y为人脸图像b的坐标;
1.32.2)在人脸图像b上计算确定出左眼球上的一点C的坐标位置(x3,y3)、右眼球上的一点D的坐标位置(x4,y4),通过C、D两点做直线L2,确定出旋转后的人脸图像的下颌点E的坐标位置(x5,y5);
1.32.3)规定几何尺寸归一化的人脸图像的几何尺寸的数值,其中宽度的尺寸为W,高度的尺寸为H;规定颌下线上的任何一点到两眼连线的垂直距离的标准值为H0,到图像下边框的垂直距离的标准值为H1,两眼连线到图像上边框的垂直距离的标准值为H2;H,W满足下式:
W=H×3/4,H0=5×H/12,H1=63×H/120,H2=7×H/120;
1.32.4)求出E点到直线L2的垂直距离hy,并计算图像放缩系数K=hy/H0;其中,E点到直线L2的垂直距离hy为
1.32.5)对人脸图像b按照放缩系数K进行放大或缩小处理,得到满足标准距离H0的人脸图像c;
1.32.6)在人脸图像c上确定出左眼球上的一点M的坐标位置(x6,y6)、右眼球上的一点N的坐标位置(x7,y7),以及下颌点P的纵坐标y8位置;y8=MidPoint.y+H0;
1.32.7)对人脸图像c进行裁减得到标准的待重建的归一化人脸图像d:裁去人脸图像c中x坐标小于(x6+x7)/2-W/2、大于(x6+x7)/2+W/2的部分,以及y坐标小于(y7-H2)、大于(y8+H1)的部分;若裁减后图像的宽度小于W或者高度小于H,则采用插值的方法,将宽度补到W或者高度补到H;
2)对标准的待重建的归一化人脸图像进行基于低频分量的超分辨率人脸图像的重建得到512×384高分辨率图像:
2.1)生成训练集:
2.11)将不低于100幅的清晰正面人脸图像作为训练集的图像;
2.12)采用人脸三点定位归一化方法将训练集中的每一幅图像变为512×384的标准分辨率人脸图像;
2.13)对每一幅512×384的标准分辨率图像使用9-7滤波器下采样生成32×24,64×48,128×96,256×192,512×384的五种清晰的分辨率样本,再对每一幅512×384的标准分辨率图像使用高斯金字塔滤波器下采样生成32×24的模糊的分辨率样本;
2.14)对64×48,128×96,256×192,512×384的四种清晰的分辨率样本用9-7滤波器组进行拉普拉斯金字塔分解提取高频分量并保存,作为高分辨率图像小波系数样本;
2.15)对32×24,64×48,128×96,256×192四种清晰的分辨率样本进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取它们的高频分量并保存,作为清晰的低分辨率图像小波系数样本,同时对模糊的32×24分辨率样本进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取其高频分量并保存,作为模糊的32×24低分辨率图像小波系数样本
2.2)对待重建的低分辨率图像进行去噪并通过模糊度估计确定学习样本:
2.21)对归一化后的待重建的32×24低分辨率图像进行去噪;步骤如下:
对待重建图像进行拉普拉斯金字塔分解,计算出其所有高频系数绝对值的中位数σ作为噪声标准差估计值,根据经典去噪算法以λσ为阈值进行去噪,λ为经验系数,取值范围为0.05<λ<0.3;
2.22)进行模糊程度估计,算出模糊程度系数:
∑h为待重建的低分辨率图像的高频系数绝对值之和,∑i为去噪后的待重建的32×24低分辨率图像像素值之和;
2.23)根据模糊程度系数u选取学习样本:
u<0.05,时学习采用模糊的32×24样本,u≥0.05时采用清晰的32×24样本;
2.3)通过LLE学习得到氟化钙的高分辨率图像:
2.31)从32×24到64×48放大:
2.31.1)将于2.21)中得到的去噪后的32×24低分辨率图像的像素值直接作为重建出的64×48高分辨率图像的低频系数;
2.31.2)对去噪后的32×24低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数;
2.31.3)将32×24低分辨率图像分割为大小为s×t的小块,s取值范围为4~8,t取值范围为8~12,相邻小块间有(s-1)×(t-1)的重叠;
2.31.4)利用LLE学习得到2.31.3)中分割出的小块对应位置的64×48高分辨率小块的高频系数:
令yLR为单个于2.31.3)中得到小块对应的于2.31.2)中得到的高频系数组成的向量,xLR(i)为第i个在2.23)确定的样本集中相应位置小块的高频系数组成的向量,在2.23)确定的样本集相应位置的小块中取前k个(5<k<8)与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量;w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量;进而计算出学习得到的64×48高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的64×48清晰分辨率样本小块的高频系数向量;
2.31.5)重复2.31.4)得到所有2.31.3)中分割出的小块对应的64×48高分辨率小块的高频系数
2.31.6)将2.31.5)中学习得到的64×48高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为结果,得到64×48高分辨率图像的高频系数;
2.31.7)将得到的64×48高分辨率图像的高、低频系数进行反变换便得到64×48高分辨率图像;
2.32)从64×48到128×96放大:
2.32.1)将从2.31)步得到的64×48高分辨率图像作为此步的64×48低分辨率图像,其像素值直接作为重建出的128×96高分辨率图像的低频系数;
2.32.2)对64×48低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数;
2.32.3)将64×48低分辨率图像分割为大小为s×t的小块,s取值范围为4~8,t取值范围为8~12,相邻小块间有(s-1)×(t-1)的重叠;
2.32.4)利用LLE学习得到2.32.3)中分割出的小块对应位置的128×96高分辨率小块的高频系数:
令yLR为单个于2.3.1.3)中得到小块对应的于2.32.2)中得到的高频系数组成的向量,xLR(i)为第i个64×48清晰的分辨率样本集相应位置小块的高频系数组成的向量,在64×48清晰的分辨率样本集相应位置的小块中取前k个(5<k<8)与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量,w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量,进而计算出学习得到的128×96高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的128×96清晰分辨率样本小块的高频系数向量;
2.32.5)重复2.32.4)得到所有2.32.3)中分割出的小块对应的128×96高分辨率小块的高频系数
2.32.6)将2.32.5)中学习得到的128×96高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为结果,得到128×96高分辨率图像的高频系数;
2.32.7)将得到的128×96高分辨率图像的高、低频系数进行反变换便得出128×96高分辨率图像;
2.33)从128×96到256×192放大:
2.33.1)将从2.32)步得到的128×96高分辨率图像作为此步的128×96低分辨率图像,其像素值直接作为重建出的256×192高分辨率图像的低频系数;
2.33.2)对128×96低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数;
2.33.3)将128×96低分辨率图像分割为大小为s×t的小块,s取值范围为4~8,t取值范围为8~12,相邻小块间有(s-1)×(t-1)的重叠;
2.33.4)利用LLE学习得到2.33.3)中分割出的小块对应位置的256×192高分辨率小块的高频系数:
令yLR为单个于2.31.3)中得到小块对应的于2.33.2)中得到的高频系数组成的向量,xLR(i)为第i个128×96清晰的分辨率样本相应位置小块的高频系数组成的向量,在128×96清晰的分辨率样本相应位置的小块中取前k个(5<k<8)与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量,w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量,进而计算出学习得到的256×192高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的256×192清晰分辨率样本小块的高频系数向量;
2.33.5)重复2.33.4)得到所有2.33.3)中分割出的小块对应的256×192高分辨率小块的高频系数
2.33.6)将2.33.5)中学习得到的256×192高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果,得到256×192高分辨率图像的高频系数;
2.33.7)将得到的256×192高分辨率图像的高、低频系数进行反变换便得出256×192高分辨率图像;
2.34)从256×192到512×384放大:
2.34.1)将从2.33)步得到的256×192高分辨率图像作为此步的256×192低分辨率图像,其像素值直接作为重建出的512×384高分辨率图像的低频系数;
2.34.2)对256×192低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数;
2.34.3)将256×192低分辨率图像分割为大小为s×t的小块,s取值范围为4~8,t取值范围为8~12,相邻小块间有(s-1)×(t-1)的重叠;
2.34.4)利用LLE学习得到2.34.3)中分割出的小块对应位置的512×384高分辨率小块的高频系数:
令yLR为单个于2.34.3)中得到小块对应的于2.34.2)中得到的高频系数组成的向量,xLR(i)为第i个256×192清晰的分辨率样本相应位置小块的高频系数组成的向量,在256×192清晰的分辨率样本相应位置小块中取前k个(5<k<8)与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量,w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量,进而计算出学习得到的512×384高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的512×384清晰分辨率样本小块的高频系数向量;
2.34.5)重复2.34.4)得到所有2.34.3)中分割出的小块对应的512×384高分辨率小块的高频系数
2.34.6)将2.34.5)中学习得到的512×384高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果,得到512×384高分辨率图像的高频系数;
2.34.7)将得到的512×384高分辨率图像的高、低频系数进行反变换便得到最终重建出的512×384高分辨率图像;
实施例
1)对原始图像进行基于人脸三点定位的归一化,得到待重建的归一化人脸图像
1.1)对含有低分辨率人脸图像的原始图像进行裁剪,裁剪出包含低分辨率人脸图像的矩形图像区域,得到低分辨率人脸图像,如图2所示,该区域左上、左下、右上、右下4个顶点坐标分别为:(898,526)、(898,556)、(924,526)、(924,556);
1.2)对1.1)得到的低分辨率人脸图像进行等比放大,放大倍率为6×6,放大后图像的高度为L=180,如图3所示;
1.3)对放大后的低分辨率人脸图像采用基于人脸三点定位归一化的方法进行归一化,得到一幅待重建的标准尺寸的人脸图像如图5所示;
1.31)在放大后的低分辨率人脸图像a上确定左眼球上的一点A的坐标(63,104)、右眼球上的一点B的坐标位置(112,105),通过A、B两点做直线L1,并确定下颌点C0坐标(87,174),如图4所示,按放大倍率6将三点的坐标对应至原裁剪图像坐标,分别为(908,543),(916,543),(912,555);
1.32)对原始图像进行基于人脸几何尺寸归一化的人脸图像识别方法中的人脸三点归一化方法,得到尺寸为32×24的待重建的归一化人脸图像,具体包括(属于已有技术)
1.32.1)计算直线L1和水平线的夹角α;
直线L1和水平线的夹角α由下式求得,其中(x1,y1),(x2,y2)分别对应左右眼球坐标:
1.32.2)对该人脸图像a进行旋转角度为α的旋转处理,得到人脸图像b;旋转表达式如下:
式中,x、y为输入人脸图像的坐标,x、y为人脸图像b的坐标;
1.32.3)在人脸图像b上计算确定出左眼球上的一点C的坐标位置(x3,y3)、右眼球上的一点D的坐标位置(x4,y4),通过C、D两点做直线L2,确定出旋转后的人脸图像的下颌点E的坐标位置(x5,y5);
1.32.4)规定几何尺寸归一化的人脸图像的几何尺寸的数值,其中宽度的尺寸为24,高度的尺寸为32;规定颌下线上的任何一点到两眼连线的垂直距离的标准值为H0,到图像下边框的垂直距离的标准值为H1,两眼连线到图像上边框的垂直距离的标准值为H2;
1.32.5)求出E点到直线L2的垂直距离hy,并计算图像放缩系数K=hy/H0;其中,E点到直线L2的垂直距离hy为
1.32.6)对人脸图像b按照放缩系数K进行放大或缩小处理,得到满足标准距离H0的人脸图像c;
1.32.7)在人脸图像c上确定出左眼球上的一点M的坐标位置(10,17)、右眼球上的一点N的坐标e位置(18,17),以及下颌点P的纵坐标y8位置;y8=29;
1.32.8)对人脸图像c进行裁减得到标准的待重建的归一化人脸图像d:裁去人脸图像c中x坐标小于(x6+x7)/2-W/2、大于(x6+x7)/2+W/2的部分,以及y坐标小于(y7-H2)、大于(y8+H1)的部分;若裁减后图像的宽度小于W或者高度小于H,则采用插值的方法,将宽度补到W或者高度补到H;
2)对标准的待重建的归一化人脸图像进行基于低频分量的超分辨率人脸图像的重建得到512×384高分辨率图像:
2.1)生成训练集:
2.11)用100幅的清晰正面人脸图像作为训练集的图像;
2.12)采用人脸三点定位归一化方法将训练集中的每一幅图像变为512×384的标准分辨率人脸图像;
2.13)对每一幅512×384的标准分辨率图像使用9-7滤波器下采样生成32×24,64×48,128×96,256×192,512×384的五种清晰的分辨率样本,再对每一幅512×384的标准分辨率图像使用高斯金字塔滤波器下采样生成32×24的模糊的分辨率样本;
2.14)对64×48,128×96,256×192,512×384的四种清晰的分辨率样本用9-7滤波器组进行拉普拉斯金字塔分解提取高频分量并保存,作为高分辨率图像小波系数样本;
2.15)对32×24,64×48,128×96,256×192四种清晰的分辨率样本进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取它们的高频分量并保存,作为清晰的低分辨率图像小波系数样本,同时对模糊的32×24分辨率样本进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取其高频分量并保存,作为模糊的32×24低分辨率图像小波系数样本
2.2)对待重建的低分辨率图像进行去噪并通过模糊度估计确定学习样本:
2.21)对归一化后的待重建的32×24低分辨率图像进行去噪;步骤如下:
对待重建图像进行拉普拉斯金字塔分解,计算出其所有高频系数绝对值的中位数σ作为噪声标准差估计值,根据经典去噪算法以λσ为阈值进行去噪,λ=0.15;
2.22)进行模糊程度估计,算出模糊程度系数:
∑h为待重建的低分辨率图像的高频系数绝对值之和,∑i为去噪后的待重建的32×24低分辨率图像像素值之和;
2.23)根据模糊程度系数u选取学习样本:
因为u=0.03<0.05,学习采用模糊的32×24样本;
2.3)通过LLE学习得到最终重建的高分辨率图像:
2.31)从32×24到64×48放大:
2.31.1)将于2.2.1)中得到的去噪后的32×24低分辨率图像的像素值直接作为重建出的64×48高分辨率图像的低频系数;
2.31.2)对去噪后的32×24低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数;
2.31.3)将32×24低分辨率图像分割为大小为5×10的小块,相邻小块间有4×9的重叠;
2.31.4)利用LLE学习得到2.31.3)中分割出的小块对应位置的64×48高分辨率小块的高频系数:
令yLR为单个于2.31.3)中得到小块对应的于2.31.2)中得到的高频系数组成的向量,xLR(i)为第i个在模糊的32×24样本集中相应位置小块的高频系数组成的向量,在模糊的32×24样本集相应位置的小块中取前k=6个与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量;w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量;进而计算出学习得到的64×48高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的64×48清晰分辨率样本小块的高频系数向量;
2.31.5)重复2.31.4)得到所有2.31.3)中分割出的小块对应的64×48高分辨率小块的高频系数
2.31.6)将2.31.5)中学习得到的64×48高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为结果,得到64×48高分辨率图像的高频系数;
2.31.7)将得到的64×48高分辨率图像的高、低频系数进行反变换便得到64×48高分辨率图像;
2.32)从64×48到128×96放大:
2.32.1)将从2.31)步得到的64×48高分辨率图像作为此步的64×48低分辨率图像,其像素值直接作为重建出的128×96高分辨率图像的低频系数;
2.32.2)对64×48低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数;
2.32.3)将64×48低分辨率图像分割为大小为5×10的小块,相邻小块间有4×9的重叠;
2.32.4)利用LLE学习得到2.32.3)中分割出的小块对应位置的128×96高分辨率小块的高频系数:
令yLR为单个于2.31.3)中得到小块对应的于2.32.2)中得到的高频系数组成的向量,xLR(i)为第i个64×48清晰的分辨率样本集相应位置小块的高频系数组成的向量,在64×48清晰的分辨率样本集相应位置的小块中取前k=6个与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量,w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量,进而计算出学习得到的128×96高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的128×96清晰分辨率样本小块的高频系数向量;
2.32.5)重复2.32.4)得到所有2.32.3)中分割出的小块对应的128×96高分辨率小块的高频系数
2.32.6)将2.32.5)中学习得到的128×96高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为结果,得到128×96高分辨率图像的高频系数;
2.32.7)将得到的128×96高分辨率图像的高、低频系数进行反变换便得出128×96高分辨率图像;
2.33)从128×96到256×192放大:
2.33.1)将从2.32)步得到的128×96高分辨率图像作为此步的128×96低分辨率图像,其像素值直接作为重建出的256×192高分辨率图像的低频系数;
2.33.2)对128×96低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数;
2.33.3)将128×96低分辨率图像分割为大小为5×10的小块,相邻小块间有4×9的重叠;
2.33.4)利用LLE学习得到2.33.3)中分割出的小块对应位置的256×192高分辨率小块的高频系数:
令yLR为单个于2.31.3)中得到小块对应的于2.33.2)中得到的高频系数组成的向量,xLR(i)为第i个128×96清晰的分辨率样本相应位置小块的高频系数组成的向量,在128×96清晰的分辨率样本相应位置的小块中取前k=6个与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量,w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量,进而计算出学习得到的256×192高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的256×192清晰分辨率样本小块的高频系数向量;
2.33.5)重复2.33.4)得到所有2.33.3)中分割出的小块对应的256×192高分辨率小块的高频系数
2.33.6)将2.33.5)中学习得到的256×192高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果,得到256×192高分辨率图像的高频系数;
2.33.7)将得到的256×192高分辨率图像的高、低频系数进行反变换便得出256×192高分辨率图像;
2.34)从256×192到512×384放大:
2.34.1)将从2.33)步得到的256×192高分辨率图像作为此步的256×192低分辨率图像,其像素值直接作为重建出的512×384高分辨率图像的低频系数;
2.34.2)对256×192低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数;
2.34.3)将256×192低分辨率图像分割为大小为5×10的小块,相邻小块间有4×9的重叠;
2.34.4)利用LLE学习得到2.34.3)中分割出的小块对应位置的512×384高分辨率小块的高频系数:
令yLR为单个于2.34.3)中得到小块对应的于2.34.2)中得到的高频系数组成的向量,xLR(i)为第i个256×192清晰的分辨率样本相应位置小块的高频系数组成的向量,在256×192清晰的分辨率样本相应位置小块中取前k=6个与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量,w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量,进而计算出学习得到的512×384高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的512×384清晰分辨率样本小块的高频系数向量;
2.34.5)重复2.34.4)得到所有2.34.3)中分割出的小块对应的512×384高分辨率小块的高频系数
2.34.6)将2.34.5)中学习得到的512×384高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果,得到512×384高分辨率图像的高频系数;
2.34.7)将得到的512×384高分辨率图像的高、低频系数进行反变换便得到最终重建出的512×384高分辨率图像,如图6所示;
将将上述方法,按照低分辨率人脸图像的裁剪、低分辨率人脸图像的放大、三点定位归一化、重建、存储的步骤编制程序,实现超分辨率重建技术的低分辨率人脸图像的重建,得到最终重建结果如图6所示。低分辨率人脸对应的真实清晰人脸图像如图7所示。从图6、图7中可以看到,本发明效果明显。
Claims (1)
1.一种基于超分辨率重建技术的低分辨率人脸图像的重建方法,其特征在于,包括以下步骤:
1)对原始图像进行基于人脸三点定位的归一化,得到待重建的归一化人脸图像,具体包括:
1.1)对含有低分辨率人脸图像的原始图像进行裁剪,裁剪出包含低分辨率人脸图像的矩形区域,得到低分辨率人脸图像;该区域左上、左下、右上、右下4个顶点在原始图像中坐标分别为:(m1,n1)、(m1,n2)、(m2,n1)、(m2,n2),m、n分别表示坐标系中的点的横坐标和纵坐标;
1.2)对1.1)中得到的低分辨率人脸图像进行等比放大,放大倍率为K×K,放大后图像的高度为L,L=K×(n2-n1),k满足:K≥150/(n2-n1);
1.3)对放大后的低分辨率人脸图像采用基于人脸三点定位的归一化方法进行归一化,得到一幅待重建的标准尺寸的归一化人脸图像;
1.31)在放大后的低分辨率人脸图像a上确定左眼球上的一点A的坐标(x11,y11)、右眼球上的一点B的坐标位置(x21,y21),通过A、B两点做直线L1,并确定下颌点C0坐标(x01,y01),按放大倍率K将三点的坐标对应至原裁剪图像坐标,分别为(x1,y1),(x2,y2),(x0,y0);
1.32)对原始图像进行基于人脸几何尺寸归一化的人脸图像识别方法中的人脸三点归一化方法,得到尺寸为H×W的待重建的归一化人脸图像,其中H,W满足下式:
W=Hx3/4;
2)对待重建的标准尺寸的归一化人脸图像进行基于低频分量的超分辨率人脸图像的重建得到512×384高分辨率图像:
2.1)生成训练集:
2.11)将不低于100幅的清晰正面人脸图像作为训练集的图像;
2.12)采用人脸三点定位归一化方法将训练集中的每一幅图像变为512×384的标准分辨率人脸图像;
2.13)对每一幅512×384的标准分辨率图像使用9-7滤波器下采样生成32×24,64×48,128×96,256×192,512×384的五种清晰的分辨率样本,再对每一幅512×384的标准分辨率图像使用高斯金字塔滤波器下采样生成32×24的模糊的分辨率样本;
2.14)对64×48,128×96,256×192,512×384的四种清晰的分辨率样本用9-7滤波器组进行拉普拉斯金字塔分解提取高频分量并保存,作为高分辨率图像小波系数样本;
2.15)对32×24,64×48,128×96,256×192四种清晰的分辨率样本进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取它们的高频分量并保存,作为清晰的低分辨率图像小波系数样本,同时对模糊的32×24分辨率样本进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取其高频分量并保存,作为模糊的32×24低分辨率图像小波系数样本;
2.2)对待重建的低分辨率图像进行去噪并通过模糊度估计确定学习样本:
2.21)对归一化后的待重建的32×24低分辨率图像进行去噪;步骤如下:
对待重建图像进行拉普拉斯金字塔分解,计算出其所有高频系数绝对值的中位数σ作为噪声标准差估计值,根据经典去噪算法以λσ为阈值进行去噪,λ为经验系数,取值范围为0.05<λ<0.3;
2.22)进行模糊程度估计,算出模糊程度系数:
∑h为待重建的低分辨率图像的高频系数绝对值之和,∑i为去噪后的待重建的32×24低分辨率图像像素值之和;
2.23)根据模糊程度系数u选取学习样本:
u<0.05,时学习采用模糊的32×24样本,u≥0.05时采用清晰的32×24样本;
2.3)通过LLE学习得到最终重建出的高分辨率图像:
2.31)从32×24到64×48放大:
2.31.1)将于2.21)中得到的去噪后的32×24低分辨率图像的像素值直接作为重建出的64×48高分辨率图像的低频系数;
2.31.2)对去噪后的32×24低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数;
2.31.3)将去噪后的32×24低分辨率图像分割为大小为s×t的小块,s取值范围为4~8,t取值范围为8~12,相邻小块间有(s-1)×(t-1)的重叠;
2.31.4)利用LLE学习得到2.31.3)中分割出的小块对应位置的64×48高分辨率小块的高频系数:
令yLR为单个于2.31.3)中得到小块对应的于2.31.2)中得到的高频系数组成的向量,xLR(i)为第i个在2.23)确定的样本集中相应位置小块的高频系数组成的向量,在2.23)确定的样本集相应位置的小块中取前k个(5<k<8)与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量;w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量;进而计算出学习得到的64×48高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的64×48清晰分辨率样本小块的高频系数向量;
(4)两式中ε=1;
2.31.5)重复2.31.4)得到所有2.31.3)中分割出的小块对应的64×48高分辨率小块的高频系数
2.31.6)将2.31.5)中学习得到的64×48高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为结果,得到64×48高分辨率图像的高频系数;
2.31.7)将得到的64×48高分辨率图像的高、低频系数进行反变换便得到64×48高分辨率图像;
2.32)从64×48到128×96放大:
2.32.1)将从2.31)步得到的64×48高分辨率图像作为此步的64×48低分辨率图像,其像素值直接作为重建出的128×96高分辨率图像的低频系数;
2.32.2)对64×48低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数;
2.32.3)将64×48低分辨率图像分割为大小为s×t的小块,s取值范围为4~8,t取值范围为8~12,相邻小块间有(s-1)×(t-1)的重叠;
2.32.4)利用LLE学习得到2.32.3)中分割出的小块对应位置的128×96高分辨率小块的高频系数:
令yLR为单个于2.31.3)中得到小块对应的于2.32.2)中得到的高频系数组成的向量,xLR(i)为第i个64×48清晰的分辨率样本集相应位置小块的高频系数组成的向量,在64×48清晰的分辨率样本集相应位置的小块中取前k个(5<k<8)与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量,w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量,进而计算出学习得到的128×96高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的128×96清晰分辨率样本小块的高频系数向量;
若进行光照处理,(3)、(4)两式中若不进行光照处理,(3)、(4)两式中ε=1;
2.32.5)重复2.32.4)得到所有2.32.3)中分割出的小块对应的128×96高分辨率小块的高频系数
2.32.6)将2.32.5)中学习得到的128×96高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为结果,得到128×96高分辨率图像的高频系数;
2.32.7)将得到的128×96高分辨率图像的高、低频系数进行反变换便得出128×96高分辨率图像;
2.33)从128×96到256×192放大:
2.33.1)将从2.32)步得到的128×96高分辨率图像作为此步的128×96低分辨率图像,其像素值直接作为重建出的256×192高分辨率图像的低频系数;
2.33.2)对128×96低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数;
2.33.3)将128×96低分辨率图像分割为大小为s×t的小块,s取值范围为4~8,t取值范围为8~12,相邻小块间有(s-1)×(t-1)的重叠;
2.33.4)利用LLE学习得到2.33.3)中分割出的小块对应位置的256×192高分辨率小块的高频系数:
令yLR为单个于2.31.3)中得到小块对应的于2.33.2)中得到的高频系数组成的向量,xLR(i)为第i个128×96清晰的分辨率样本相应位置小块的高频系数组成的向量,在128×96清晰的分辨率样本相应位置的小块中取前k个(5<k<8)与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量,w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量,进而计算出学习得到的256×192高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的256×192清晰分辨率样本小块的高频系数向量;
2.33.5)重复2.33.4)得到所有2.33.3)中分割出的小块对应的256×192高分辨率小块的高频系数
2.33.6)将2.33.5)中学习得到的256×192高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果,得到256×192高分辨率图像的高频系数;
2.33.7)将得到的256×192高分辨率图像的高、低频系数进行反变换便得出256×192高分辨率图像;
2.34)从256×192到512×384放大:
2.34.1)将从2.33)步得到的256×192高分辨率图像作为此步的256×192低分辨率图像,其像素值直接作为重建出的512×384高分辨率图像的低频系数;
2.34.2)对256×192低分辨率图像进行最邻近插值与双三次线性插值,取两者平均,用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数;
2.34.3)将256×192低分辨率图像分割为大小为s×t的小块,s取值范围为4~8,t取值范围为8~12,相邻小块间有(s-1)×(t-1)的重叠;
2.34.4)利用LLE学习得到2.34.3)中分割出的小块对应位置的512×384高分辨率小块的高频系数:
令yLR为单个于2.34.3)中得到小块对应的于2.34.2)中得到的高频系数组成的向量,xLR(i)为第i个256×192清晰的分辨率样本相应位置小块的高频系数组成的向量,在256×192清晰的分辨率样本相应位置小块中取前k个(5<k<8)与yLR均方误差最小的样本小块,计算如下极值问题:
令G=(εyLR1T-X)T(εyLR1T-X),其中X的每列为xLR(i),共k列,1为元素皆为1的向量,w(i)为k个待求系数,此极值问题的解为W为w(i)组成的向量,进而计算出学习得到的512×384高分辨率图像小块的高频系数向量为:
其中xHR(i)为xLR(i)对应的512×384清晰分辨率样本小块的高频系数向量;
2.34.5)重复2.34.4)得到所有2.34.3)中分割出的小块对应的512×384高分辨率小块的高频系数
2.34.6)将2.34.5)中学习得到的512×384高分辨率小块进行拼接,相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果,得到512×384高分辨率图像的高频系数;
2.34.7)将得到的512×384高分辨率图像的高、低频系数进行反变换便得到最终重建出的512×384高分辨率图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210435373.2A CN102968775B (zh) | 2012-11-02 | 2012-11-02 | 基于超分辨率重建技术的低分辨率人脸图像的重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210435373.2A CN102968775B (zh) | 2012-11-02 | 2012-11-02 | 基于超分辨率重建技术的低分辨率人脸图像的重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102968775A true CN102968775A (zh) | 2013-03-13 |
CN102968775B CN102968775B (zh) | 2015-04-15 |
Family
ID=47798902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210435373.2A Expired - Fee Related CN102968775B (zh) | 2012-11-02 | 2012-11-02 | 基于超分辨率重建技术的低分辨率人脸图像的重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102968775B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103475876A (zh) * | 2013-08-27 | 2013-12-25 | 北京工业大学 | 一种基于学习的低比特率压缩图像超分辨率重建方法 |
CN103903239A (zh) * | 2014-03-24 | 2014-07-02 | 合肥工业大学 | 一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法及其*** |
CN103971332A (zh) * | 2014-03-17 | 2014-08-06 | 北京工业大学 | 一种基于hr-lle权值约束的人脸图像超分辨率复原方法 |
CN104050652A (zh) * | 2014-07-02 | 2014-09-17 | 中国科学院长春光学精密机械与物理研究所 | 构造金字塔自学习的超分辨率重构方法 |
CN104156720A (zh) * | 2014-07-26 | 2014-11-19 | 佳都新太科技股份有限公司 | 基于噪声评估模型的人脸图像去噪方法 |
CN105447840A (zh) * | 2015-12-09 | 2016-03-30 | 西安电子科技大学 | 基于主动采样与高斯过程回归的图像超分辨方法 |
CN107563978A (zh) * | 2017-08-31 | 2018-01-09 | 苏州科达科技股份有限公司 | 人脸去模糊方法及装置 |
CN107633483A (zh) * | 2017-09-18 | 2018-01-26 | 长安大学 | 光照鲁棒性的人脸图像超分辨率方法 |
CN108932536A (zh) * | 2018-07-18 | 2018-12-04 | 电子科技大学 | 基于深度神经网络的人脸姿态重建方法 |
CN109429085A (zh) * | 2017-08-30 | 2019-03-05 | 三星电子株式会社 | 显示装置及其图像处理方法 |
CN109584196A (zh) * | 2018-12-20 | 2019-04-05 | 北京达佳互联信息技术有限公司 | 数据集生成方法、装置、电子设备及存储介质 |
CN110490796A (zh) * | 2019-04-11 | 2019-11-22 | 福建师范大学 | 一种高低频成分融合的人脸超分辨率处理方法及*** |
CN110738601A (zh) * | 2019-10-23 | 2020-01-31 | 智慧视通(杭州)科技发展有限公司 | 一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法 |
CN112102170A (zh) * | 2020-09-18 | 2020-12-18 | 重庆紫光华山智安科技有限公司 | 超分辨率重建网络训练、图像生成方法、***、终端及介质 |
CN112669207A (zh) * | 2020-12-21 | 2021-04-16 | 四川长虹电器股份有限公司 | 一种基于电视摄像头的人脸图像分辨率增强方法 |
CN113259766A (zh) * | 2021-05-24 | 2021-08-13 | 广东东软学院 | 视频文件修复方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1687959A (zh) * | 2005-04-30 | 2005-10-26 | 清华大学 | 基于人脸几何尺寸归一化的人脸图像识别方法 |
-
2012
- 2012-11-02 CN CN201210435373.2A patent/CN102968775B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1687959A (zh) * | 2005-04-30 | 2005-10-26 | 清华大学 | 基于人脸几何尺寸归一化的人脸图像识别方法 |
Non-Patent Citations (2)
Title |
---|
乔建苹: "《超分辨率重建与图像增强技术研究》", 《万方学位论文》 * |
苏光大等: "《一种基于幻想脸的人脸图像分辨率提升新技术》", 《CONTROL CONFERENCE, 2008. CCC 2008. 27TH CHINESE》 * |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103475876A (zh) * | 2013-08-27 | 2013-12-25 | 北京工业大学 | 一种基于学习的低比特率压缩图像超分辨率重建方法 |
CN103475876B (zh) * | 2013-08-27 | 2016-06-22 | 北京工业大学 | 一种基于学习的低比特率压缩图像超分辨率重建方法 |
CN103971332A (zh) * | 2014-03-17 | 2014-08-06 | 北京工业大学 | 一种基于hr-lle权值约束的人脸图像超分辨率复原方法 |
CN103971332B (zh) * | 2014-03-17 | 2016-10-05 | 北京工业大学 | 一种基于hr-lle权值约束的人脸图像超分辨率复原方法 |
CN103903239B (zh) * | 2014-03-24 | 2017-06-20 | 合肥工业大学 | 一种视频超分辨率重建方法及其*** |
CN103903239A (zh) * | 2014-03-24 | 2014-07-02 | 合肥工业大学 | 一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法及其*** |
CN104050652A (zh) * | 2014-07-02 | 2014-09-17 | 中国科学院长春光学精密机械与物理研究所 | 构造金字塔自学习的超分辨率重构方法 |
CN104156720A (zh) * | 2014-07-26 | 2014-11-19 | 佳都新太科技股份有限公司 | 基于噪声评估模型的人脸图像去噪方法 |
CN105447840B (zh) * | 2015-12-09 | 2019-01-29 | 西安电子科技大学 | 基于主动采样与高斯过程回归的图像超分辨方法 |
CN105447840A (zh) * | 2015-12-09 | 2016-03-30 | 西安电子科技大学 | 基于主动采样与高斯过程回归的图像超分辨方法 |
US11062430B2 (en) | 2017-08-30 | 2021-07-13 | Samsung Electronics Co., Ltd. | Display apparatus and image processing method thereof |
CN109429085B (zh) * | 2017-08-30 | 2021-06-22 | 三星电子株式会社 | 显示装置及其图像处理方法 |
CN109429085A (zh) * | 2017-08-30 | 2019-03-05 | 三星电子株式会社 | 显示装置及其图像处理方法 |
US11532075B2 (en) | 2017-08-30 | 2022-12-20 | Samsung Electronics Co., Ltd. | Display apparatus for restoring high-frequency component of input image and image processing method thereof |
CN107563978A (zh) * | 2017-08-31 | 2018-01-09 | 苏州科达科技股份有限公司 | 人脸去模糊方法及装置 |
CN107633483A (zh) * | 2017-09-18 | 2018-01-26 | 长安大学 | 光照鲁棒性的人脸图像超分辨率方法 |
CN108932536A (zh) * | 2018-07-18 | 2018-12-04 | 电子科技大学 | 基于深度神经网络的人脸姿态重建方法 |
CN109584196A (zh) * | 2018-12-20 | 2019-04-05 | 北京达佳互联信息技术有限公司 | 数据集生成方法、装置、电子设备及存储介质 |
CN110490796A (zh) * | 2019-04-11 | 2019-11-22 | 福建师范大学 | 一种高低频成分融合的人脸超分辨率处理方法及*** |
CN110490796B (zh) * | 2019-04-11 | 2023-02-14 | 福建师范大学 | 一种高低频成分融合的人脸超分辨率处理方法及*** |
CN110738601A (zh) * | 2019-10-23 | 2020-01-31 | 智慧视通(杭州)科技发展有限公司 | 一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法 |
CN112102170B (zh) * | 2020-09-18 | 2021-05-18 | 重庆紫光华山智安科技有限公司 | 超分辨率重建网络训练、图像生成方法、***、终端及介质 |
CN112102170A (zh) * | 2020-09-18 | 2020-12-18 | 重庆紫光华山智安科技有限公司 | 超分辨率重建网络训练、图像生成方法、***、终端及介质 |
CN112669207A (zh) * | 2020-12-21 | 2021-04-16 | 四川长虹电器股份有限公司 | 一种基于电视摄像头的人脸图像分辨率增强方法 |
CN113259766A (zh) * | 2021-05-24 | 2021-08-13 | 广东东软学院 | 视频文件修复方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102968775B (zh) | 2015-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102968775B (zh) | 基于超分辨率重建技术的低分辨率人脸图像的重建方法 | |
CN102663361B (zh) | 一种面向整体特征分析的人脸图像可逆几何归一化方法 | |
CN110969124B (zh) | 基于轻量级多分支网络的二维人体姿态估计方法及*** | |
Kiechle et al. | A joint intensity and depth co-sparse analysis model for depth map super-resolution | |
CN104408700A (zh) | 基于形态学和pca的轮廓波红外与可见光图像融合方法 | |
CN107154023A (zh) | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 | |
CN103295197B (zh) | 基于字典学习和双边正则的图像超分辨率重建方法 | |
CN106339998A (zh) | 基于对比度金字塔变换的多聚焦图像融合方法 | |
CN104809734A (zh) | 一种基于引导滤波的红外图像与可见光图像融合的方法 | |
CN110364253A (zh) | 用于辅助的患者定位的***和方法 | |
CN102800074B (zh) | 基于轮廓波变换的sar图像变化检测差异图生成方法 | |
CN107341786A (zh) | 小波变换与联合稀疏表示的红外与可见光图像融合方法 | |
CN103295210B (zh) | 婴儿图像合成方法及装置 | |
CN102592136A (zh) | 基于几何图像中中频信息的三维人脸识别方法 | |
CN105335929A (zh) | 一种深度图超分辨方法 | |
CN102968762A (zh) | 一种基于稀疏化和泊松模型的pet重建方法 | |
CN103034989A (zh) | 一种基于优质先验图像的低剂量cbct图像去噪方法 | |
CN109636766A (zh) | 基于边缘信息增强的偏振差分与光强图像多尺度融合方法 | |
CN110517198A (zh) | 用于ldct图像去噪的高频敏感gan网络 | |
CN113112583B (zh) | 基于红外热成像的3d人体重构方法 | |
CN104008536A (zh) | 基于cs-chmt和idpcnn的多聚焦噪声图像融合方法 | |
CN102163330A (zh) | 基于张量分解与Delaunay三角划分的多视角人脸合成方法 | |
CN105809650A (zh) | 一种基于双向迭代优化的图像融合方法 | |
CN105184741A (zh) | 基于改进非局部均值的三维cbct图像除噪方法 | |
Arai et al. | Gait recognition method based on wavelet transformation and its evaluation with chinese academy of sciences (casia) gait database as a human gait recognition dataset |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150415 |
|
CF01 | Termination of patent right due to non-payment of annual fee |