CN102663361A - 一种面向整体特征分析的人脸图像可逆几何归一化方法 - Google Patents

Abstract

本发明公开了一种面向整体特征分析的人脸图像可逆几何归一化方法，采用基于二次仿射变换的方法，首先进行全局仿射即对人脸图像按照人脸的标准结构定义进行全局的旋转、缩放和裁剪，使得输入人脸图像达到双眼坐标处于同一水平线、双眼中心距离按照标准结构的参数d进行归一化，并使人脸的横向与纵向比例与标准结构一致。将图像裁剪为2d×2d大小。然后通过局部仿射变换针对嘴区域进行几何位置归一化。最后利用图像边缘融合达到最终形成标准几何归一化人脸图像。逆归一化过程即根据逆变换参数将标准结构人脸图像通过二次仿射逆变换恢复到几何归一化之前的几何结构特征，以便保持不同人脸特征点的个性化拓扑结构。经过几何归一化的人脸图像可用于基于整体特征的人脸分析，如用于人脸图像的超分辨率重建，人脸识别等。

Description

一种面向整体特征分析的人脸图像可逆几何归一化方法

技术领域

本发明涉及一种人脸图像几何归一化方法，特别涉及一种人脸图像处理领域的基于二次仿射变换的人脸图像可逆几何归一化方法。

背景技术

随着计算机和多媒体技术的发展和社会的不断进步，安全监控、可视通信、医学影像、卫星遥感、电子娱乐、计算机视觉等各种领域对高质量图像和视频提出了广泛的需求，高质量的图像/视频能够提供更丰富的信息和更真实的视觉感受，是很多实际应用的基础。空间分辨率指图像中存储的信息量，是衡量图像细节表现力的重要指标。真实世界的连续场景本身具有丰富的信息，但是受到成像设备、成像环境、噪声等各种因素的影响，由成像设备获取的数字图像通常是低分辨率图像，难以满足不断提高的实际应用要求。尤其是来自于各种手持设备、车载视频采集设备、无线视频传感器网络以及恶劣自然条件下的视频监控设备等的图像/视频，在分辨率上通常难以令人满意。因此，图像/视频超分辨率(Super-Resolution，SR)技术已成为近年来图像处理领域的一个研究热点。

人脸是图像处理与分析中的重要对象，针对人脸图像的超分辨率复原引起了广泛的关注。针对人脸图像，基于整体人脸特征分析的方法得到了很好的实验结果。这类方法将人脸图像作为一个整体进行特征分析。对成对的高分辨率人脸图像和相应的低分辨率人脸图像构成的样本库进行PCA(Principle Component Analysis)或ICA(Idendity ComponentAnalysis)分析。通过PCA将人脸整体分解为不同的特征脸的线性组合。样本库表现为一组低分辨率特征脸和对应的高分辨率特征脸进行PCA分解后的本征脸集合。超分辨率复原即首先将低分辨率人脸分解为若干个低分辨率特征脸的线性组合，得到组合系数。然后将这组系数直接应用到对应的高分辨本征脸上，组合出新的高分辨率人脸。

这类方法能够得到分辨率较高的结果，但是重建结果的人脸效果好坏很大程度上依赖样本库中图像是否很好的几何归一化。现实中人脸大小不一、五官位置更是因人而异，因此面向整体特征的人脸图像几何归一化就起到了关键作用，是决定超分辨复原后图像结果的一项重要因素。现有的方法通常通过对双眼位置的归一化实现的。即经过对人脸图像的全局旋转、按比例缩放以及裁剪使得人眼的坐标位置固定。这样做仍会使没有对齐的鼻子和嘴复原后产应明显膺像，问题并没有得到根本的解决。同时，这些方法通常不考虑几何归一化对人脸个性化比例特征的改变。输入图像一经修改就破坏了原始的人脸个性化比例特征。

发明内容

本发明的目的在于，通过基于二次仿射变换的方法实现可逆的人脸图像几何归一化，根据人脸标准几何结构的定义，分别采用全局仿射变换、局部仿射变换和图像边缘融合三种方法。

本发明是采用以下技术手段实现的：

一种基于二次仿射变换的人脸几何归一化方法，由视频采集设备将人脸图像采集，将目标图像的光学信号转化为数字图像信号，存储在采集设备存储器中；计算机通过现有的USB、红外接口读入图像，在处理器中进行基于二次仿射变换的人脸几何归一化；所述的归一化结果可以以数据库的形式存放并直接存储在本地硬盘，或通过网络存储设备或进行网络存储；所述的归一化方法主要包括人脸标准几何结构定义，全局仿射变换步骤，局部仿射变换步骤和图像边缘融合步骤。

所述全局仿射变换步骤中，人脸图像按照人脸的标准结构定义(图1)标注后，进行全局的旋转、缩放和裁剪，使得输入人脸图像达到双眼坐标处于同一水平线、双眼中心距离按照标准结构的参数d进行归一化，并使人脸的横向与纵向比例与标准结构一致；

所述局部仿射变换步骤中，针对嘴区域进行几何位置归一化。主要步骤为嘴区域划分，局部旋转和缩放以及变换后的嘴区域；

所述图像边缘融合步骤中，针对全局变换图像与局部变换图像进行边缘的融合，达到形成标准几何归一化人脸图像；

图像归一化方法包括下述步骤：

从数据库中读入采集后的人脸图像；

由6个特征点坐标及其相对位置描述人脸图像，选取P₁～P₆(其对应坐标为(x₁，y₁)～(x₆，y₆))，分别对应左眼中心、右眼中心、鼻尖、左侧嘴角，嘴中心和右侧嘴角坐标；

计算特征点之间相对位置关系F＝(d，r₁，r₂，r₃)。其中，

$d=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}---\left(1\right)$

$r_1=\frac{y_3-y_1}{d}---\left(2\right)$

$r_2=\frac{y_5-y_3}{d}---\left(3\right)$

$r_3=\frac{x_5-x_4}{d}=\frac{x_6-x_5}{d}---\left(4\right)$

即d为双眼中心之间的欧式距离，r₁为双眼连线到鼻尖的垂直距离与d的比值；r₂为鼻尖到嘴中心点的距离与d的比值，r₃为嘴中心点到嘴角距离与d的比值。人脸图像的长和宽定义为2d，眼睛中心距最近的图像边缘为0.5d；

通过对人脸图像样本库特征点标注并求统计平均得到针对不同人种人脸图像的标准结构参数F；

对人脸标准结构定义后的图像进行全局仿射变换，通过全局的旋转、缩放和裁剪，使得输入人脸图像达到双眼坐标处于同一水平线、双眼中心距离按照标准结构的参数d进行归一化，并使人脸的横向与纵向比例与标准结构一致；

进行局部仿射变换针对嘴区域进行几何位置归一化。主要步骤为嘴区域划分，局部旋转和缩放以及变换后的嘴区域与原图像的边缘融合。

嘴部局部图像与全局图像边缘融合，完成人脸图像几何归一化；

几何归一化后的人脸图像存入数据库中，并在本地进行存储或通过网络存储设备进行远程传输等操作；

逆归一化过程与上述的几何归一化过程相反，先从局部逆仿射开始，再到全局逆仿射；

前述全局仿射变换步骤如下：

对于输入的人脸图像，进行人工特征点(P₁～P₆)标注，根据P₁和P₂坐标计算全局图像旋转角度，如式(5)所示：

$\mathrm{\α}=\mathrm{arctg}\left(\frac{y_2-y_1}{x_2-x_1}\right)$

(5)

其中，α为P₁与P₂连线与水平线的角度。对图像进行角度为θ＝-α的旋转。旋转前后对应的坐标如式(6)所示：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$

(6)

定义旋转后图像的左上角为新的坐标***原点，则坐标原点相对于原图像原点还进行了平移，设原图像的宽和高分别为W和H，则，进行逆时针旋转的图像坐标变换关系如式(7)所示：

$\left\{\begin{array}{c}{x}^{\′}=x\cos \mathrm{\θ}+y\sin \mathrm{\θ}\\ y^{\′}=-x\cos \mathrm{\θ}+y\cos \mathrm{\θ}+W\sin \mathrm{\θ}\end{array}\right.$

(7)

其中(x，y)为原图像坐标，(x’，y’)为旋转后的图像坐标。类似地，顺时针旋转图像与原图像对应的坐标关系为：

$\left\{\begin{array}{c}{x}^{\′}=x\cos \mathrm{\θ}+y\sin \mathrm{\θ}-H\sin \mathrm{\θ}\\ y^{\′}=-x\cos \mathrm{\θ}+y\cos \mathrm{\θ}\end{array}\right.$

(8)

旋转后的图像双眼特征点处于同一水平线。计算横向和纵向缩放比例系数，并进行裁剪，使得双眼坐标和鼻尖的纵坐标与人脸标准几何结构一致。横向和纵向缩放比例系数分别如式(9)、(10)所示：

S_h＝(x′₂-x′₁)/d    (9)

S_y＝(y′₃-y′₁)/r₁d

(10)

其中，坐标点x′₁、x′₂、y′₁和y′₃为旋转后的特征点坐标，r₁和d为公式(2)定义的标准结构参数，即d为双眼中心之间的欧式距离，r₁为双眼连线到鼻尖的垂直距离与d的比值。为了确保归一化的可逆性，参数α和横向与纵向缩放系数的比值S＝Sh/Sv作为逆变换参数保存。

前述局部仿射变换，针对嘴部区域几何归一化具体步骤如下：

采用矩形划定嘴区域，矩形的长和高分别如式(11)、(12)所示：

w＝a₁(x₆-x₄)        (11)

h＝a₂(y₅-y₃)                     (12)

矩形的左上角顶点坐标如式(13)所示：

(x_o，y_o)＝(x₅-w/2，(y₅+y₃)/2)    (13)

将矩形左下角和右下角三角区排除在嘴区之外。三角区的两条直角边分别为w/4和h/4。通过对CAS-PEAL-R1数据库的测试，选取a₁＝1.7，a₂＝1.1；

通过特征点P4～P6坐标计算嘴区的局部旋转角度如式(14)所示：

$\mathrm{\β}=\mathrm{arctg}\left(\frac{y_6-y_4}{x_6-x_4}\right)---\left(14\right)$

局部缩放系数计算如式(15)所示：

S_m＝Sp＝Sq＝(2r₃d)/(x′₆-x′₄)       (15)

其中，x′₄和x′₆为特征点P₄和P₆在经过旋转变换后的局部图像中的横向坐标。嘴部的局部缩放采取横向和纵向等比例缩放；

经过旋转和缩放的嘴部图像经过平移，使得变换后的P₅坐标与人脸标准结构中的P₅坐标重合，平移偏量记为(Δ_x，Δ_y)；

获得了全部用于逆变换的参数F_inv＝[α，S，β，S_m，Δ_x，Δ_y]；

前述针对全局变换图像与局部变换图像进行边缘的融合步骤如下：

建立标记图像Label。标记图像大小为2d×2d；

对图像每个像素点以数值0～3标记。图像所有标记值初始化为0；划定嘴区后，处于嘴区的相应位置像素，标记图像取值为1；经过局部旋转、缩放和平移后，新的嘴区覆盖的区标记图像标记值为2。这样标记图像的具体含义为：取值0的位置为局部变换未涉及的像素区域；取值为1的区域属于原嘴区，且不被新嘴区所覆盖的像素；取值为2的像素为新嘴区域且不与原嘴区域重合的位置；取值为3的像素位置为新嘴区与原嘴区重合的位置；

对于0区像素，直接采用全局图像中的像素作为为最终的归一化图像像素；

对于2区像素，由于局部仿射变换后新嘴区覆盖了原始像素点，因此将新嘴区的像素直接代替覆盖的原图像素点；

3区为新的嘴区域与原图像嘴区域的重合部分，采用加权平均的方法得到融合结果，以避免图像中出现明显的边缘赝像；权值定义如下：以局部仿射变换后的P₅(x₅，y₅)为中心构造二维高斯函数如式(16)所示：

$\mathrm{Weight}(i,j)=e^{-(\frac{i^2}{{\mathrm{\σ}}_x^2}+\frac{j^2}{{\mathrm{\σ}}_y^2})}$

(16)

其中i＝x-x₅，j＝y-y₅，均为局部图像中的图像坐标；

w_m＝w×S_m和h_m＝h×S_m分别为局部仿射变换后嘴部图像的宽和高；

重叠区(i，j)的合成像素如式(17)所示：

p(i，j)＝Weight(i，j)p_G+(1-Weight(i，j))p_L.

(17)

P_G为全局图像重叠区中的像素点的像素值，P_L为嘴部区域中与全局图像重叠像素点的像素值；

1区像素为属于原嘴区，但不被新嘴区覆盖的区域，通过一维线性插值来填补融合图像中处于1区的像素；

遍历Label图，如果当前标记为1区，则在以当前点为起始点，统计横向和纵向连续为1区的长度RunWidth和RunHeight；

选取连续长度较小的方向，使得插值像素点具有很好的连续性，根据融合图像中处于该段1区两端的0区像素值进行线性插值获取1区的融合像素值；

如果RunHeight＜RunWidth则融合像素点：

$Q(i,j)=Q_G(i_1,j)\×\left(\frac{i_2-i}{\mathrm{RunHeight}}\right)+Q_L(i_2,j)\×\left(\frac{i-i_1}{\mathrm{RunHeight}}\right)$

(18)

其中Q_G(i₁，j)为插值像素点同列的最上端第一个不属于1区的像素点，Q_L(i₂，j)为插值像素点同列的最下端第一个不属于1区的像素点。

如果RunWidth＜RunHeight则融合像素点：

$Q(i,j)=Q_M(i,j_1)\×\left(\frac{j_2-j}{\mathrm{RunWidtht}}\right)+Q_N(i,j_2)\×\left(\frac{j-j_1}{\mathrm{RunWidth}}\right)$

(19)

其中Q_M(i，j₁)为插值像素点同行的最左端第一个不属于1区的像素点，Q_N(i，j₂)为插值像素点同行的最右端第一个不属于1区的像素点。

将插值后的像素对应的Label图中的标记1修改为0，为未融合的1区像素的线性插值提供帮助；

本发明与现有技术相比，具有以下明显的优势和有益效果：

本发明人脸图像按照人脸的标准结构定义并进行全局仿射变换通过旋转、缩放和裁剪，使得输入人脸图像达到双眼坐标处于同一水平线、双眼中心距离按照标准结构的参数d进行归一化，并使人脸的横向与纵向比例与标准结构一致。然后应用局部仿射变换，针对嘴区域进行几何位置归一化，包括嘴区域划分，局部旋转和缩放以及变换后的嘴区域。最后进行图像边缘融合，针对全局变换图像与局部变换图像进行边缘的融合，形成完整的几何归一化人脸图像；

该方法充分利用了人脸图像五官位置近似的特点，在进行基于全局特征PCA的超分辨复原之前将数据库中图像统一进行基于二次仿射变换的可逆的人脸图像几何归一化，很好的改善了超分辨率复原的结果，同时可逆的归一化方法保持了图像原有的特征。

本发明的特点：

1.采用6点坐标描述人脸的主要特征的拓扑结构，简单明了；提出基于统计确定6点描述的标准人脸结构方法；

2.利用全局仿射变换和局部仿射变换，分别对人脸的全局结构和嘴部局部结构进行几何归一化方法，原理简单，易于实现；

3.基于标记的边缘区域融合技术，可有效去除局部结构调整引入的图像赝像；

4.将人脸几何归一化过程参数化，可实现归一化过程的逆变换。解决归一化处理对人脸结构的改变影响人脸处理结果的问题。

附图说明：

图1、人脸的标准结构定义；

图2、(a)逆时针旋转、缩放及裁剪后的坐标对应关系；(b)顺时针旋转后的坐标对应关系；

图3、(a)嘴区域划分图；(b)局部变换标记图；

图4、(a)训练样本库的生成图；(b)基于本发明的人脸超分辨率复原框图。

图5(a)未经归一化处理的人脸图像重建结果(b)归一化处理后人脸图像重建结果。

具体实施方式：

以下结合说明书附图，对本发明的实施例加以详细说明：

由视频采集设备将人脸图像采集，将目标图像的光学信号转化为数字图像信号，存储在采集设备存储器中；计算机通过现有的USB、红外接口读入图像，在处理器中进行基于二次仿射变换的人脸几何归一化；所述的归一化结果可以以数据库的形式存放并直接存储在本地硬盘，或通过网络存储设备或进行网络存储；所述的归一化方法主要包括人脸标准几何结构定义，全局仿射变换步骤，局部仿射变换步骤和图像边缘融合步骤。

(一)人脸标准几何结构定义

如附图1所示，由6个特征点坐标及其相对位置描述人脸图像，选取P₁～P₆(其对应坐标为(x₁，y₁)～(x₆，y₆))，分别对应左眼中心、右眼中心、鼻尖、左侧嘴角，嘴中心和右侧嘴角坐标；

计算特征点之间相对位置关系F＝(d，r₁，r₂，r₃)。其中，

$d=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}---\left(1\right)$

$r_1=\frac{y_3-y_1}{d}---\left(2\right)$

$r_2=\frac{y_5-y_3}{d}---\left(3\right)$

$r_3=\frac{x_5-x_4}{d}=\frac{x_6-x_5}{d}---\left(4\right)$

即d为双眼中心之间的欧式距离，r₁为双眼连线到鼻尖的垂直距离与d的比值；r₂为鼻尖到嘴中心点的距离与d的比值，r₃为嘴中心点到嘴角距离与d的比值。人脸图像的长和宽定义为2d，眼睛中心距最近的图像边缘为0.5d；

通过对人脸图像样本库特征点标注并求统计平均得到针对不同人种人脸图像的标准结构参数F；

(二)全局仿射变换

全局仿射变换步骤如下：

对于输入的人脸图像，进行人工特征点(P₁～P₆)标注，根据P₁和P₂坐标计算全局图像旋转角度，如式(5)所示：

$\mathrm{\α}=\mathrm{arctg}\left(\frac{y_2-y_1}{x_2-x_1}\right)$

(5)

其中，α为P₁与P₂连线与水平线的角度。对图像进行角度为θ＝-α的旋转。旋转前后对应的坐标如式(6)所示：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$

(6)

定义旋转后图像的左上角为新的坐标***原点，则坐标原点相对于原图像原点还进行了平移，如图2所示设原图像的宽和高分别为W和H，则，进行逆时针旋转的图像坐标变换关系如式(7)所示：

$\left\{\begin{array}{c}{x}^{\′}=x\cos \mathrm{\θ}+y\sin \mathrm{\θ}\\ y^{\′}=-x\cos \mathrm{\θ}+y\cos \mathrm{\θ}+W\sin \mathrm{\θ}\end{array}\right.---\left(7\right)$

其中(x，y)为原图像坐标，(x’，y’)为旋转后的图像坐标。类似地，顺时针旋转图像与原图像对应的坐标关系为：

$\left\{\begin{array}{c}{x}^{\′}=x\cos \mathrm{\θ}+y\sin \mathrm{\θ}-H\sin \mathrm{\θ}\\ y^{\′}=-x\cos \mathrm{\θ}+y\cos \mathrm{\θ}\end{array}\right.$

(8)

旋转后的图像双眼特征点处于同一水平线。计算横向和纵向缩放比例系数，并进行裁剪，使得双眼坐标和鼻尖的纵坐标与人脸标准几何结构一致。横向和纵向缩放比例系数分别如式(9)、(10)所示：

S_h＝(x′₂-x′₁)/d                (9)

S_y＝(y′₃-y′₁)/r₁d

(10)

其中，坐标点x′₁、x′₂、y′₁和y′₃为旋转后的特征点坐标，r₁和d为2.1部分定义的标准为了确保归一化的可逆性，参数α和横向与纵向缩放系数的比值S＝Sh/Sv作为逆变换参数保存。同时，根据旋转、缩放和裁剪参数，更新人脸特征点P₁～P₆的坐标；

(三)局部仿射变换

局部仿射变换，针对嘴部区域几何归一化具体步骤如下：

采用矩形划定嘴区域如图3(a)所示，矩形的长和高分别如式(11)、(12)所示：

w＝a₁(x₆-x₄)                     (11)

h＝a₂(y₅-y₃)                     (12)

矩形的左上角顶点坐标如式(13)所示：

(x_o，y_o)＝(x₅-w/2，(y₅+y₃)/2)    (13)

将矩形左下角和右下角三角区排除在嘴区之外。三角区的两条直角边分别为l4和h/4。通过对CAS-PEAL-R1数据库的测试，选取a₁＝1.7，a₂＝1.1；

通过特征点P4～P6坐标计算嘴区的局部旋转角度如式(14)所示：

$\mathrm{\β}=\mathrm{arctg}\left(\frac{y_6-y_4}{x_6-x_4}\right)---\left(14\right)$

局部缩放系数计算如式(15)所示：

S_m＝Sp＝Sq＝(2r₃d)/(x′₆-x′₄)       (15)

x′₄和x′₆为特征点P₄和P₆在经过旋转变换后的局部图像中的横向坐标。嘴部的局部缩放采取横向和纵向等比例缩放；

经过旋转和缩放的嘴部图像经过平移，使得变换后的P₅坐标与人脸标准结构中的P₅坐标重合，平移偏量记为(Δ_x，Δ_y)；

获得了全部用于逆变换的参数F_inv＝[α，S，β，S_m，Δ_x，Δ_y]；

(四)图像边缘融合

前述针对全局变换图像与局部变换图像进行边缘的融合步骤如下：

建立标记图像Label。标记图像大小为2d×2d；

对图像每个像素点以数值0～3标记。所有标记值初始化为0；划定嘴区后，处于嘴区的相应位置像素，标记图像取值为1；经过局部旋转、缩放和平移后，新的嘴区覆盖的区与相应的标记图像标记值为2。这样标记图像的具体含义为：取值0的位置为局部变换未涉及的像素区域；取值为1的区与为属于原嘴区，且不被新嘴区所覆盖的像素；取值为2的像素为新嘴区域且不与原嘴区域重合的位置；区值为3的像素位置为新嘴区与原嘴区重合的位置；

对于0区像素，直接采用全局图像中的像素作为为最终的归一化图像像素；

对于2区像素，由于局部仿射变换后新嘴区覆盖了原始像素点，因此将新嘴区的像素直接代替它覆盖的原图像素点；

3区为新的嘴区域与原图像嘴区域的重合部分，采用加权平均的方法得到融合结果，以避免图像中出现明显的边缘赝像；权值定义如下：以局部仿射变换后的P₅(x₅，y₅)为中心构造二维高斯函数如式(16)所示：

$\mathrm{Weight}(i,j)=e^{-(\frac{i^2}{{\mathrm{\σ}}_x^2}+\frac{j^2}{{\mathrm{\σ}}_y^2})}$

(16)

其中i＝ x-x₅，j＝y-y₅，均为局部图像中的图像坐标；

w_m＝w×S_m和h_m＝h×S_m分别为局部仿射变换后嘴部图像的宽和高；

重叠区(i，j)的合成像素如式(17)所示：

p(i，j)＝Weight(i，j)P_G+(1-Weight(i，j))P_L.

(17)

P_G为全局图像重叠区中的像素点的像素值，P_L为嘴部区域中与全局图像重叠像素点的像素值；

1区像素为属于原嘴区，但不被新嘴区覆盖的区域，通过一维线性插值来填补融合图像中处于1区的像素；

遍历Label图，如果当前标记为1区，则在以当前点为起始点，统计横向和纵向连续为1区的长度RunWidth和RunHeight；

选取连续长度较小的方向，使得插值像素点具有很好的连续性，根据融合图像中处于该段1区两端的0区像素值进行线性插值获取1区的融合像素值；

如果RunHeight＜RunWidth则融合像素点：

$Q(i,j)=Q_G(i_1,j)\×\left(\frac{i_2-i}{\mathrm{RunHeight}}\right)+Q_L(i_2,j)\×\left(\frac{i-i_1}{\mathrm{RunHeight}}\right)$

(18)

其中Q_G(i₁，j)为插值像素点同列的最上端第一个不属于1区的像素点，Q_L(i₂，j)为插值像素点同列的最下端第一个不属于1区的像素点。

如果RunWidth＜RunHeight则融合像素点：

$Q(i,j)=Q_M(i,j_1)\×\left(\frac{j_2-j}{\mathrm{RunWidtht}}\right)+Q_N(i,j_2)\×\left(\frac{j-j_1}{\mathrm{RunWidth}}\right)$

(19)

其中Q_M(i，j₁)为插值像素点同行的最左端第一个不属于1区的像素点，Q_N(i，j₂)为插值像素点同行的最右端第一个不属于1区的像素点。

将插值后的像素对应的Label图中的标记1修改为0，为未融合的1区像素的线性插值提供帮助；

几何归一化后的人脸图像存入数据库中，并在本地进行存储或通过网络存储设备进行远程传输等操作；经过归一化的人脸图像库可用于PCA分析、建立人脸图像分析的样本库，用于人脸识别或人脸超分辨率重建等应用。

(五)逆归一化

根据人脸标准结构定义，划定局部嘴区域。按照F_inv参数中的局部平移参数(Δ_x，Δ_y)、局部缩放系数S_m以及局部旋转角度β进行嘴部图像的平移、缩放和旋转；

进行局部仿射变换后的图像与全局图像的边缘融合。

根据可逆参数中的S和α对融合后的图像进行缩放和旋转，得到逆归一化后的人脸图像。S为归一化中全局仿射变换的横向与纵向缩放系数的比值。逆归一化中可根据S和目标图像的宽计算出目标图像的高，从而实现横向和纵向不同比例的逆缩放。

根据全局角度参数α进行图像的整体旋转。

附图4说明了将本发明方法应用于人脸图像超分辨率重建的***框图。图4(a)为人脸图像库样本的生成过程。将经过该发明进行几何归一化的高分辨率人脸图像库进行下采样生成对应的低分辨率图像。对高分辨率和低分辨率人脸库分别进行PCA分析，得到对应的特征向量组作为人脸图像超分辨率重建的样本库。图4(b)为对一幅人脸图像进行基于整体特征分析的超分辨率重建过程。首先将低分辨率人脸图像进行基于本发明的几何归一化，得到逆变换参数F_inv；然后利用样本库中低分辨率图像的PCA特征向量组对归一化的人脸图像进行线性表示，得到线性组合系数C。将组合系数C与高分辨率人脸的PCA特征向量组进行线性组合，得到高分辨率人脸图像的初始估计图像。对初始结果进行基于F_inv参数的逆归一化处理，得到高分辨率人脸图像重建结果。附图5说明了将本发明方法应用于人脸图像超分辨率重建过程，能够有效的提高重建图像质量。其中图5(a)为未经归一化处理的人脸图像超分辨率重建结果，图5(b)为归一化处理后人脸图像超分辨率重建结果。附表一说明了在图像客观质量评价中，对300副样本图像分别进行归一化与未归一化的处理后，测试样本实现两倍放大结果的平均PSNR值。从表中可以看出归一化后的样本得到的结果明显优于未经过归一化处理的一组样本。本发明方法在该人脸图像超分辨率重建方案中，可保留原人脸图像的个性化几何特征，提高整体人脸分析的有效性。

表一CAS-PEAL-R1数据库图像归一化测试PSNR平均值(2倍放大)

	PSNR(db)
		归一化后结果	29.026
未经归一化结果	27.421

Claims (4)

1.一种面向整体特征分析的人脸图像可逆几何归一化方法，由视频采集设备将人脸图像采集，将目标图像的光学信号转化为数字图像信号，存储在采集设备存储器中；计算机通过现有的USB、红外接口读入图像，在处理器中进行基于二次仿射变换的人脸几何归一化；所述的归一化结果可以以数据库的形式存放并直接存储在本地硬盘，或通过网络存储设备或进行网络存储；所述的归一化方法主要包括人脸标准几何结构定义，全局仿射变换步骤，局部仿射变换步骤和图像边缘融合步骤；

所述全局仿射变换步骤中，人脸图像按照人脸的标准结构定义后进行全局的旋转、缩放和裁剪，使得输入人脸图像达到双眼坐标处于同一水平线、双眼中心距离按照标准结构的参数d进行归一化，并使人脸的横向与纵向比例与标准结构一致；

所述局部仿射变换步骤中，针对嘴区域进行几何位置归一化，主要步骤为嘴区域划分，局部旋转和缩放以及变换后的嘴区域；

所述图像边缘融合步骤中，针对全局变换图像与局部变换图像进行边缘的融合，达到形成标准几何归一化人脸图像；

图像归一化算法包括下述步骤：

从数据库中读入采集后的人脸图像；

由6个特征点坐标及其相对位置描述人脸图像，选取P₁～P₆(其对应坐标为(x₁，y₁)～(x₆，y₆))，分别对应左眼中心、右眼中心、鼻尖、左侧嘴角，嘴中心和右侧嘴角坐标；

计算特征点之间相对位置关系F＝(d，r₁，r₂，r₃)；其中，

$d=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}---\left(1\right)$

$r_1=\frac{y_3-y_1}{d}---\left(2\right)$

$r_2=\frac{y_5-y_3}{d}---\left(3\right)$

$r_3=\frac{x_5-x_4}{d}=\frac{x_6-x_5}{d}---\left(4\right)$

即d为双眼中心之间的欧式距离，r₁为双眼连线到鼻尖的垂直距离与d的比值；r₂为鼻尖到嘴中心点的距离与d的比值，r₃为嘴中心点到嘴角距离与d的比值；人脸图像的长和宽定义为2d，眼睛中心距最近的图像边缘为0.5d；

通过对人脸图像样本库特征点标注并求统计平均得到针对不同人种人脸图像的标准结构参数F；

对人脸标准结构定义后的图像进行全局仿射变换，通过全局的旋转、缩放和裁剪，使得输入人脸图像达到双眼坐标处于同一水平线、双眼中心距离按照标准结构的参数d进行归一化，并使人脸的横向与纵向比例与标准结构一致；

进行局部仿射变换针对嘴区域进行几何位置归一化；主要步骤为嘴区域划分，局部旋转和缩放以及变换后的嘴区域与原图像的边缘融合；

嘴部局部图像与全局图像边缘融合，完成人脸图像几何归一化；

几何归一化后的人脸图像存入数据库中，并在本地进行存储或通过网络存储设备进行远程传输等操作；

逆归一化过程与上述的几何归一化过程相反，先从局部逆仿射开始，再到全局逆仿射。

2.根据权利要求1所述的一种面向整体特征分析的人脸图像可逆几何归一化方法，其特征在于：所述的全局仿射变换，具体步骤如下：

2.1：对于输入的人脸图像，进行人工特征点(P₁～P₆)标注，根据P₁和P₂坐标计算全局图像旋转角度，如式(5)所示：

$\mathrm{\α}=\mathrm{arctg}\left(\frac{y_2-y_1}{x_2-x_1}\right)---\left(5\right)$

2.2：其中，α为P₁与P₂连线与水平线的角度；对图像进行角度为θ＝-α的旋转；旋转前后对应的坐标如式(6)所示：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]---\left(6\right)$

2.3：定义旋转后图像的左上角为新的坐标***原点，则坐标原点相对于原图像原点还进行了平移，设原图像的宽和高分别为W和H，则，进行逆时针旋转的图像坐标变换关系如式(7)所示：

$\left\{\begin{array}{c}{x}^{\′}=x\cos \mathrm{\θ}+y\sin \mathrm{\θ}\\ y^{\′}=-x\cos \mathrm{\θ}+y\cos \mathrm{\θ}+W\sin \mathrm{\θ}\end{array}\right.---\left(7\right)$

2.4：其中(x，y)为原图像坐标，(x’，y’)为旋转后的图像坐标；类似地，顺时针旋转图像与原图像对应的坐标关系为：

$\left\{\begin{array}{c}{x}^{\′}=x\cos \mathrm{\θ}+y\sin \mathrm{\θ}-H\sin \mathrm{\θ}\\ y^{\′}=-x\cos \mathrm{\θ}+y\cos \mathrm{\θ}\end{array}\right.---\left(8\right)$

2.5：旋转后的图像双眼特征点处于同一水平线；计算横向和纵向缩放比例系数，并进行裁剪，使得双眼坐标和鼻尖的纵坐标与人脸标准几何结构一致；横向和纵向缩放比例系数分别如式(9)、(10)所示：

S_h＝(x′₂-x′₁)/d                   (9)

S_y＝(y′₃-y′₁)/r₁d

(10)

2.6：其中，坐标点x′₁、x′₂、y′₁和y′₃为旋转后的特征点坐标，d为双眼中心之间的欧式距离，r₁为双眼连线到鼻尖的垂直距离与d的比值，参数α和横向与纵向缩放系数的比值S＝Sh/Sv作为逆变换参数保存。

3.根据权利要求1所述的一种面向整体特征分析的人脸图像可逆几何归一化方法，其特征在于：所述的局部仿射变换，针对嘴部区域几何归一化具体步骤如下：

3.1：采用矩形划定嘴区域，矩形的长和高分别如式(11)、(12)所示：

w＝a₁(x₆-x₄)                     (11)

h＝a₂(y₅-y₃)                     (12)

矩形的左上角顶点坐标如式(13)所示：

(x_o，y_o)＝(x₅-w/2，(y₅+y₃)/2)    (13)

将矩形左下角和右下角三角区排除在嘴区之外；三角区的两条直角边分别为w/4和h/4；通过对CAS-PEAL-R1数据库的测试，选取a₁＝1.7，a₂＝1.1；

3.2：通过特征点P4～P6坐标计算嘴区的局部旋转角度如式(14)所示：

$\mathrm{\β}=\mathrm{arctg}\left(\frac{y_6-y_4}{x_6-x_4}\right)---\left(14\right)$

局部缩放系数计算如式(15)所示：

S_m＝Sp＝Sq＝(2r₃d)/(x′₆-x′₄)       (15)

其中，x′₄和x′₆为特征点P₄和P₆在经过旋转变换后的局部图像中的横向坐标；嘴部的局部缩放采取横向和纵向等比例缩放；

经过旋转和缩放的嘴部图像经过平移，使得变换后的P₅坐标与人脸标准结构中的P₅坐标重合，平移偏量记为(Δ_x，Δ_y)；

获得全部用于逆变换的参数F_inv＝[α，S，β，S_m，Δ_x，Δ_y]。

4.根据权利要求1所述的一种面向整体特征分析的人脸图像可逆几何归一化方法，其特征在于：所述的全局变换图像与局部变换图像进行边缘的融合，具体步骤如下：

4.1：建立标记图像Label；标记图像大小为2d×2d；

4.2：对图像每个像素点以数值0～3标记；图像所有标记值初始化为0；划定嘴区后，处于嘴区的相应位置像素，标记图像取值为1；经过局部旋转、缩放和平移后，新的嘴区覆盖的区与相应的标记图像标记值为2；这样标记图像的具体含义为：取值0的位置为局部变换为涉及的像素区域；取值为1的区与为属于原嘴区，且不被新嘴区所覆盖的像素；取值为2的像素为新嘴区域且不与原嘴区域重合的位置；区值为3的像素位置为新嘴区与原嘴区重合的位置；

对于0区像素，直接采用全局图像中的像素作为为最终的归一化图像像素；

对与2区像素，由于局部仿射变换后新嘴区覆盖了原始像素点，因此将新嘴区的像素直接代替覆盖的原图像素点；

3区为新的嘴区域与原图像非嘴区与的重合部分，采用加权平均的方法得到融合结果，以避免图像中出现明显的边缘赝像；权值定义如下：以局部仿射变换后的P₅(x₅，y₅)为中心构造二维高斯函数如式(16)所示：

$\mathrm{Weight}(i,j)=e^{-(\frac{i^2}{{\mathrm{\σ}}_x^2}+\frac{j^2}{{\mathrm{\σ}}_y^2})}---\left(16\right)$

其中i＝x-x₅，i＝y-y₅，均为局部图像中的图像坐标；

w_m＝w×S_m和h_m＝h×S_m分别为局部仿射变换后嘴部图像的宽和高；

重叠区(i，j)的合成像素如式(17)所示：

p(i，j)＝Weight(i，j)p_G+(1-Weight(i，j))p_L.

(17)

P_G为全局图像重叠区中的像素点的像素值，p_L为嘴部区域的相应位置像素点的像素值；

4.3：1区像素为属于原嘴区，但不被新嘴区覆盖的区域，通过插值来填补融合图像中处于1区的像素；

遍历Label图，如果当前标记为1区，则在以当前点为起始点，统计横向和纵向连续为1区的长度RunWidth和RunHeight；

选取连续长度较小的方向，使得插值像素点具有很好的连续性，根据融合图像中处于该段1区两端的0区像素值进行线性插值获取1区的融合像素值；

如果RunHeight＜RunWidth则融合像素点：

$Q(i,j)=Q_G(i_1,j)\×\left(\frac{i_2-i}{\mathrm{RunHeight}}\right)+Q_L(i_2,j)\×\left(\frac{i-i_1}{\mathrm{RunHeight}}\right)---\left(18\right)$

其中Q_G(i₁，j)为插值像素点同列的最上端第一个不属于1区的像素点，Q_L(i₂，j)为插值像素点同列的最下端第一个不属于1区的像素点；

如果RunWidth＜RunHeight则融合像素点：

$Q(i,j)=Q_M(i,j_1)\×\left(\frac{j_2-j}{\mathrm{RunWidtht}}\right)+Q_N(i,j_2)\×\left(\frac{j-j_1}{\mathrm{RunWidth}}\right)---\left(19\right)$

其中Q_M(i，j₁)为插值像素点同行的最左端第一个不属于1区的像素点，Q_N(i，j₂)为插值像素点同行的最右端第一个不属于1区的像素点；

将插值后的像素对应的Label图中的标记1修改为0，为未融合的1区像素的线性插值提供帮助。

Images