CN110909676A - 一种光照不均匀的面部纹理特征提取方法 - Google Patents

一种光照不均匀的面部纹理特征提取方法 Download PDF

Info

Publication number
CN110909676A
CN110909676A CN201911153532.8A CN201911153532A CN110909676A CN 110909676 A CN110909676 A CN 110909676A CN 201911153532 A CN201911153532 A CN 201911153532A CN 110909676 A CN110909676 A CN 110909676A
Authority
CN
China
Prior art keywords
image
illumination
texture
illumination condition
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911153532.8A
Other languages
English (en)
Inventor
谢咚咚
曹笈
孙英豪
裴海燕
张海滨
谷雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liangzhun Shanghai Medical Devices Co ltd
Original Assignee
Jiangsu Ji Cai Intelligent Sensing Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Ji Cai Intelligent Sensing Technology Research Institute Co Ltd filed Critical Jiangsu Ji Cai Intelligent Sensing Technology Research Institute Co Ltd
Priority to CN201911153532.8A priority Critical patent/CN110909676A/zh
Publication of CN110909676A publication Critical patent/CN110909676A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种光照不均匀的面部纹理特征提取方法，包括：步骤一、采集原始图像；步骤二、对图像进行均匀光照条件校正处理：步骤(1)：获取图像亮度的频域；步骤(2)：将纹理图像进行拆解；步骤(3)：获取光照条件系数；步骤(4)：获取两种不同光照下的商图像；步骤(5)：基于给定图像的光照条件和参考的均匀光照，获取商图像，得到均匀光照条件下的纹理图像。本发明能够有效解决纹理特征的清晰度、纹理的连续性、光滑性的问题，显著提高人脸识别性能；应用前景广泛，可应用于安防安检***、身份识别***、视频分析***等领域。

Description

一种光照不均匀的面部纹理特征提取方法
技术领域
本发明涉及一种人脸识别及图像处理方法，尤其涉及一种光照不均匀的面部纹理特征提取方法。
背景技术
近年来，随着诸如表情、姿势和光照不变的人脸识别***不断发展。在人脸识别研究领域，人脸面部图像光照变化仍然是一个难题，当改变光照条件时，同一张面孔会以各种方式出现。更具体地，由光照变化会引起人脸面部产生局部阴影和全阴影。因此会严重降低人脸识别性能。为了提高面部识别的准确性和性能，已经提出了多种方法来解决该问题。例如，直方图均衡、伽玛校正、对数转换、梯度方法、自商方法等光照归一化方法。这些方法虽然可以获取人脸面部纹理，但纹理清晰度不够，纹理不连续。
发明内容
发明目的：针对目前现有面部纹理特征增强方法存在的缺点与不足，本发明目的是提供一种光照不均匀的面部纹理特征提取方法，以解决人脸面部图像纹理特征的纹理清晰度问题以及纹理连续性和光滑性问题。
技术方案：一种光照不均匀的面部纹理特征提取方法，包括：
步骤一、采集原始图像；
步骤二、对图像进行均匀光照条件校正处理，包括如下内容：
步骤(1)：获取图像亮度的频域；
步骤(2)：将纹理图像进行拆解；
步骤(3)：获取光照条件系数；优选通过最小二乘解得光照条件系数；
步骤(4)：获取两种不同光照下的商图像；
步骤(5)：基于给定图像的光照条件和参考的均匀光照，获取商图像，得到在均匀光照条件下的纹理图像。
进一步的，采集原始图像后，还包括图像预处理的步骤。优选的，采集原始图像后，首先分析判断原始图像是否存在深度阴影，当图像存在深度阴影时，再对其进行预处理操作。
进一步的，所述预处理包括采用单尺度Retinex方法对图像进行增强处理的步骤。
进一步的，所述预处理包括提取获取面部图像纹理特征的步骤。采用光照归一化、异性直方图或者二维的离散余弦变换方法获取面部图像纹理特征，优选采用二维的离散余弦变换方法。
进一步的，所述预处理包括对图像进行对数域方向变换的步骤。
和现有技术相比，本发明具有如下显著优点：能够有效解决纹理特征的清晰度、纹理的连续性、光滑性的问题，显著提高人脸识别性能；应用前景广泛，可应用于安防安检***、身份识别***、视频分析***等领域。
附图说明
图1为本发明的一种光照不均匀的面部纹理特征提取方法的流程示意图；
图2为采用本发明处理后的面部图像纹理特征示意图，其中(a)为原始人脸图像，(b)为采用单尺度Retinex方法处理后的人脸图像，(c)为通过进行二维的离散余弦变换方法处理后的人脸图像，(d)为通过对数域方向变换处理后的人脸图像，(e)为在均匀光照条件下的纹理图像。
具体实施方式
下面结合附图和具体实施例，对本发明的技术方案做进一步说明。
如图1所示，一种光照不均匀的面部纹理特征提取方法，包括：
步骤一、启动摄像头***采集原始图像；
步骤二、对原始图像进行预处理；
步骤三、进行均匀光照条件校正处理。
启动摄像头***采集原始图像后，优选对采集的原始图像进行阈值分析，如果图像阈值大于设定阈值，这表明原始图像会因为光照不同会产生深度的局部阴影，则对图像进行步骤二的预处理操作，基本消除所有的阴影，针对残留的局部阴影，采用步骤三的解决方法，通过近视模拟出步骤二处理后所得的给定图像的光照条件，同时给出一个标准均匀的光照条件，将步骤二处理结果映射到标准均匀的光照条件下，即形成纹理不变，光照均匀的图像。由此便可以完全消除局部阴影，并且能够同时凸显出人脸面部图像的纹理特征信息。
本实施例中，对光照不均匀下的人脸面部图像纹理特征逐步优化的具体过程如下：
1、启动摄像头采集***：采集原始图像，如图2(a)。
2、采用单尺度Retinex方法，该方法的基础理论是物体的颜色是由物体对长波(红色)、中波(绿色)、短波(蓝色)光线的反射能力来决定的，而不是由反射光强度的绝对值来决定的，物体的色彩不受光照非均匀性的影响，具有一致性，即Retinex是以色感一致性(颜色恒常性)为基础的。不同于传统的线性、非线性的只能增强图像某一类特征的方法，Retinex可以在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，因此可以对各种不同光照不均匀条件下图像进行自适应的增强。
具体操作步骤如下：
首先Retinex理论认为图像可以看做是入射图像和反射图像构成，入射光照射在反射物体上，通过反射物体的反射，形成反射光进入人眼。最后形成的图像r(x,y)可以如下公式表示：
Figure BDA0002284218640000031
其中，S(x,y)是原始图像，(x,y)是像素点的空间二维坐标，F(x,y)为中心环绕函数，
Figure BDA0002284218640000032
c是高斯环绕尺度，本实施例取值为2；λ是阈值参数，满足积分∫∫F(x,y)dxdy＝1。
经上述操作步骤，所得结果如图2(b)。
3、通过二维的离散余弦变换方法，该方法通过线性矩阵变换改善了分块变换必然存在的边界噪声，在消除图像边界噪声、改善图像纹理清晰度和降低图像局部阴影方面具有优越性。此外，还可以采用常规的光照归一化、异性直方图等方法进行特征提取，采用二维的离散余弦变换方法的具体操作步骤如下：
根据步骤2确定的图像r(x,y)，将其进行二维的离散余弦变换得r1(x,y):
Figure BDA0002284218640000033
其中，
Figure BDA0002284218640000034
(M,N)是图像的大小，x和y为图像时间域的坐标，u和v对应离散余弦变换系数坐标。
经上述操作步骤，所得结果如图2(c)。
4、通过对图像进行对数域方向变换，能够平滑和突显人脸的纹理特征，该方法考虑到人眼的视觉特性中包含对数环节，因此在图像锐化时，首先进行对数变换，可以对阴暗区的细节进行较好的处理。具体的操作步骤如下：
根据步骤3确定的图像r1(x,y)，将其进行对数变换得r2(x,y):
Figure BDA0002284218640000035
其中，r1(x,y)输入图像，s＝lgr1(x-1,y)+lgr1(x+1,y)+lgr1(x,y-1)+lgr1(x,y+1),lg(x)对应以10为底的对数函数。
经上述操作步骤，所得结果如图2(d)。
5、由于原始图像的阈值过大，导致面部阴影过深，通过步骤2到步骤4，可以得出基本消除了阴影，但是还是存在一些局部阴影。此时采取校正光的策略来消除局部阴影光照的影响,将提取的人脸区域的光照条件校正映射到参考标准均匀光照条件下，即形成纹理不变，光照均匀的图像。通过如下的步骤(1)-(4)，获取两种不同光照下的商图像，由此便由商图像和给定图像的光照条件，故可获得光照校正后的纹理图像。步骤(1)是获取图像亮度的频域，步骤(2)是将步骤4获取的纹理图像进行拆解，步骤(3)是根据最小二乘获取光照条件系数。步骤(4)获取两种不同光照下的商图像。步骤(5)是基于给定图像的光照条件和参考的均匀光照，可获取商图像，由此便可得到在均匀光照条件下的纹理图像，如图2(e)。
具体的操作步骤如下：
(1)图像亮度的绝大部分能量都限制在3个低阶部分，因此很自然地在频域空间来对其进行分析，其频域公式为E(α,β):
Figure BDA0002284218640000041
其中，
Figure BDA0002284218640000042
是反射的球面谐波系数，Llm是入射光线的系数，Ylm球面谐波函数。
(2)根据步骤4确定的纹理图像r2(x,y)，对其中的每一个像素点(x,y)，下面等式都是成立的：
r2(x,y)＝ρ(x,y)E(α(x,y),β(x,y))
其中α(x,y)和β(x,y)可由纹理图像r2(x,y)的法线向量计算得到，ρ(x,y)是人脸纹理图像反照率。
(3)假设人脸纹理图像反照率ρ(x,y)是常数，Elm＝AlYlm表示谐波图像。则光照条件L的系数就可以通过最小二乘解得：
Figure BDA0002284218640000043
其中E是Elm的n×9维矩阵，n是人脸纹理图像的像素总数。
(4)由步骤(3)便可以估计得到给定图像的光照条件，就可以很容易地将其重新打光到标准均匀光照下。对于图像上(x,y)处一个确定的点P,它的法线为(α,β)，反照率为ρ(x,y)，则原图像和均匀光照校正后P点的亮度分别是：
Figure BDA0002284218640000044
两种不同光照下的商图像定义为:
Figure BDA0002284218640000051
(5)由于给定图像的光照条件和参考均匀光照条件都是确定的,因此参考均匀光照条件相对于给定图像光照条件下的商图像就已经确定了。进而，基于原图像r2(x,y)和商图像R(x,y),计算得到光照校正后的均匀纹理图像rcan(x,y):
rcan(x,y)＝R(x,y)×r2(x,y)
最终得到精细且去除局部阴影的人脸图像纹理信息，所得结果如图2(e)所示。
本发明针对残留的局部阴影，对图像进行均匀光照条件校正，从而可以获得均匀光照条件下的纹理图像，处理方法简单高效，同时可以得到精细且去除局部阴影的人脸图像纹理信息；本发明可以有效消除光照变化会引起人脸面部产生局部阴影和全阴影，提高了面部识别的准确性和性能。

Claims (8)

1.一种光照不均匀的面部纹理特征提取方法，其特征在于，包括如下内容：
步骤一、采集原始图像；
步骤二、对图像进行均匀光照条件校正处理，包括：
步骤(1)、获取图像亮度的频域；
步骤(2)、将纹理图像进行拆解；
步骤(3)、获取光照条件系数；
步骤(4)、获取两种不同光照下的商图像；
步骤(5)、基于给定图像的光照条件和参考的均匀光照，获取商图像，得到均匀光照条件下的纹理图像。
2.根据权利要求1所述的面部纹理特征提取方法，其特征在于：所述采集原始图像后，还包括图像预处理的步骤。
3.根据权利要求2所述的面部纹理特征提取方法，其特征在于：所述采集原始图像后，判断原始图像是否存在深度阴影，当图像存在深度阴影时，对其进行预处理操作。
4.根据权利要求2或3所述的面部纹理特征提取方法，其特征在于：所述预处理包括采用单尺度Retinex方法对图像进行增强处理的步骤。
5.根据权利要求2或3所述的面部纹理特征提取方法，其特征在于：所述预处理包括提取获取面部图像纹理特征的步骤。
6.根据权利要求5所述的面部纹理特征提取方法，其特征在于：采用光照归一化、异性直方图或者二维的离散余弦变换方法获取面部图像纹理特征。
7.根据权利要求2或3所述的面部纹理特征提取方法，其特征在于：所述预处理包括对图像进行对数域方向变换的步骤。
8.根据权利要求1所述的面部纹理特征提取方法，其特征在于：所述步骤(3)中，通过最小二乘解得光照条件系数。
CN201911153532.8A 2019-11-22 2019-11-22 一种光照不均匀的面部纹理特征提取方法 Pending CN110909676A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911153532.8A CN110909676A (zh) 2019-11-22 2019-11-22 一种光照不均匀的面部纹理特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911153532.8A CN110909676A (zh) 2019-11-22 2019-11-22 一种光照不均匀的面部纹理特征提取方法

Publications (1)

Publication Number Publication Date
CN110909676A true CN110909676A (zh) 2020-03-24

Family

ID=69818792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911153532.8A Pending CN110909676A (zh) 2019-11-22 2019-11-22 一种光照不均匀的面部纹理特征提取方法

Country Status (1)

Country Link
CN (1) CN110909676A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923721A (zh) * 2010-08-31 2010-12-22 汉王科技股份有限公司 无光照人脸图像重建方法和***
CN102779273A (zh) * 2012-06-29 2012-11-14 重庆邮电大学 一种基于局部对比模式的人脸识别方法
CN103500339A (zh) * 2013-09-11 2014-01-08 北京工业大学 一种联合单尺度Retinex算法和归一化结构描述子的光照人脸识别方法
CN106157264A (zh) * 2016-06-30 2016-11-23 北京大学 基于经验模式分解的大幅面图像不均匀光照校正方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923721A (zh) * 2010-08-31 2010-12-22 汉王科技股份有限公司 无光照人脸图像重建方法和***
CN102779273A (zh) * 2012-06-29 2012-11-14 重庆邮电大学 一种基于局部对比模式的人脸识别方法
CN103500339A (zh) * 2013-09-11 2014-01-08 北京工业大学 一种联合单尺度Retinex算法和归一化结构描述子的光照人脸识别方法
CN106157264A (zh) * 2016-06-30 2016-11-23 北京大学 基于经验模式分解的大幅面图像不均匀光照校正方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张怡等: "基于姿态和光照不变的三维人脸识别研究", 《河西学院学报》 *
朱方志: "人脸识别中光照预处理算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Similar Documents

Publication Publication Date Title
Wang et al. Adaptive image enhancement method for correcting low-illumination images
US11127122B2 (en) Image enhancement method and system
CN108122213B (zh) 一种基于YCrCb的低对比度图像增强方法
CN104156921B (zh) 一种低照度或亮度不均图像的自适应图像增强方法
Wang et al. Simple low-light image enhancement based on Weber–Fechner law in logarithmic space
CN109919859B (zh) 一种户外场景图像去雾增强方法、计算设备及其存储介质
CN114118144A (zh) 抗干扰的航空遥感图像阴影精准检测方法
CN111968065A (zh) 一种亮度不均匀图像的自适应增强方法
CN109272475B (zh) 一种快速有效修复与强化水下图像颜色的方法
CN108154490A (zh) 基于改进模糊集理论的高压输电线路绝缘子图像增强方法
CN117274113B (zh) 基于图像增强的碎硅片清洗效果视觉检测方法
Parihar et al. A comprehensive analysis of fusion-based image enhancement techniques
Shi et al. A joint deep neural networks-based method for single nighttime rainy image enhancement
Wei et al. An image fusion dehazing algorithm based on dark channel prior and retinex
CN117934419B (zh) 一种螺栓组件缺陷视觉检测方法及***
CN112288726B (zh) 一种井下带式输送机带面异物检测方法
Nair et al. An effective surround filter for image dehazing
Othman et al. Enhanced single image dehazing technique based on hsv color space
CN117274085A (zh) 低照度图像增强方法及装置
CN114429426B (zh) 一种基于Retinex模型的低照度图像质量改善方法
Xiaoxu et al. Image dehazing base on two-peak channel prior
Tang et al. Sky-preserved image dehazing and enhancement for outdoor scenes
CN110909676A (zh) 一种光照不均匀的面部纹理特征提取方法
Li et al. A low-illuminance image enhancement method in YUV color space
Berehulyak et al. Segmentation of Partially Shadowed Rust Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220815

Address after: North of 2nd Floor, Building 2, No. 857, Tiangong Road, Jinshan District, Shanghai, 201506

Applicant after: LIANGZHUN (SHANGHAI) MEDICAL DEVICES Co.,Ltd.

Address before: 215104 building B1, 1451 Wuzhong Avenue, Yuexi, Wuzhong District, Suzhou City, Jiangsu Province

Applicant before: JIANGSU JITRI INTELLIGENT SENSOR RESEARCH INSTITUTE Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200324