CN112001355A - 室外视频下模糊人脸识别的训练数据预处理方法 - Google Patents
室外视频下模糊人脸识别的训练数据预处理方法 Download PDFInfo
- Publication number
- CN112001355A CN112001355A CN202010917070.9A CN202010917070A CN112001355A CN 112001355 A CN112001355 A CN 112001355A CN 202010917070 A CN202010917070 A CN 202010917070A CN 112001355 A CN112001355 A CN 112001355A
- Authority
- CN
- China
- Prior art keywords
- picture
- size
- processing
- gaussian kernel
- training data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 title claims abstract description 16
- 238000007781 pre-processing Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000005070 sampling Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种室外视频下模糊人脸识别的训练数据预处理方法,利用拉普拉斯算子对图片进行卷积运算,以获得清晰度评估图;计算所述清晰度评估图的方差,如果方差大于设定清晰度阈值,则选择执行如下步骤之一:高斯模糊处理、运动模糊处理、下采样模糊处理或者亮度处理,尽量模拟出室外复杂场景下的人脸,将特征映射到同一个空间,提高同一个人不同场景下,人脸之间的相似度,以便为行人重识别算法提供足够的训练数据,提高模糊人脸识别能力。
Description
技术领域
本发明涉及室外视频下模糊人脸识别的训练数据预处理方法。
背景技术
目前的人脸识别技术一般应用于配合场景下,如门禁、上班打卡、手机解锁、人脸抓拍机等能够检测到高分辨率且是正脸的识别场景。
室外街道摄像头这种复杂场景下,影响因素很多,如摄像头角度、高度、行人的自由行走、阳光等。这么多的不确定因素导致检测到的人脸会产生运动模糊、分辨率低、人脸角度多样等问题,原本人脸与人脸之间的可分性就不高,再加上这些因素的影响,对人脸识别是一个很大的挑战。行人重识别技术(Reid)就用来解决室外这种复杂场景下的行人识别,但是Reid也有自己的局限性,它无法对隔天换装后与换装前的人实现准确的识别。这样就又绕回到人脸识别技术,在这样的需求下,如何提高室外这种复杂场景的人脸识别精度成为问题。
对于低分辨率人脸识别有两种方法,1)对于检测到的低分辨率人脸进行四周的外扩,保证在计算相似度时是高分辨率的图片。2)将检测到的人脸根据尺寸大小与相同大小的人脸进行计算相似度,也就是保证低分辨率人脸与低分辨率人脸进行计算相似度,高分辨率人脸与高分辨率人脸进行计算相似度。这两种方法仅仅针对解决低分辨率问题,且实施起来较为繁琐。
神经网络是一个黑盒子,喂给它什么样的数据,训练出的网络就会学到相应的数据分布。对于室外这种复杂场景,准确且多样化的训练数据无疑是提高人脸识别精度最简单有效的方法。但是,在基于图像的行人重识别技术的研究中,没有足够的数据用来训练基于图像的行人重识别算法的卷积神经网络。
发明内容
本发明的目的在于提供一种室外视频下模糊人脸识别的训练数据预处理方法,以便为行人重识别算法提供足够的训练数据。
本发明的目的采用如下技术方案实现:
室外视频下模糊人脸识别的训练数据预处理方法,包括:
利用拉普拉斯算子对图片进行卷积运算,以获得清晰度评估图;
计算所述清晰度评估图的方差,如果方差大于设定清晰度阈值,则选择执行如下步骤之一:
高斯模糊处理、运动模糊处理、下采样模糊处理或者亮度处理。
进一步的,所述高斯模糊处理,选取高斯核的大小计算高斯核的数值,将高斯核当作一个的滑动窗重新计算图片上每个位置的像素值。
进一步的,所述高斯核的大小选取1*1、3*3、5*5、7*7其中之一。
进一步的,所述运动模糊处理,定义单位矩阵的大小为模糊等级,计算运动模糊矩阵,将运动模糊矩阵当作一个的滑动窗重新计算图片上每个位置的像素值。
进一步的,所述模糊等级选取3、4、5其中之一。
进一步的,所述下采样模糊处理,将图片原尺寸下采样到指定尺寸,然后再上采样到图片原尺寸。
进一步的,所述亮度处理是通过公式I=Ig对每个像素I进行幂指处理,
其中,I为图片上每个坐标点对应的像素值;
g为0.5~1.5之间的一个随机小数。
进一步的,所述清晰度阈值为1000。
本发明是在人脸识别训练过程中,通过对数据进行多样化的预处理,尽量模拟出室外复杂场景下的人脸,将特征映射到同一个空间,提高同一个人不同场景下人脸之间的相似度,以便为行人重识别算法提供足够的训练数据,提高模糊人脸识别能力。
附图说明
图1为举例一个8*8(宽*高)单通道图片所对应的每个位置的像素值。
图2为将高斯核当作一个的滑动窗重新计算图片上每个位置的像素值的示意图。
具体实施方式
本发明的训练数据预处理方法是针对在数据加载器(dataloader)从训练集中随机载入一张图片开始训练过程之前对图片所进行的预处理。
一张图片由很多像素组成,每个像素都对应着一个0~255之间的数字,如图1所示是一个8*8(宽*高)单通道图片所对应的每个位置的像素值。
用Laplacian公式重新计算图片上每个位置(每个像素点)的像素值,提取图片上的边缘信息,获得清晰度评估图。
Laplacian公式为
其中,x表示图片上的横轴,y表示图片上的纵轴,f(x,y)则表示图片上坐标为(x,y)所对应的像素值。
例如:
重新计算坐标(0,0)对应的像素值15,因为f(-1,0)与f(0,-1)不存在,所以让f(-1,0)=f(1,0)、f(0,-1)=f(0,1)。
重新计算坐标(1,1)对应的像素值67,
以此类推,重新计算所有坐标对应的像素值。计算结果则会突显出图片上的边缘轮廓,越清晰的图片边缘轮廓越多。
然后计算整张图片的方差,方差数值越大,表示图片上的突变像素点越多,也就表示图片越清晰。
其中,n=7,即图片上横轴的最大坐标值。
如果计算得出的方差大于清晰度阈值1000时,表示图片较为清晰,选择执行如下步骤之一:高斯模糊处理、运动模糊处理、下采样模糊处理或者亮度处理。
高斯模糊处理
进行不同程度的高斯模糊。根据试验高斯核的大小为1*1、3*3、5*5、7*7时符合需求,从中随机选取一个。
以3*3的高斯核为例,高斯核的数值计算公式为
其中,σ=((ksize-1)*0.5-1)*0.3+0.8
ksize为高斯核的大小;
(x,y)为3*3高斯核每个值的坐标。
比如高斯核中心坐标为(0,0),其余8个坐标分别为(-1,1)、(0,1)、(1,1)、(-1,0)、(1,0)、(-1,-1)、(0,-1)、(1,-1),将坐标值代入即可算出高斯核的数值,将高斯核当作一个的滑动窗重新计算图片上每个位置的像素值。如图2所示,先将图片(图示位于下方的图片)最外圈填充一圈0像素,每次高斯核移动前将高斯核与图片的对应位置相乘再加权,即可得到最终结果(图示位于上方的图片)。
例如图片宽w、高h,最外圈填充一圈0后,则图片宽(w+2)、高(h+2),高斯核K,则可通过下述公式计算最终结果。
其中,out是最终结果图片;
u∈[0,w-1]、v∈[0,h-1]是最终结果图片上每一个像素的坐标;
input是最外圈填充0后的图片;
Ksize是高斯核的大小;
Ki,j是前述高斯核的数值,i∈[0,Ksize-1]、j∈[0,Ksize-1]是高斯核上每个位置的坐标。以3*3的高斯核为例,高斯核上每个位置对应的值表示为K0,0、K1,0、K2,0、K0,1、K1,1、K2,1、K0,2、K1,2、K2,2。
滑动窗口的过程可以理解为每一个像素都取其周边像素的平均值,在数值上,这是一种平滑化。在图形上,就相当于产生模糊效果,中间点失去细节。
运动模糊处理
单位矩阵src是除对角线上都是1外其余地方都是0的一个矩阵,定义单位矩阵src的大小为模糊等级。
例如一个3*3的单位矩阵src,即为除对角线上都是1外其余地方都是0的一个矩阵单位矩阵大小为3*3,即对应的模糊等级为3,生成的运动模糊矩阵dst大小也为3*3,当运动模糊矩阵大小越大时,则生成的图像也就越模糊。
通过试验模糊等级为3、4、5时符合需求,从中随机选取一个。
以模糊等级3为例,先计算出旋转矩阵
其中,θ是从1~360中随机选取的一个旋转角度;
centerx、centery是旋转的中心点坐标,也就是单位矩阵src的中心坐标;
centerx=centery=模糊等级/2。
根据旋转矩阵M与公式dst(x,y)=src(M11*x+M12*y+M13,M21*x+M22*y+M23)生成对应的运动模糊矩阵dst。
其中,x、y表示坐标;
dst(x,y)表示坐标对应的值;
M11=cos(θ)
M12=sin(θ)
M13=(1-cos(θ))*centerx-sin(θ)*centery
M21=-sin(θ)
M22=cos(θ)
M23=sin(θ)*centerx-(1-cos(θ))*centery
将运动模糊矩阵当作一个的滑动窗重新计算图片上每个位置的像素值。如图2所示,先将图片(图示位于下方的图片)最外圈填充一圈0像素,每次高斯核移动前将高斯核与图片的对应位置相乘再加权,即可得到最终结果(图示位于上方的图片)。
例如图片宽w、高h,最外圈填充一圈0后,则图片宽(w+2)、高(h+2),高斯核K,则可通过下述公式计算最终结果。
其中,out是最终结果图片;
u∈[0,w-1]、v∈[0,h-1]是最终结果图片上每一个像素的坐标;
input是最外圈填充0后的图片;
Ksize是高斯核的大小;
Ki,j就是前述运动模糊矩阵dst;
i∈[0,Ksize-1]、j∈[0,Ksize-1]是高斯核上每个位置的坐标。
通过运动模糊矩阵重新计算的图片会产生运动模糊的效果,模拟实际场景中摄像机产生抖动时拍摄的图片。
下采样模糊处理
为了提高不同分辨率的识别能力而进行下采样模糊处理。从24*24(宽*高)、32*32(宽*高)、40*40(宽*高)、48*48(宽*高)、56*56(宽*高)中随机选取一个尺寸,将图片进行下采样(缩小图像)到随机选中的尺寸,后再上采样(放大图像)到原先的尺寸,通过这个过程让网络将不同分辨率下的图片映射到同一个特征空间。
例如图片原尺寸为64*64(宽*高),假设随机选取的下采样尺寸为32*32(宽*高),根据公式(3)、(4)、(5)计算下采样后图片上每个坐标点的像素值。再上采样到原先的尺寸64*64(宽*高),同样根据公式(3)、(4)、(5)计算上采样后图片上每个做标点的像素值。由于采样前与采样后宽高尺寸不同,进而最终计算的像素值也不同。
src_x=dst_x*(src_width/dst_width) (3)
src_y=dst_y*(src_heght/dst_heght) (4)
dst(x,y)=(1-a)(1-b)src(x′+1,y′+1)+(1-a)b*src(x′+1,y′)+(1-b)a*src(x′,y′+1)+a*b*src(x′,y′) (5)
其中,dst_x与dst_y为采样后图片上每个像素点的坐标;
src_x与src_y为采样前图片上每个像素点的坐标;
a=src_x;
b=src_y;
x′为src_x取整;
y′为src_y取整;
dst(x,y)为采样后图片上坐标为(x,y)所对应的像素值;
src(x′,y′)为采样前图片上坐标为(x′,y′)所对应的像素值。
亮度处理
不同摄像头位置不同,阳光对其拍摄的影响也不同,为适应这种变化,通过公式I=Ig对每个像素I进行幂指处理(I为图片上每个坐标点对应的像素值;g为0.5~1.5之间的一个随机小数),从而达到对图片整体的亮暗度改变。
较为清晰的图片在经过上述方法处理后输出,可以为行人重识别算法提供足够的训练数据。
本发明结合真实场景下可能会出现的问题,分析每一个场景,经过多次实验,得到一系列经验值,分别采取不同的计算过程来处理图片,尽可能的模拟可能出现的场景,增加样本的多样性。
Claims (8)
1.室外视频下模糊人脸识别的训练数据预处理方法,其特征在于,包括:
利用拉普拉斯算子对图片进行卷积运算,以获得清晰度评估图;
计算所述清晰度评估图的方差,如果方差大于设定清晰度阈值,则选择执行如下步骤之一:
高斯模糊处理、运动模糊处理、下采样模糊处理或者亮度处理。
2.如权利要求1所述的方法,其特征在于,所述高斯模糊处理,选取高斯核的大小计算高斯核的数值,将高斯核当作一个的滑动窗重新计算图片上每个位置的像素值。
3.如权利要求2所述的方法,其特征在于,所述高斯核的大小选取1*1、3*3、5*5、7*7其中之一。
4.如权利要求1所述的方法,其特征在于,所述运动模糊处理,定义单位矩阵的大小为模糊等级,计算运动模糊矩阵,将运动模糊矩阵当作一个的滑动窗重新计算图片上每个位置的像素值。
5.如权利要求4所述的方法,其特征在于,所述模糊等级选取3、4、5其中之一。
6.如权利要求1所述的方法,其特征在于,所述下采样模糊处理,将图片原尺寸下采样到指定尺寸,然后再上采样到图片原尺寸。
7.如权利要求1所述的方法,其特征在于,所述亮度处理是通过公式I=Ig对每个像素I进行幂指处理,
其中,I为图片上每个坐标点对应的像素值;
g为0.5~1.5之间的一个随机小数。
8.如权利要求1-7任一项所述的方法,其特征在于,所述清晰度阈值为1000。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010917070.9A CN112001355A (zh) | 2020-09-03 | 2020-09-03 | 室外视频下模糊人脸识别的训练数据预处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010917070.9A CN112001355A (zh) | 2020-09-03 | 2020-09-03 | 室外视频下模糊人脸识别的训练数据预处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112001355A true CN112001355A (zh) | 2020-11-27 |
Family
ID=73465363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010917070.9A Pending CN112001355A (zh) | 2020-09-03 | 2020-09-03 | 室外视频下模糊人脸识别的训练数据预处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112001355A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117726977A (zh) * | 2024-02-07 | 2024-03-19 | 南京百伦斯智能科技有限公司 | 基于dcnn的实验操作关键节点评分方法和*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105118057A (zh) * | 2015-08-18 | 2015-12-02 | 江南大学 | 基于四元数小波变换幅值与相位的图像清晰度评价方法 |
CN109492540A (zh) * | 2018-10-18 | 2019-03-19 | 北京达佳互联信息技术有限公司 | 一种图像中的人脸交换方法、装置及电子设备 |
CN110047071A (zh) * | 2019-04-26 | 2019-07-23 | 杭州智趣智能信息技术有限公司 | 一种图像质量评估方法、装置和介质 |
CN110569721A (zh) * | 2019-08-01 | 2019-12-13 | 平安科技(深圳)有限公司 | 识别模型训练方法、图像识别方法、装置、设备及介质 |
CN111275626A (zh) * | 2018-12-05 | 2020-06-12 | 深圳市炜博科技有限公司 | 一种基于模糊度的视频去模糊方法、装置及设备 |
-
2020
- 2020-09-03 CN CN202010917070.9A patent/CN112001355A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105118057A (zh) * | 2015-08-18 | 2015-12-02 | 江南大学 | 基于四元数小波变换幅值与相位的图像清晰度评价方法 |
CN109492540A (zh) * | 2018-10-18 | 2019-03-19 | 北京达佳互联信息技术有限公司 | 一种图像中的人脸交换方法、装置及电子设备 |
CN111275626A (zh) * | 2018-12-05 | 2020-06-12 | 深圳市炜博科技有限公司 | 一种基于模糊度的视频去模糊方法、装置及设备 |
CN110047071A (zh) * | 2019-04-26 | 2019-07-23 | 杭州智趣智能信息技术有限公司 | 一种图像质量评估方法、装置和介质 |
CN110569721A (zh) * | 2019-08-01 | 2019-12-13 | 平安科技(深圳)有限公司 | 识别模型训练方法、图像识别方法、装置、设备及介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117726977A (zh) * | 2024-02-07 | 2024-03-19 | 南京百伦斯智能科技有限公司 | 基于dcnn的实验操作关键节点评分方法和*** |
CN117726977B (zh) * | 2024-02-07 | 2024-04-12 | 南京百伦斯智能科技有限公司 | 基于dcnn的实验操作关键节点评分方法和*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Choi et al. | Thermal image enhancement using convolutional neural network | |
CN110378838B (zh) | 变视角图像生成方法,装置,存储介质及电子设备 | |
CN105426861B (zh) | 车道线确定方法及装置 | |
WO2017054314A1 (zh) | 一种建筑物高度计算方法、装置和存储介质 | |
CN104134200B (zh) | 一种基于改进加权融合的运动场景图像拼接方法 | |
CN111062355A (zh) | 一种人体动作识别方法 | |
WO2014195802A2 (en) | Method and system for recognizing information | |
CN107958441B (zh) | 图像拼接方法、装置、计算机设备和存储介质 | |
Piuri et al. | Fingerprint biometrics via low-cost sensors and webcams | |
US20210248401A1 (en) | System and method for face spoofing attack detection | |
CN109977834B (zh) | 从深度图像中分割人手与交互物体的方法和装置 | |
CN113673562B (zh) | 一种特征增强的方法、目标分割方法、装置和存储介质 | |
CN113657528B (zh) | 图像特征点提取方法、装置、计算机终端及存储介质 | |
JP4993615B2 (ja) | 画像認識方法および装置 | |
CN111683221B (zh) | 嵌入矢量红线数据的自然资源实时视频监测方法及*** | |
CN112241745A (zh) | 一种基于光照不变颜色空间的特征点提取方法 | |
CN115829915A (zh) | 图像质量检测方法、电子设备、存储介质及程序产品 | |
CN117496019B (zh) | 一种驱动静态图像的图像动画处理方法及*** | |
CN115631210A (zh) | 一种边缘检测方法及装置 | |
CN111027637A (zh) | 一种文字检测方法及计算机可读存储介质 | |
CN112001355A (zh) | 室外视频下模糊人脸识别的训练数据预处理方法 | |
CN114708173A (zh) | 图像融合方法、计算机程序产品、存储介质及电子设备 | |
CN113362221A (zh) | 用于门禁的人脸识别***与人脸识别方法 | |
Fathy et al. | Benchmarking of pre-processing methods employed in facial image analysis | |
Han et al. | Locally adaptive contrast enhancement using convolutional neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |