CN113158924A - 散斑图像矫正方法、人脸识别方法、装置及设备 - Google Patents
散斑图像矫正方法、人脸识别方法、装置及设备 Download PDFInfo
- Publication number
- CN113158924A CN113158924A CN202110457251.2A CN202110457251A CN113158924A CN 113158924 A CN113158924 A CN 113158924A CN 202110457251 A CN202110457251 A CN 202110457251A CN 113158924 A CN113158924 A CN 113158924A
- Authority
- CN
- China
- Prior art keywords
- speckle image
- speckle
- distorted
- image
- face recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000003702 image correction Methods 0.000 title claims abstract description 49
- 238000012937 correction Methods 0.000 title description 9
- 238000013178 mathematical model Methods 0.000 claims abstract description 40
- 230000001815 facial effect Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 16
- 241000226585 Antennaria plantaginifolia Species 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 12
- 230000003287 optical effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000008081 blood perfusion Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000004089 microcirculation Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 208000010110 spontaneous platelet aggregation Diseases 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种散斑图像矫正方法、人脸识别方法、装置及设备，涉及人脸识别技术领域。本申请公开的散斑图像矫正方法和包含所述散斑图像矫正方法的人脸识别方法在人脸识别的采集和建模过程中，根据畸变类型以及与畸变类型对应的标准未畸变散斑图像，通过拟合方法构建出相应的数学模型，并根据所述数学模型对畸变散斑图像进行矫正，可以准确确定散斑的位置，从而测出深度，提高了采用该散斑图像矫正方法或人脸识别方法的人脸识别装置的人脸建模精度，并使得搭载有该散斑图像矫正方法或人脸识别方法的装置或终端设备如智能移动终端的解锁率上升，改善了用户的使用体验。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种散斑图像矫正方法、人脸识别方法、装置及设备。
背景技术
随着人脸识别技术在智能移动终端的普及，人们对人脸识别***的用户体验要求越来越高。现有技术中的智能移动终端上搭载的人脸识别***影响用户体验主要表现在三个方面：一是解锁率低，二是解锁速度慢，三是稳定性差。在人脸识别***中，影响解锁率和稳定性两个方面的主要在人脸图像采集和建模这个环节。在智能移动终端上人脸图像采集和建模目前业界的主流方案是使用结构光技术，其核心深度重构算法是光编码(lightcoding)技术，其光源投射的激光散斑在不同距离上发生变化且互不相关，通过对物体表面的散斑图案进行相关性分析来确定物体的深度。
在实际的人脸识别***中，由于光学器件本身的特性影响，采集到的散斑图像会出现畸变，如图1所示。散斑图像的畸变使得散斑的位置发生改变，进而影响深度的提取。现有技术中进行畸变校正的方法是获取畸变公式中的畸变系数进而进行去畸变处理。畸变系数的获取方法为利用网格板(标定板)图片拍摄出畸变的网格图片，利用张正友标定法求取镜头的内参和外参，从而获取畸变系数。但是方法计算较为繁琐，而且该方法适合常规的镜头***，如果拍摄***和常规的镜头***不同，就不适合通过求取内参和外参的方法求取畸变参数。
发明内容
有鉴于此，本申请实施例提供了一种散斑图像矫正方法、人脸识别方法、装置及设备，用以解决现有技术中因散斑图像出现畸变而导致深度提取不准的技术问题。
第一方面，本申请实施例提供了一种散斑图像矫正方法，包括：
获取产生畸变的畸变散斑图像；
确定所述畸变散斑图像的畸变类型；
依据所述畸变类型以及与所述畸变类型对应的标准未畸变散斑图像，构建出相应的数学模型；
根据所述畸变散斑图像上的像素点位置信息和所述数学模型矫正所述畸变散斑图像。
在某些实施例中，所述畸变类型包括枕形畸变。
在某些实施例中，所述枕形畸变对应的数学模型包括：
x-corrected＝x(1+k1r2+k2r4+…+knr2n)
y-corrected＝y(1+k1r2+k2r4+…+knr2n)
其中，r2＝x2+y2，k1、k2、kn表示畸变系数，n取大于等于3的整数。
在某些实施例中，所述畸变系数通过拟合方式获得，所述拟合方式如下：
获取对应于所述畸变散斑图像的标准未畸变散斑图像；
建立畸变散斑图像的像素点与标准未畸变散斑图像上相对应的像素点之间的映射关系；
选取若干畸变散斑图像的像素点与标准未畸变散斑图像上一一对应的像素点进行拟合。
在某些实施例中，选取的若干畸变散斑图像的像素点为每一畸变散斑图像中的预设位置处呈离散分布的像素点。
在某些实施例中，所述选取若干畸变散斑图像的像素点与标准未畸变散斑图像上一一对应的像素点进行拟合包括：
将所述散斑图像划分为多个大小呈矩形状的散斑单元；
以位于散斑图像中心的预设大小的呈矩形状的散斑单元作为标准未畸变散斑图像；
选取呈矩形的畸变散斑单元的一矩形边上的两顶点及两顶点之间的中心点为拟合参考像素点；
根据拟合参考像素点的位置，将标准未畸变散斑图像与畸变散斑单元进行拟合。
在某些实施例中，所述标准未畸变散斑图像通过以下方式获得：
获取一标准未畸变散斑；
以所述标准未畸变散斑为中心，在所述标准未畸变散斑周围以所述标准未畸变散斑为模板，复制出数个拷贝标准未畸变散斑；
将标准未畸变散斑与所有拷贝标准未畸变散斑拼接处理后作为所述标准未畸变散斑图像。
在某些实施例中，所述标准未畸变散斑的形状呈矩形。
第二方面，本申请实施例提供一种人脸识别方法，包括：
获取人脸散斑图像并构建人脸识别模型；
对人脸散斑图像进行预处理；
通过所述人脸识别模型提取人脸图像特征；
识别所述人脸图像特征；其中，所述获取人脸散斑图像包括：
采集人脸散斑图像；
对采集的人脸散斑图像采用前面任一项所述的散斑图像矫正方法进行矫正。
第三方面，本申请实施例提供一种散斑图像矫正装置，所述装置包括：
获取单元，用于获取产生畸变的畸变散斑图像；
畸变模型确定单元，用于确定所述畸变散斑图像的畸变类型；
数学模型构建单元，用于依据所述畸变类型以及与所述畸变类型对应的标准未畸变散斑图像，构建出相应的数学模型；
矫正单元，用于根据所述畸变散斑图像上的像素点位置信息和所述数学模型矫正所述畸变散斑图像。
第四方面，本申请实施例提供一种人脸识别装置，所述人脸识别装置包括：
采集建模模块，用于获取人脸散斑图像并构建人脸识别模型；
预处理模块，用于对人脸散斑图像进行预处理的模块；
特征提取模块，用于通过所述人脸识别模型提取人脸图像特征；
识别模块，用于识别所述人脸图像特征的模块；
其中，所述采集建模模块包括上述第三方面所述的散斑图像矫正装置。
第五方面，本申请实施例提供一种终端设备，所述终端设备包括散斑图像矫正装置，所述装置包括：
获取单元，用于获取产生畸变的畸变散斑图像；
畸变模型确定单元，用于确定所述畸变散斑图像的畸变类型；
数学模型构建单元，用于依据所述畸变类型以及与所述畸变类型对应的标准未畸变散斑图像，构建出相应的数学模型；
矫正单元，用于根据所述畸变散斑图像上的像素点位置信息和所述数学模型矫正所述畸变散斑图像；
或者所述终端设备包括人脸识别装置，所述人脸识别装置包括：
用于获取人脸散斑图像并构建人脸识别模型的模块；
用于对人脸散斑图像进行预处理的模块；
用于通过所述人脸识别模型提取人脸图像特征的模块；
用于识别所述人脸图像特征的模块；其中，用于获取人脸散斑图像并构建人脸识别模型的模块包括上述第三方面所述的散斑图像矫正装置。
第六方面，一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前述第一方面任一所述的散斑图像矫正方法，或者如前述第二方面所述的人脸识别方法。
第七方面，一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如前述第一方面任一所述的散斑图像矫正方法，或者如前述第二方面所述的人脸识别方法。
本申请的有益效果如下：
通过对获取的畸变散斑图像进行矫正，可以准确确定散斑的位置，从而测出深度，提高了采用该散斑图像矫正方法的人脸识别装置的人脸建模精度，并使得搭载有该人脸识别装置的终端设备如智能移动终端的解锁率上升，改善了用户的使用体验。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本申请的保护范围内。
图1是现有技术人脸识别***中采集的散斑图像出现畸变的示意图。
图2是本申请实施例中散斑图像矫正方法的流程示意图。
图3是本申请实施例中标准未畸变散斑图像。
图4是本申请实施例中选取的若干标准未畸变散斑图像像素点的示意图。
图5是本申请实施例中畸变散斑图像矫正后的效果示意图。
图6是本申请实施例中人脸识别方法的流程示意图。
图7是本申请实施例中散斑图像矫正装置的结构示意图。
图8是本申请实施例中人脸识别装置的结构示意图。
图9是图8中采集建模模块的一实施例的结构示意图。
图10是本申请实施例中电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在下文的描述中，提供许多具体细节以便能够充分理解本申请的实施方式。然而，本领域技术人员应意识到，即使没有所述特定细节中的一个或更多，或者采用其它的结构、组元等，也可以实践本申请的技术方案。在其它情况下，不详细示出或描述公知结构或者操作以避免模糊本申请之重点。
实施例一
本申请实施例提供了一种散斑图像矫正方法，这里的散斑图像中的散斑具有高度随机性，且随着距离的不同出现不同的图案，也就是说，在同一空间中任何两个地方的散斑图案都不相同。只要在空间中打上这样的结构光然后加以记忆就让整个空间都像是被做了标记，然后把一个物体放入这个空间后只需要从物体的散斑图案变化就可以知道这个物体的具***置。如图2所示，本申请实施例的散斑图像矫正方法包括以下步骤：
S1：获取产生畸变的畸变散斑图像；
S2：确定所述畸变散斑图像的畸变类型；畸变类型通常包括枕形畸变和桶形畸变，这两种类型的畸变成因不同；
S3：依据所述畸变类型以及与所述畸变类型对应的标准未畸变散斑图像，构建出相应的数学模型；
S4：根据所述畸变散斑图像上的像素点位置信息和所述数学模型矫正所述畸变散斑图像。
具体的，在进行人脸图像采集时，由于摄像头的镜头等光学器件本身的特性影响，采集到的散斑图像会出现畸变，畸变类型一般包括枕形畸变和桶形畸变，从采集到的散斑图像可以直接判断出畸变的类型，从而根据畸变类型进行相应的畸变矫正。本申请实施例依据畸变类型对应的标准未畸变散斑图像，构建出相应的数学模型，并利用该数学模型和畸变散斑图像上像素点的位置信息对畸变散斑图像进行矫正。
在某些实施例中，畸变散斑图像的畸变类型为枕形畸变。当然，本申请并不局限于枕形畸变，在本申请构思下还可以采用桶形畸变的方式来实现。
在某些实施例中，所述枕形畸变对应的数学模型包括：
x-corrected＝x(1+k1r2+k2r4+…+knr2n)
y-corrected＝y(1+k1r2+k2r4+…+knr2n)
其中，(x,y)为畸变散斑图像上的像素点的坐标，(x-corrected，y-corrected)为理想的无畸变散斑图像上的像素点的坐标,r2＝x2+y2，k1、k2、kn表示畸变系数，n取大于等于3的整数，(x，y)为畸变点坐标，r即为畸变点到光心的距离，依据枕形畸变对应的数学模型，通过获取畸变系数即可以进行畸变矫正。在某些实施例中，畸变系数的获取方法为利用网格板图片拍摄出畸变的网格图片，利用张正友标定法求取镜头的内参和外参，从而获取畸变系数。张正友标定法为现有技术，在此不再赘述。
在某些实施例中，所述畸变系数通过拟合方式获得。根据枕形畸变对应的数学模型可知，畸变参数只与畸变点到光心的距离有关，因此可以采用拟合的方式获取畸变系数。
所述拟合方式如下：
S30：获取对应于所述畸变散斑图像的标准未畸变散斑图像；
S31：建立畸变散斑图像的像素点与标准未畸变散斑图像上相对应的像素点之间的映射关系；
S32：选取若干畸变散斑图像的像素点与标准未畸变散斑图像上一一对应的像素点进行拟合。
在某些实施例中，所述标准未畸变散斑图像通过以下方式获得：
S300：获取一标准未畸变散斑；
S301：以所述标准未畸变散斑为中心，在所述标准未畸变散斑周围以所述标准未畸变散斑为模板，复制出数个拷贝标准未畸变散斑；
S302：将标准未畸变散斑与所有拷贝标准未畸变散斑拼接处理后作为所述标准未畸变散斑图像。
一般光心(位于镜头中央的点)所在的具有一定大小的散斑区域不产生畸变(或畸变很小，近似没有畸变)，以该光心所在的散斑区域做为标准未畸变散斑，并以该标准未畸变散斑为中心，在该标准未畸变散斑周围复制出数个拷贝标准未畸变散斑从而制作出标准未畸变散斑图像。在制作标准未畸变散斑图像时，数个拷贝的标准未畸变散斑的拼接主要采用以下方法：
确定标准未畸变散斑的中心坐标、几何形状及尺寸；
获取标准未畸变散斑图像的尺寸；
根据标准未畸变散斑图像的尺寸与标准未畸变散斑的尺寸的比值，确定需要拷贝标准未畸变散斑的数量；
根据标准未畸变散斑图像的形状，确定标准未畸变散斑的最佳拼接方式；
根据所述最佳拼接方式，对拷贝的待拼接的标准未畸变散斑的边缘进行像素点抽点处理，其中，对于与处于中心坐标的标准未畸变散斑进行拼接的待拼接的标准未畸变散斑的指定边缘进行全部像素点抽取处理；对于彼此为拷贝的待拼接的标准未畸变散斑则进行部分像素点抽点处理，这里的部分像素点抽点原则为：将一拷贝的待拼接的标准未畸变散斑按照边缘的起始位置(如标准未畸变散斑呈正方形时，一条边的顶点作为起始位)，先扫描像素点在该边缘上的分布间距和分布数量，分布间距大于预订间距时，相邻两像素点不进行抽点，然后从分布数量中减去分布间距大于预设间距的像素点数量，将余下的像素点从起始位到结束位排序将奇数数字的像素点抽掉，而另一拷贝的待拼接的标准未畸变散斑也类似，区别在于将拼接边缘的偶数数字的像素点抽掉；也即彼此相互拼接的待拼接的标准未畸变散斑的边缘需要进行互补的像素点抽取处理，但对于两像素点间距过大，为避免抽点影响边缘失真，故对该像素点不进行抽取，进行事先排除。
拼接完成后，根据标准未畸变散斑图像的形状对标准未畸变散斑图像的边缘进行裁剪。
本发明采用上面的方式制成的标准未畸变散斑图像可以较好地避免在标准未畸变散斑拼接成标准未畸变散斑图像过程中所出现的图像拟合效果较差，容易出现暗条纹等问题，而且通过上述的方法得到的标准未畸变散斑图像比现有技术亮度均匀，拼接处不会出现暗条纹。
在某些实施例中，所述标准未畸变散斑的形状呈矩形。标准未畸变散斑图像如图3所示。
在某些实施例中，所述标准未畸变散斑的形状呈矩形，优选为正方形。
获取标准未畸变散斑图像后，根据所述标准未畸变散斑图像和畸变散斑图建立畸变散斑图像的像素点与标准未畸变散斑图像上相对应的像素点之间的一一映射关系，即将标准未畸变散斑图像上的像素点作为畸变散斑图像上像素点(x,y)的矫正后的像素点(x_corrected，y_corrected)。通过在标准未畸变散斑图像上选择足够多的未畸变像素点进行拟合，从而获得畸变系数，然后将标准未畸变散斑图像上的未畸变像素点一一对应的畸变散斑图像上的像素点(畸变点)代入已知畸变系数的数学模型中，可以就出获取畸变点对应的矫正位置，从而获得矫正后的散斑图像。
在某些优选实施例中，选取的若干标准未畸变散斑图像的像素点为离散分布的像素点。如图4所述，选取若干距离标准未畸变散斑图像中心点1(光心)不同的像素点2-9，通过拟合即可得到畸变系数k1,k2,……，kn。本申请的具体实施例中，所述选取若干畸变散斑图像的像素点与标准未畸变散斑图像上一一对应的像素点进行拟合，主要包括：
将所述散斑图像划分为多个大小呈矩形状的散斑单元；
以位于散斑图像中心的预设大小的呈矩形状的散斑单元作为标准未畸变散斑图像；
选取呈矩形的畸变散斑单元的一矩形边上的两顶点及两顶点之间的中心点为拟合参考像素点，如图4中的像素点2至像素点9。这里需要说明下，图4中像素点1为标准未畸变散斑图像，像素点2为以1为中心的矩形的边的中点，像素点3为矩形的边的顶点；像素点3和像素点4以及像素点5为另一矩形的边上的一顶点、一中点、另一顶点，其余的像素点6至9在图中示出的方式也类似。
根据拟合参考像素点的位置，将标准未畸变散斑图像与畸变散斑单元进行拟合。这里一个优选的实施例是选取像素点1为平面坐标系的原点，然后在散斑图像上建立平面坐标系，横轴、纵轴依据散斑图像实际形状以及简便性来建立即可。然后位于平面坐标内的各像素点可以依据距离原点的距离、所在象限而确定出相应的坐标。
由于光学***其畸变参数是固定的，在求取得到k1,k2,……kn系数后，将畸变图像上的像素点代入上述数学模型，即可求取任意畸变散斑图像对应的矫正散斑图像，矫正后的效果如图5所示。
在另一个实施例中，通过对比畸变散斑图像和标准未畸变散斑图像中所有一一对应像素点的坐标值，获取到畸变散斑图像中畸变最小、或者是没有发生畸变的像素点，将这些像素点作为拟合参考像素点，求取得到k1,k2,……kn系数。
具体的步骤如下：
获取畸变散斑图像中像素点的坐标值以及在标准未畸变散斑图像中与所述像素点对应的像素点的坐标值；
当畸变散斑图像中的像素点横坐标和标准未畸变散斑图像中对应像素点横坐标的差值以及畸变散斑图像中像素点纵坐标和标准未畸变散斑图像中对应像素点纵坐标的差值在预设阈值范围，则将该畸变散斑图像中像素点记为拟合参考像素点；
获取畸变散斑图像中所有的拟合参考像素点；
根据所述所有的拟合参考像素点获取畸变参数k1,k2,……kn的值。
由于光学***其畸变参数是固定的，在求取得到k1,k2,……kn系数后，将畸变图像上的像素点代入上述数学模型，即可求取任意畸变散斑图像对应的矫正散斑图像。采用本实施例的方法可以更为准确地获得真实畸变情况，从而在矫正时获得较佳的图像矫正效果。
综上所述，本申请实施例提供的散斑图像矫正方法依据畸变类型以及与畸变类型对应的标准未畸变散斑图像，通过拟合方法构建出相应的数学模型，然后根据畸变散斑图像上的像素点位置信息和数学模型对畸变散斑图像进行矫正，可以准确确定散斑的位置，从而测出深度，提高了采用该散斑图像矫正方法的人脸识别装置的人脸建模精度，并使得搭载有该人脸识别装置的终端设备如智能移动终端的解锁率上升，改善了用户的使用体验。
采用本申请的散斑图像矫正方法，可以应用在信息处理、天文物理、工业测量和生命科学等领域。比如，利用定向散斑或散斑的多次曝光作为信息存储方法，使用调制斑纹图样的光学处理来研究物体的位移，物体表面粗糙程度测量，物体振动和运动测量，光学***校准，微循环血流和灌注率测量，血小板聚合检测和荧光散斑显微镜等，可以提高测量精度和成像效果，获得更精准的测量结果。
实施例二
本申请实施例提供了一种人脸识别方法，如图6所示，所述方法包括：
S10：获取人脸散斑图像并构建人脸识别模型；
S11：对人脸散斑图像进行预处理；
S12：通过所述人脸识别模型提取人脸图像特征；
S13：识别所述人脸图像特征；
其中，所述获取人脸散斑图像包括：
采集人脸散斑图像；
对采集的人脸散斑图像采用实施例一中任一项所述的散斑图像矫正方法进行矫正。
人脸识别方法首先需要进行人脸图像采集和建模获取人脸图像，进而对人脸图像预处理、人脸图像特征提取，然后再进行匹配与识别。本申请实施例提供的人脸识别方法在人脸图像采集和建模过程中对获取到的人脸散斑图像进行畸变矫正处理，可获得更为精确的人脸建模，并使得搭载有该人脸识别方法的装置或终端设备如智能移动终端的解锁率上升，改善了用户的使用体验。
实施例三
请参阅图7，本申请实施例提供了一种散斑图像矫正装置100，其特征在于，所述装置100包括：
获取单元101，用于获取产生畸变的畸变散斑图像；
畸变模型确定单元102，用于确定所述畸变散斑图像的畸变类型；
数学模型构建单元103，用于依据所述畸变类型以及与所述畸变类型对应的标准未畸变散斑图像，构建出相应的数学模型；
矫正单元104，用于根据所述畸变散斑图像上的像素点位置信息和所述数学模型矫正所述畸变散斑图像。
进一步的，数学模型构建单元103包括:
标准未畸变散斑图像获取单元，用于获取对应于所述畸变散斑图像的标准未畸变散斑图像；
映射关系建立单元，用于建立畸变散斑图像的像素点与标准未畸变散斑图像上相对应的像素点之间的映射关系；
拟合单元，用于选取若干畸变散斑图像的像素点与标准未畸变散斑图像上一一对应的像素点进行拟合。
进一步的，所述标准未畸变散斑图像获取单元包括：
标准未畸变散斑获取单元，用于获取一标准未畸变散斑；
复制单元，用于以所述标准未畸变散斑为中心，在所述标准未畸变散斑周围以所述标准未畸变散斑为模板，复制出数个拷贝标准未畸变散斑；
拼接单元，用于将标准未畸变散斑与所有拷贝标准未畸变散斑拼接处理后作为所述标准未畸变散斑图像。
综上所述，本申请实施例提供的散斑图像矫正装置依据畸变类型以及与畸变类型对应的标准未畸变散斑图像，通过拟合方法构建出相应的数学模型，然后根据畸变散斑图像上的像素点位置信息和数学模型对畸变散斑图像进行矫正，可以准确确定散斑的位置，从而测出深度，提高了采用该散斑图像矫正装置的人脸识别装置的人脸建模精度，并使得搭载有该人脸识别装置的终端设备如智能移动终端的解锁率上升，改善了用户的使用体验。
实施例四
请参阅图8，本申请实施例提供了一种人脸识别装置20，所述人脸识别装置20包括：
采集建模模块21，用于获取人脸散斑图像并构建人脸识别模型；
预处理模块22，用于对人脸散斑图像进行预处理的模块；
特征提取模块23，用于通过所述人脸识别模型提取人脸图像特征；
识别模块24，用于识别所述人脸图像特征的模块；
其中，如图9所示，所示采集建模模块模块21进一步包括：
采集单元211，用于采集人脸散斑图像；
建模单元212，用于构建人脸识别模型；以及，
用于对采集的人脸散斑图像进行散斑图像矫正的散斑图像矫正装置200，所述装置100包括：
获取单元101，用于获取产生畸变的畸变散斑图像；
畸变模型确定单元102，用于确定所述畸变散斑图像的畸变类型；
数学模型构建单元103，用于依据所述畸变类型以及与所述畸变类型对应的标准未畸变散斑图像，构建出相应的数学模型；
矫正单元104，用于根据所述畸变散斑图像上的像素点位置信息和所述数学模型矫正所述畸变散斑图像。
本申请实施例提供的人脸识别装置在人脸图像采集和建模过程中对获取到的人脸散斑图像进行畸变矫正处理，可获得更为精确的人脸建模，并使得搭载有该人脸识别方法的装置或终端设备如智能移动终端的解锁率上升，改善了用户的使用体验。
实施例五
本申请实施例提供一种终端设备，所述终端设备包括如实施例三所述的散斑图像矫正装置或如实施例四所述的人脸识别装置。
本申请实施例提供的终端设备在人脸识别过程中对获取到的人脸散斑图像进行畸变矫正处理，可获得更为精确的人脸建模，并使得该终端设备如智能移动终端的解锁率上升，改善了用户的使用体验。
实施例六
另外，本申请实施例的散斑图像矫正方法或人脸识别方法可以由一种电子设备来实现。图10示出了本申请实施例提供的电子设备的硬件结构示意图。
电子设备可以包括处理器301以及存储有计算机程序指令的存储器302。
具体地，上述处理器301可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器302可在数据处理装置的内部或外部。在特定实施例中，存储器302是非易失性固态存储器。在特定实施例中，存储器302包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器301通过读取并执行存储器302中存储的计算机程序指令，以实现上述实施例中的任意一种散斑图像校正方法或人脸识别方法。
在一个示例中，电子设备还可包括通信接口303和总线310。其中，如图10所示，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。
通信接口303，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线310包括硬件、软件或两者，将图像分组打印设备的部件彼此耦接在一起。举例来说而非限制，总线310可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Eypress(PCI-Y)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
实施例七
另外，结合上述实施例中的散斑图像矫正方法或人脸识别方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器301执行时实现上述实施例中的任意一种散斑图像矫正方法或人脸识别方法。
综上所述，本申请实施方式提供的散斑图像矫正方法、人脸识别方法、装置及设备，在人脸识别的采集和建模过程中，根据畸变类型以及与畸变类型对应的标准未畸变散斑图像，通过拟合方法构建出相应的数学模型，并根据所述数学模型对畸变散斑图像进行矫正，可以准确确定散斑的位置，从而测出深度，提高了采用该散斑图像矫正方法或人脸识别方法的人脸识别装置的人脸建模精度，并使得搭载有该该散斑图像矫正方法或人脸识别方法的装置或终端设备如智能移动终端的解锁率上升，改善了用户的使用体验。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或***。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (14)
1.一种散斑图像矫正方法，其特征在于，包括：
获取产生畸变的畸变散斑图像；
确定所述畸变散斑图像的畸变类型；
依据所述畸变类型以及与所述畸变类型对应的标准未畸变散斑图像，构建出相应的数学模型；
根据所述畸变散斑图像上的像素点位置信息和所述数学模型矫正所述畸变散斑图像。
2.根据权利要求1所述的散斑图像矫正方法，其特征在于，所述畸变类型包括枕形畸变。
3.根据权利要求2所述的散斑图像矫正方法，其特征在于，所述枕形畸变对应的数学模型包括：
x-corrected＝x(1+k1r2+k2r4+…+knr2n)
y-corrected＝y(1+k1r2+k2r4+…+knr2n)
其中，(x,y)为畸变散斑图像上的像素点的坐标，(x-corrected，y-corrected)为理想的无畸变散斑图像上的像素点的坐标，r2＝x2+y2，k1、k2、kn表示畸变系数，n取大于等于3的整数。
4.根据权利要求3所述的散斑图像矫正方法，其特征在于，所述畸变系数通过拟合方式获得，所述拟合方式如下：
获取对应于所述畸变散斑图像的标准未畸变散斑图像；
建立畸变散斑图像的像素点与标准未畸变散斑图像上相对应的像素点之间的映射关系；
选取若干畸变散斑图像的像素点与标准未畸变散斑图像上一一对应的像素点进行拟合。
5.根据权利要求4所述的散斑图像矫正方法，其特征在于，选取的若干畸变散斑图像的像素点为每一畸变散斑图像中的预设位置处呈离散分布的像素点。
6.根据权利要求5所述的散斑图像矫正方法，其特征在于，所述选取若干畸变散斑图像的像素点与标准未畸变散斑图像上一一对应的像素点进行拟合包括：将所述散斑图像划分为多个大小呈矩形状的散斑单元；
以位于散斑图像中心的预设大小的呈矩形状的散斑单元作为标准未畸变散斑图像；
选取呈矩形的畸变散斑单元的一矩形边上的两顶点及两顶点之间的中心点为拟合参考像素点；
根据拟合参考像素点的位置，将标准未畸变散斑图像与畸变散斑单元进行拟合。
7.根据权利要求1至5任一项所述的散斑图像矫正方法，其特征在于，所述标准未畸变散斑图像通过以下方式获得：
获取一标准未畸变散斑；
以所述标准未畸变散斑为中心，在所述标准未畸变散斑周围以所述标准未畸变散斑为模板，复制出数个拷贝标准未畸变散斑；
将标准未畸变散斑与所有拷贝标准未畸变散斑拼接处理后作为所述标准未畸变散斑图像。
8.根据权利要求7所述的散斑图像矫正方法，其特征在于，所述标准未畸变散斑的形状呈矩形。
9.一种人脸识别方法，其特征在于，包括：
获取人脸散斑图像并构建人脸识别模型；
对人脸散斑图像进行预处理；
通过所述人脸识别模型提取人脸图像特征；
识别所述人脸图像特征；其中，所述获取人脸散斑图像包括：
采集人脸散斑图像；
对采集的人脸散斑图像采用权利要求1至8中任一项所述的散斑图像矫正方法进行矫正。
10.一种散斑图像矫正装置，其特征在于，所述装置包括：
获取单元，用于获取产生畸变的畸变散斑图像；
畸变模型确定单元，用于确定所述畸变散斑图像的畸变类型；
数学模型构建单元，用于依据所述畸变类型以及与所述畸变类型对应的标准未畸变散斑图像，构建出相应的数学模型；
矫正单元，用于根据所述畸变散斑图像上的像素点位置信息和所述数学模型矫正所述畸变散斑图像。
11.一种人脸识别装置，其特征在于，所述人脸识别装置包括：
采集建模模块，用于获取人脸散斑图像并构建人脸识别模型；
预处理模块，用于对人脸散斑图像进行预处理的模块；
特征提取模块，用于通过所述人脸识别模型提取人脸图像特征；
识别模块，用于识别所述人脸图像特征的模块；
其中，所述采集建模模块包括权利要求10所述的散斑图像矫正装置。
12.一种终端设备，其特征在于，所述终端设备包括如权利要求10所述的散斑图像矫正装置或如权利要求11所述的人脸识别装置。
13.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一所述的散斑图像矫正方法，或者如权利要求9所述的人脸识别方法。
14.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的散斑图像矫正方法，或者如权利要求9所述的人脸识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110457251.2A CN113158924A (zh) | 2021-04-27 | 2021-04-27 | 散斑图像矫正方法、人脸识别方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110457251.2A CN113158924A (zh) | 2021-04-27 | 2021-04-27 | 散斑图像矫正方法、人脸识别方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113158924A true CN113158924A (zh) | 2021-07-23 |
Family
ID=76871277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110457251.2A Pending CN113158924A (zh) | 2021-04-27 | 2021-04-27 | 散斑图像矫正方法、人脸识别方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113158924A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204480A (zh) * | 2016-07-08 | 2016-12-07 | 石家庄域联视控控制技术有限公司 | 基于圆锥曲线的图像畸变矫正方法及实时矫正装置 |
| CN106651794A (zh) * | 2016-12-01 | 2017-05-10 | 北京航空航天大学 | 一种基于虚拟相机的投影散斑校正方法 |
| CN107492080A (zh) * | 2017-09-25 | 2017-12-19 | 天津智慧视通科技有限公司 | 免定标便捷的单目镜头图像径向畸变矫正方法 |
| US20180101937A1 (en) * | 2016-10-10 | 2018-04-12 | Carestream Health, Inc. | Despeckling method for radiographic images |
| CN109461181A (zh) * | 2018-10-17 | 2019-03-12 | 北京华捷艾米科技有限公司 | 基于散斑结构光的深度图像获取方法及*** |
| CN110400266A (zh) * | 2019-06-13 | 2019-11-01 | 北京小米移动软件有限公司 | 一种图像矫正的方法及装置、存储介质 |
| CN110689581A (zh) * | 2018-07-06 | 2020-01-14 | Oppo广东移动通信有限公司 | 结构光模组标定方法、电子设备、计算机可读存储介质 |
| CN111243002A (zh) * | 2020-01-15 | 2020-06-05 | 中国人民解放军国防科技大学 | 应用于高精度三维测量的单目激光散斑投影***标定及深度估计方法 |
| CN111539880A (zh) * | 2020-04-15 | 2020-08-14 | 上海摩象网络科技有限公司 | 图像处理方法、设备及手持相机 |
| CN111597933A (zh) * | 2020-04-30 | 2020-08-28 | 北京的卢深视科技有限公司 | 人脸识别方法和装置 |
-
2021
- 2021-04-27 CN CN202110457251.2A patent/CN113158924A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204480A (zh) * | 2016-07-08 | 2016-12-07 | 石家庄域联视控控制技术有限公司 | 基于圆锥曲线的图像畸变矫正方法及实时矫正装置 |
| US20180101937A1 (en) * | 2016-10-10 | 2018-04-12 | Carestream Health, Inc. | Despeckling method for radiographic images |
| CN106651794A (zh) * | 2016-12-01 | 2017-05-10 | 北京航空航天大学 | 一种基于虚拟相机的投影散斑校正方法 |
| CN107492080A (zh) * | 2017-09-25 | 2017-12-19 | 天津智慧视通科技有限公司 | 免定标便捷的单目镜头图像径向畸变矫正方法 |
| CN110689581A (zh) * | 2018-07-06 | 2020-01-14 | Oppo广东移动通信有限公司 | 结构光模组标定方法、电子设备、计算机可读存储介质 |
| CN109461181A (zh) * | 2018-10-17 | 2019-03-12 | 北京华捷艾米科技有限公司 | 基于散斑结构光的深度图像获取方法及*** |
| CN110400266A (zh) * | 2019-06-13 | 2019-11-01 | 北京小米移动软件有限公司 | 一种图像矫正的方法及装置、存储介质 |
| CN111243002A (zh) * | 2020-01-15 | 2020-06-05 | 中国人民解放军国防科技大学 | 应用于高精度三维测量的单目激光散斑投影***标定及深度估计方法 |
| CN111539880A (zh) * | 2020-04-15 | 2020-08-14 | 上海摩象网络科技有限公司 | 图像处理方法、设备及手持相机 |
| CN111597933A (zh) * | 2020-04-30 | 2020-08-28 | 北京的卢深视科技有限公司 | 人脸识别方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111354042B (zh) | 机器人视觉图像的特征提取方法、装置、机器人及介质 | |
| CN102376089B (zh) | 一种标靶校正方法及*** | |
| CN108225216B (zh) | 结构光***标定方法及装置、结构光***及移动设备 | |
| CN102768762B (zh) | 一种针对盾构隧道病害数字照相检测的数码相机标定方法及其装置 | |
| CN107133986B (zh) | 一种基于二维标定物的相机标定方法 | |
| CN109974623B (zh) | 基于线激光和双目视觉的三维信息获取方法和装置 | |
| CN105118086A (zh) | 3d-aoi设备中的3d点云数据配准方法及*** | |
| CA3233222A1 (en) | Method, apparatus and device for photogrammetry, and storage medium | |
| CN109272546A (zh) | 一种鱼苗长度测量方法及*** | |
| CN111325803B (zh) | 一种评估双目相机内外参与时间同步的标定的方法 | |
| CN111462246B (zh) | 一种结构光测量***的设备标定方法 | |
| CN111340042B (zh) | 物体轮廓识别方法、装置、设备及存储介质 | |
| TW201326735A (zh) | 寬度量測方法及系統 | |
| JP3696336B2 (ja) | カメラのキャリブレーション方法 | |
| CN111738971A (zh) | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 | |
| CN113375555A (zh) | 一种基于手机影像的电力线夹测量方法及*** | |
| CN107527323B (zh) | 镜头畸变的标定方法及装置 | |
| CN113158924A (zh) | 散斑图像矫正方法、人脸识别方法、装置及设备 | |
| CN115018922A (zh) | 畸变参数标定方法、电子设备和计算机可读存储介质 | |
| CN105423916A (zh) | 一种物体尺寸的测量方法和测量*** | |
| EP4054187A1 (en) | Calibration method of a portable electronic device | |
| KR101703715B1 (ko) | 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법 | |
| CN111311690B (zh) | 一种深度相机的标定方法、装置、终端及计算机存储介质 | |
| CN113920196A (zh) | 视觉定位方法、装置及计算机设备 | |
| CN112163519A (zh) | 图像映射处理方法、装置、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong Applicant after: Shenzhen Funeng Guangda Technology Co.,Ltd. Address before: 518055 Room 201, building a, No.1 Qianwan 1st Road, Qianhai Shenzhen Hong Kong cooperation zone, Nanshan District, Shenzhen City, Guangdong Province Applicant before: Shenzhen Funeng Software Co.,Ltd. |