CN106022210A - 一种静脉轮廓三维点云匹配的身份识别方法及装置 - Google Patents
一种静脉轮廓三维点云匹配的身份识别方法及装置 Download PDFInfo
- Publication number
- CN106022210A CN106022210A CN201610288717.XA CN201610288717A CN106022210A CN 106022210 A CN106022210 A CN 106022210A CN 201610288717 A CN201610288717 A CN 201610288717A CN 106022210 A CN106022210 A CN 106022210A
- Authority
- CN
- China
- Prior art keywords
- image
- finger
- point cloud
- vein
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013441 quality evaluation Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000013519 translation Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000008878 coupling Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000013210 evaluation model Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 abstract description 9
- 238000003672 processing method Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000004899 motility Effects 0.000 description 3
- 229910052724 xenon Inorganic materials 0.000 description 3
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001248531 Euchloe <genus> Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Collating Specific Patterns (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开一种静脉轮廓三维点云匹配的身份识别方法及装置,通过静脉轮廓识别装置获取到手指静脉图像;根据图像质量评价获得指定区域的最优图像,有效地排除周围环境的干扰,选取最优的静脉图像作为原始数据;采用图像处理方法,获得指定区域的手指静脉轮廓线,其他则设为背景;根据双目原理,将其转换为三维视差图像;将视差图像转换为三维点云;采用基于迭代最近点的点云匹配算法进行匹配,实现身份认证和识别;本发明基于手指静脉轮廓的全部三维点云进行匹配,提高了目前基于特征点的相关信息匹配精度和灵敏度,并解决了因手指扰动造成的二维图像误判以及现有的三维特征不明显的问题,可根据点云匹配程度阈值自定义调整识别的灵敏度。
Description
技术领域
本发明涉及一种生物特征识别技术,特别涉及一种静脉轮廓三维点云匹配的身份识别方法及装置。
背景技术
现有的静脉方法和装置主要是基于二维静脉图像进行识别为主。在实际应用中,由于光照条件的变化、手指位置不一致、手指扰动等问题,造成模板与待识别图像之间的失配,从而极大程度地影响了静脉识别方法的性能。解决基于二维静脉图像的识别问题的根本途径是采用三维识别。
现有的三维静脉匹配方法是基于关键点信息(如申请号为:201010508188.2的专利申请中采用SIFT特征向量等)组成的三维特征进行匹配的,其可能存在特征计算成本、特征不明显、特征信息量过少等问题,从而影响三维静脉识别方法的性能和可靠性;同时,由于现有的三维静脉识别方法尚无对匹配精度进行自定义调整和设置,故在使用过程中缺乏一定的灵活性。
因此,如何解决三维静脉识别的精度和灵活性已经成为当今静脉识别技术的一个亟待解决的问题。
发明内容
本发明为解决上述技术问题,提出了一种静脉轮廓三维点云匹配的身份识别方法及装置。该方法利用双目视觉的原理构建基于嵌入式或计算机的手指静脉三维识别装置,获取到手指静脉的初始图像;结合静脉图像质量评价获得最优的采集图像;然后再采用图像处理获得感兴趣区域内的手指静脉轮廓图像;再采用双目视觉原理获得手指静脉轮廓图像的三维信息,将其转换为三维点云;采用改进的ICP匹配算法实现手指静脉的三维识别。该方法能有效地提高手指静脉识别精度和实际使用中的灵活性。
本发明采用的技术方案是:一种静脉轮廓三维点云匹配的身份识别方法,包括:
S1、通过识别装置获取手指静脉初始图像;
S2、对于步骤S1获取的手指静脉初始图像,首先结合静脉图像质量评价获得最优的采集图像;然后采用图像处理获得感兴趣区域内的手指静脉轮廓图像;再采用双目视觉原理获得手指静脉轮廓图像的三维信息,将其转换为待匹配三维点云;
S3、根据步骤S2得到的待匹配三维点云,通过ICP匹配算法实现手指静脉的三维识别。
进一步地,所述识别装置包括:红外光源、红外滤光片、手指槽、轻触电源开关、左右两台摄像机、电源、电源控制电路以及外部处理设备;所述外部处理设备为:PC机或ARM接口板或DSP处理板;
红外光源设置于底部,左右两台摄像机设置于顶部,中间为放置手指的手指槽,手指槽一端设有一个轻触开关;在左右两个摄像机镜头上都加了红外滤光片,用以滤除非红外光;
手指槽、红外光源和左右两台摄像机处于同一水平面上;
手指与红外光源垂直且距离为1cm,摄像机与手指的垂直距离大约8cm;
左右两个摄像头之间的距离大约3cm。
进一步地,所述步骤S2包括以下分步骤:
S21、采用基于图像内容的结构相似性来描述图象质量,具体为:选择一幅标准图像作为参考,将每次采集的图像与标准图像从亮度、对比度和结构相似性三个方面进行对比,构造基于这三个要素的评价模型如下:
S(x,y)=[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ
其中,l(x,y)为亮度比较函数,а为亮度权重,c(x,y)为对比度权重,β为对比度权重,s(x,y)为结构相似性比较函数,γ为结构相似性权重,x表示参数图像,y采集的图像;
根据S(x,y)的计算结果,与第一阈值进行比较,若S(x,y)大于或等于第一阈值,则表示该采集图像可接受并采用,否则表示该图像质量不符合要求,进行调整PWM波,重新采集图像,直至S(x,y)值大于或等于第一阈值为止;
S22、采用张正友标定法对两台摄像机进行标定,得到两摄像机间的旋转矩阵和平移向量以及它们的内参数矩阵K;采用Fusiello方法进行极线校正,使摄像机的光轴平行,从而得到只有水平位移差异的一对图像以及校正后的相机投影矩阵;
S23、使用CLAHE算法进行直方图均衡化,采用自适应阈值分割技术,获得静脉目标,然后采用Sobel边缘检测算子获得静脉轮廓,再采用8邻域追踪以获得手指静脉的单值轮廓,并将得到静脉轮廓点为关键点;
S24、使用SAD算法做立体匹配并生成视差图,选择使SAD值最小的平移距离为滑动窗中心点的视差值,以从左往右从上往下的顺序依次计算每一个像素点的视差值,最终得到视差图;
S25、使用三角测量原理计算点的三维坐标,得到待匹配三维点云。
更进一步地,所述步骤S23使用CLAHE算法进行直方图均衡化后还包括:采用中值滤波法滤掉均衡化后的图像中的噪声,并对得到的图像线性灰度拉伸。
进一步地,步骤S3所述的ICP匹配算法为改进的ICP匹配算法,具体包括以下分步骤:
1)、计算模版点云和待匹配三维点云的重心,并将其移动到同一坐标下的相同位置;
2)、计算两组点云的最小矩形包围盒,旋转点云使得最小包围盒的朝向一致;
3)、得到两个点云集合的互协方差矩阵;
4)、利用反对称矩阵构造列向量,并用该列向量生成一个4*4维的对称矩阵;
5)、计算步骤4)、所得对称矩阵的特征值和单位特征向量;
其中,最大的特征估值对应的单位特征向量为最佳旋转矩阵;
6)、计算最佳平移向量;
7)、根据步骤5)得到的旋转矩阵以及步骤6)得到的最佳平移向量,得到配准状态向量;
8)、构建匹配识别目标函数:
其中,表示模版点云,xi表示待匹配的点云,R表示旋转矩阵,表示最佳旋转矩阵,表示最佳平移向量,表示欧式距离的平方;
9)、根据步骤7)得到的配准状态向量,计算步骤8)匹配识别目标函数的最小均方误差;
10)、根据多次匹配实验测定第二阈值,将步骤9)得到的最小均方误差与第二阈值进行比较,若最小均方误差大于该阈值,则用计算出的平移向量和旋转矩阵得到的点云数据阵代替原待匹配点云,并跳转至步骤S31,否则当最小均方误差小于或等于第二阈值,或者迭代次数大于预设最大迭代次数时,停止迭代。
一种静脉轮廓识别装置,包括:红外光源、红外滤光片、手指槽、轻触电源开关、左右两台摄像机、电源、电源控制电路以及外部处理设备;所述外部处理设备为:PC机或ARM接口板或DSP处理板;
红外光源设置于底部,左右两台摄像机设置于顶部,中间为放置手指的手指槽,手指槽一端设有一个轻触开关;在左右两个摄像机镜头上都加了红外滤光片,用以滤除非红外光;
手指槽、红外光源和左右两台摄像机处于同一水平面上;
手指与红外光源垂直且距离为1cm,摄像机与手指的垂直距离大约8cm;
左右两个摄像头之间的距离大约3cm。
本发明的有益效果:一种静脉轮廓三维点云匹配的身份识别方法及装置,通过静脉轮廓识别装置获取到手指静脉图像;然后根据图像质量评价获得指定区域的最优图像,能有效地排除周围环境的干扰,选取出最优的静脉图像作为原始数据;采用图像处理方法,获得指定区域的手指静脉轮廓线,其他则设为背景;根据双目原理,将其转换为三维视差图像;将视差图像转换为三维点云;采用基于迭代最近点的点云匹配算法进行匹配,设置匹配阈值,实现身份认证和识别。本发明从三维角度实现了基于静脉轮廓点云的三维匹配认证识别,本发明基于手指静脉轮廓的全部三维点云进行匹配,能有效地提高目前基于特征点的相关信息匹配精度和灵敏度,并有效地消除了因手指扰动造成的二维图像误判以及现有的三维特征不明显的问题,可以根据点云匹配程度阈值来自定义调整识别的灵敏度。
附图说明
图1为本发明提供的识别装置结构图。
图2为本发明提供的方案流程图。
图3为本发明提供的检测轮廓所用的掩膜;
其中,(a)为手指上边界,(b)为手指下边界。
图4为本发明提供的手指静脉三维识别流程图。
具体实施方式
为便于本领域技术人员理解本发明的技术内容,下面结合附图对本发明内容进一步阐释。
本发明通过如图1所示的静脉轮廓识别装置,获取手指静脉初始图像,该装置主要包括:红外光源(1)、红外滤光片(2)、手指槽(3)、轻触电源开关(4)、左右两台摄像机(5)、电源(6)、电源控制电路(7)、PC机(或ARM接口板和DSP处理板)(8),其中两台摄像机水平放置在装置顶部,为了防止非红外光,在镜头上加了红外滤光片。手指槽置于装置中间,在手指槽的顶端放有轻触开关(4),装置底部安放红外光源(1)。
手指在手指槽中就位后,指尖抵住轻触开关(4),则启动设备电源(6),开启红外光源(1)和摄像机(5),硬件设备开始工作。通过预定的成像参数,获得初始图像,通过结构特征来定量描述图像质量,如果满足要求,则采用该图像;否则采用PWM波调整光源电压,重新采集图像,直至图像质量满足要求;将获得的最优图像裁剪为统一大小的图像。
所述红外光源为排布成阵列形式的白炽灯或氙灯或红外发光二极管LED。白炽灯或氙灯发出的其他光在摄像机(5)采集的时候,因为在镜头上加了红外滤光片,可将除红外光意外的其他光线滤除,白炽灯或氙灯为常见光源,用于制造本申请的装置可降低制造成本。
如图2所示为本发明的方案流程图,本发明的技术方案为:一种静脉轮廓三维点云匹配的身份识别方法,包括:
S1、通过识别装置获取手指静脉初始图像;
所述识别装置包括:红外光源、红外滤光片、手指槽、轻触电源开关、左右两台摄像机、电源、电源控制电路以及外部处理设备;所述外部处理设备为:、PC机或ARM接口板或DSP处理板;
其中,红外光源在底部,左右两台摄像机在顶部,中间为放置手指的手指槽,手指槽顶部有一个轻触开关,并且手指槽,红外光源和左右两台摄像机处于同一水平面上;
红外光源,手指槽和左右两台摄像机在同一水平面上,手指与红外光源垂直且距离为1cm,摄像机与手指的垂直距离大约8cm;
左右两个摄像头之间的距离大约3cm;
在左右两个摄像机镜头上都加了红外滤光片,用以滤除非红外光;
S2、对于步骤S1获取的手指静脉初始图像,首先结合静脉图像质量评价获得最优的采集图像,能有效地排除周围环境的干扰;然后采用图像处理获得感兴趣区域内的手指静脉轮廓图像;再采用双目视觉原理获得手指静脉轮廓图像的三维信息,将其转换为三维点云;具体包括以下分步骤:
S21、采用基于图像内容的结构相似性来描述图象质量,即选择一幅标准图像作为参考,将每次采集的图像与标准图像从亮度、对比度和结构相似性三个方面进行对比,构造基于这三个要素的评价模型如下:
S(x,y)=[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ
其中,l(x,y)为亮度比较函数,а为亮度权重,c(x,y)为对比度权重,β为对比度权重,s(x,y)为结构相似性比较函数,γ为结构相似性权重,x表示参数图像,y采集的图像。为了便于后期图像处理算法设计,这里的质量评价的三个因素的权重均为1,即а=β=γ=1。
这里,表示参考图像和采集图像的平均亮度,表示参考图像和采集图像的标准差,表示参考图像和采集图像的协方差,c1、c2和c3分别是避免分母为零的最小常数。
依据S(x,y)的计算结果,越接近于1,说明与参考图像质量越接近,则表示越可接受。这里设置S(x,y)的阈值为0.8,则S(x,y)大于等于0.8,表示该采集图像可接受并采用,如果S(x,y)小于0.8,则表示该图像质量不符合要求,则调整PWM波,重新采集图像,直至采集图像与参考图像的S(x,y)值大于等于0.8,为止。
S22、采用张正友标定法对两台摄像机进行标定,得到两摄像机间的旋转矩阵R和平移向量T以及它们的内参数矩阵K;
其中,αu=-fku,αv=-fkv表示在水平和垂直像素上的焦距,ku和kv是沿u轴轴(水平轴)和v轴(垂直轴)上每毫米的有效像素数,(u0,v0)是主点(光轴与视网膜平面交点)的坐标,γ是扭曲因子。
则相机投影矩阵可表示为P=K[R|T]。
采用Fusiello方法进行极线校正,使摄像机的光轴平行,从而得到只有水平位移差异的一对图像以及校正后的相机投影矩阵。
S23、使用CLAHE算法进行直方图均衡化,采用自适应阈值分割技术,获得静脉目标,然后采用Sobel边缘检测算子获得静脉轮廓,再采用8邻域追踪以获得手指静脉的单值轮廓,并将得到静脉轮廓点为关键点。具体为:
首先,使用Contrast Limited Adaptive Histogram Equalization(CLAHE)算法通过限制局部直方图的高度来限制局部对比度的增强幅度,从而实现限制噪声及局部对比度的过增强。详细过程为:将原图像划分成更小的窗口,计算各窗口内的累积直方图函数。用预先定义的阈值来裁剪直方图以达到限制放大幅度的目的并将这些裁剪掉的部分均匀的分布到直方图的其他部分。基于此直方图做均衡化,以均衡化后窗口中心点的灰度为作为中心点的灰度值。然后移动窗口,不断重复上述过程,直到对每一个像素点进行灰度变换。由此增强了图像对比度。在实际应用中,对比度限制限制值为在范围[0,1]内的一个数值,本实验选择对比度限制为0.01。
然后,用中值滤波法滤掉图像中的噪声。中值滤波原理是把图像中一点的灰度值用该点的一个邻域中各点值的中值代替,使周围的像素值接近的真实值,从而消除孤立的噪声点。方法是用二维滑动模板,将模板内像素按照像素灰度值的大小进行排序,生成单调上升的为二维数据序列。二维中值滤波输出为g(x,y)=med{f(x-k,y-l),(k,l∈W)},其中,f(x,y),g(x,y)分别为原始图像和处理后图像。W是大小为7×7的模板。
再者,采用灰度拉伸来增强图象质量。灰色线性变换使得较小的灰度空间通过线性关系扩展到更大的灰度空间。灰度线性变换后,增加了像素的动态范围,增强了图像的对比度。使图像变得更加清晰,易于识别。假定原始图像f(x,y)的灰度范围为[a,b],线性变换后,图像f(x,y)的灰度空间扩展到[c,d],公式如下所示。在本方法中,原图像归一化灰度值在[0.15,0.9]范围内的像素点被扩展至[0,1]。
最后,分别采用自适应阈值分割技术,获得静脉目标,然后再采用轮廓提取和追踪以获得手指静脉的单值图像轮廓。二次Sobel边缘检测得到静脉轮廓和手指边界轮廓并将其作为关键点。
首先,用如图3所示的掩膜检测手指轮廓
通过计算每个x在y方向上掩模和图像的卷积,最大卷积值出现的位置即为边界线。令手指区域外的像素灰度值等于0。使用自适应阈值算法从背景中分离静脉。进行此步后得到的二值图像仍然有噪声区域被错误地提取为手指静脉或背景,因此需要对图像进行腐蚀并且统计每个联通区域的大小。面积小的黑色连通区域被白色像素填充,面积小的白色区域被剔除。最后使用sobel算子提取出手指和静脉的轮廓。Sobel边缘检测器使用一个3×3领域的行和列之间的离散差来计算梯度,其中,每行或列的中心像素用2来加权,以提供平滑效果:
式中,z项代表灰度。因此,如果在(x,y)处Δf≥T(T是自适应阈值),那么在该位置的像素是边缘像素。提取出轮廓后,将其作为匹配使用的关键点。
S24、使用SAD算法做立体匹配并生成视差图,选择使SAD值最小的平移距离为滑动窗中心点的视差值,以从左往右从上往下的顺序依次计算每一个像素点的视差值,最终得到视差图。
使用SAD算法做立体匹配并生成视差图。计算公式图下:
式中,Il和Ir分别表示左右图像素点的灰度值,d代表视差距离,w是滑动窗大小,x和y表示滑动窗中心像素坐标。选择使SAD值最小的平移距离为滑动窗中心点的视差值。以从左往右从上往下的顺序依次计算每一个像素点的视差值,最终得到视差图。
S25、使用三角测量原理计算点的三维坐标。
左摄像机获得的图像(以下简称“左图”)中点和右摄像机获得图像(以下简称“右图”)中的对应点坐标在相机坐标系下分别为x和x·。两个相机的投影矩阵分别为P和P′。由此我们得到了两个等式:x=PX和x′=P′X,将它们合并成一个关于X的线性方程AX=0。通过计算叉积,可得到每个点的三个方程,并消掉了齐次尺度因子。对于左图,式x×(PX)=0可以被写成为:
其中,PiT是P的行向量。
对于右图,可以把上述方程组的x和y代换为x′,y′得到右图的方程。
矩阵A为:
X=(x,y,z,1)T是其次方程,X即为AX=0的最小二乘解。从而获得对应点X的三维坐标系。
S3、如图4所示为本发明的识别流程图。首先将待匹配点云和模版点云平移至各自重心,然后计算两点云中的最近点对,得到误差和坐标变换向量,把坐标变换向量代入原待匹配点云数据得到变换后的点云。判断误差是否大于第二阈值以及现迭代次数是否大于最大迭代次数,若否,则返回计算最近点,进行下一次迭代。若是,则将数据点云配准至模版点云,再比较误差是否小于第二阈值,若是,则匹配成功;若否,则匹配失败。
本发明基于手指静脉轮廓的全部三维点云进行匹配,能有效地提高目前基于特征点的相关信息匹配精度和灵敏度,并有效地消除了因手指扰动造成的二维图像误判以及现有的三维特征不明显的问题,可以根据点云匹配程度阈值来自定义调整识别的灵敏度。
根据步骤S2得到的三维点云,通过改进的ICP匹配算法实现手指静脉的三维识别。假设pi(i=1,2…Np)是模版点云,xi(i=1,2…Nx)是待匹配的点云,i表示点云中点的编号。使用单位四元数法来计算运动参数,得到用四元数法表示旋转矩阵其中q0≥0且q0 2+q1 2+q2 2+q3 2=1。以及平移向量最终通过计算矩阵A来得到旋转矩阵R。
配准状态向量为由此将匹配问题转化为寻找函数的最小值
具体包括以下分步骤:
1)、计算模版点云和待匹配点云的重心并将其移动到同一坐标下的相同位置;
2)、计算两组点云的最小矩形包围盒,旋转点云使得最小包围盒的朝向一致;
3)、得到两个点云集合的互协方差矩阵;
4)、利用反对称矩阵Aij=(∑px∑px T)ij构造列向量Δ=(A23 A31 A12)T,并用该列向量生成一个4*4的对称矩阵Q(∑px);
5)、计算步骤4)所得对称矩阵Q(∑px)的特征值和单位特征向量;
其中,最大的特征估值对应的单位特征向量为最佳旋转矩阵:
6)、计算最佳平移向量
7)、根据步骤5)得到的旋转矩阵以及步骤6)得到的最佳平移向量,得到配准状态向量
8)、构建匹配识别目标函数:
其中,表示模版点云,xi表示待匹配的点云,R表示旋转矩阵,表示最佳旋转矩阵,表示最佳平移向量,||·||2表示欧式距离的平方。
9)、根据步骤7)得到的配准状态向量,计算步骤8)匹配识别目标函数的最小均方误差
10)、根据多次匹配实验测定第二阈值,即匹配阈值τ,第二阈值可根据识别的灵敏度来调整。如果识别的灵敏度要求高,则该阈值则越小;反之,如果识别的灵敏度要求低,则该阈值则越大,即通过该域值的设定,可以调整***的识别的灵敏度。将步骤9)得到的最小均方误差dms与τ进行比较,若dms大于τ,则用计算出的平移向量和旋转矩阵得到的点云数据阵代替原待匹配点云循环迭代直到dms小于等于τ,或迭代次数大于预设的最大迭代次数。如果在预设的最大迭代次数内,匹配失败,则说明识别失败,即身份验证失败;如果在预设的最大迭代次数内,匹配成功,且dms小于等于τ,则说明识别成功,即身份验证成功。其中,最大迭代次数是根据点云的数目和识别的精度、实时性和灵敏性来实验确定的。最大迭代次数的设置是根据匹配识别的实时性要求和精度要求,通过多次实验来确定的。如果识别的实时性要求高,则最大迭代次数可设计为较少;如果识别的实时性要求低,则最大迭代次数可设计为较多。如果识别的精度要求高,则最大迭代次数可设计为较多;如果识别的实时性要求低,则最大迭代次数可设计为较少。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (6)
1.一种静脉轮廓三维点云匹配的身份识别方法,其特征在于,包括:
S1、通过识别装置获取手指静脉初始图像;
S2、对于步骤S1获取的手指静脉初始图像,首先结合静脉图像质量评价获得最优的采集图像;然后采用图像处理获得感兴趣区域内的手指静脉轮廓图像;再采用双目视觉原理获得手指静脉轮廓图像的三维信息,将其转换为待匹配三维点云;
S3、根据步骤S2得到的待匹配三维点云,通过ICP匹配算法实现手指静脉的三维识别。
2.根据权利要求1所述的一种静脉轮廓三维点云匹配的身份识别方法,其特征在于,所述识别装置包括:红外光源、红外滤光片、手指槽、轻触电源开关、左右两台摄像机、电源、电源控制电路以及外部处理设备;所述外部处理设备为:PC机或ARM接口板或DSP处理板;
红外光源设置于底部,左右两台摄像机设置于顶部,中间为放置手指的手指槽,手指槽一端设有一个轻触开关;在左右两个摄像机镜头上都加了红外滤光片,用以滤除非红外光;
手指槽、红外光源和左右两台摄像机处于同一水平面上;
手指与红外光源垂直且距离为1cm,摄像机与手指的垂直距离大约8cm;
左右两个摄像头之间的距离大约3cm。
3.根据权利要求1所述的一种静脉轮廓三维点云匹配的身份识别方法,其特征在于,所述步骤S2包括以下分步骤:
S21、采用基于图像内容的结构相似性来描述图象质量,具体为:选择一幅标准图像作为参考,将每次采集的图像与标准图像从亮度、对比度和结构相似性三个方面进行对比,构造基于这三个要素的评价模型如下:
S(x,y)=[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ
其中,l(x,y)为亮度比较函数,а为亮度权重,c(x,y)为对比度权重,β为对比度权重,s(x,y)为结构相似性比较函数,γ为结构相似性权重,x表示参数图像,y采集的图像;
根据S(x,y)的计算结果,与第一阈值进行比较,若S(x,y)大于或等于第一阈值,则表示该采集图像可接受并采用,否则表示该图像质量不符合要求,进行调整PWM波,重新采集图像,直至S(x,y)值大于或等于第一阈值为止;
S22、采用张正友标定法对两台摄像机进行标定,得到两摄像机间的旋转矩阵和平移向量以及它们的内参数矩阵K;采用Fusiello方法进行极线校正,使摄像机的光轴平行,从而得到只有水平位移差异的一对图像以及校正后的相机投影矩阵;
S23、使用CLAHE算法进行直方图均衡化,采用自适应阈值分割技术,获得静脉目标,然后采用Sobel边缘检测算子获得静脉轮廓,并采用8邻域的轮廓追踪以获得手指静脉的单值图像轮廓,将得到静脉轮廓点作为关键点;
S24、使用SAD算法做立体匹配并生成视差图,选择使SAD值最小的平移距离为滑动窗中心点的视差值,以从左往右从上往下的顺序依次计算每一个像素点的视差值,最终得到视差图;
S25、使用三角测量原理计算点的三维坐标,得到待匹配三维点云。
4.根据权利要求3所述的一种静脉轮廓三维点云匹配的身份识别方法,其特征在于,所述步骤S23使用CLAHE算法进行直方图均衡化后还包括:采用中值滤波法滤掉均衡化后的图像中的噪声,并对得到的图像线性灰度拉伸。
5.根据权利要求1所述的一种静脉轮廓三维点云匹配的身份识别方法,其特征在于,步骤S3所述的ICP匹配算法为改进的ICP匹配算法,具体包括以下分步骤:
1)、计算模版点云和待匹配三维点云的重心,并将其移动到同一坐标下的相同位置;
2)、计算两组点云的最小矩形包围盒,旋转点云使得最小包围盒的朝向一致;
3)、得到两个点云集合的互协方差矩阵;
4)、利用反对称矩阵构造列向量,并用该列向量生成一个4*4维的对称矩阵;
5)、计算步骤4)、所得对称矩阵的特征值和单位特征向量;
其中,最大的特征估值对应的单位特征向量为最佳旋转矩阵;
6)、计算最佳平移向量;
7)、根据步骤5)得到的旋转矩阵以及步骤6)得到的最佳平移向量,得到配准状态向量;
8)、构建匹配识别目标函数:
其中,表示模版点云,xi表示待匹配的点云,R表示旋转矩阵,表示最佳旋转矩阵,表示最佳平移向量,||·||2表示欧式距离的平方;
9)、根据步骤7)得到的配准状态向量,计算步骤8)匹配识别目标函数的最小均方误差;
10)、根据多次匹配实验测定第二阈值,将步骤9)得到的最小均方误差与第二阈值进行比较,若最小均方误差大于该阈值,则用计算出的平移向量和旋转矩阵得到的点云数据阵代替原待匹配点云,并跳转至步骤S31,否则当最小均方误差小于或等于第二阈值,或者迭代次数大于预设最大迭代次数时,停止迭代。
6.一种静脉轮廓识别装置,其特征在于,包括:红外光源、红外滤光片、手指槽、轻触电源开关、左右两台摄像机、电源、电源控制电路以及外部处理设备;所述外部处理设备为:PC机或ARM接口板或DSP处理板;
红外光源设置于底部,左右两台摄像机设置于顶部,中间为放置手指的手指槽,手指槽一端设有一个轻触开关;在左右两个摄像机镜头上都加了红外滤光片,用以滤除非红外光;
手指槽、红外光源和左右两台摄像机处于同一水平面上;
手指与红外光源垂直且距离为1cm,摄像机与手指的垂直距离大约8cm;
左右两个摄像头之间的距离大约3cm。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610288717.XA CN106022210A (zh) | 2016-05-04 | 2016-05-04 | 一种静脉轮廓三维点云匹配的身份识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610288717.XA CN106022210A (zh) | 2016-05-04 | 2016-05-04 | 一种静脉轮廓三维点云匹配的身份识别方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106022210A true CN106022210A (zh) | 2016-10-12 |
Family
ID=57082035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610288717.XA Pending CN106022210A (zh) | 2016-05-04 | 2016-05-04 | 一种静脉轮廓三维点云匹配的身份识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106022210A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107392088A (zh) * | 2017-06-01 | 2017-11-24 | 燕南国创科技(北京)有限公司 | 三维静脉识别装置和方法、开关、移动终端 |
CN107992820A (zh) * | 2017-11-29 | 2018-05-04 | 北京伟景智能科技有限公司 | 基于双目视觉的货柜自助售货方法 |
CN108122280A (zh) * | 2017-12-20 | 2018-06-05 | 北京搜狐新媒体信息技术有限公司 | 一种三维点云的重建方法及装置 |
WO2019024321A1 (zh) * | 2017-08-01 | 2019-02-07 | 南京东屋信息科技有限公司 | 手指静脉图像采集装置以及智能锁 |
CN109325432A (zh) * | 2018-09-13 | 2019-02-12 | 联想(北京)有限公司 | 一种三维对象的识别方法、设备及计算机可读储存介质 |
CN109543591A (zh) * | 2018-11-19 | 2019-03-29 | 珠海格力电器股份有限公司 | 一种三维手指静脉采集的方法及设备 |
CN110298261A (zh) * | 2019-06-06 | 2019-10-01 | Oppo广东移动通信有限公司 | 静脉识别方法及相关产品 |
CN112084840A (zh) * | 2020-07-24 | 2020-12-15 | 浙江工业大学 | 一种基于三维nmi的指静脉识别方法 |
CN112767276A (zh) * | 2021-01-26 | 2021-05-07 | 深圳瑞为智能科技有限公司 | 一种基于上下双目设备图像的立体匹配方法及装置 |
CN112907455A (zh) * | 2019-12-04 | 2021-06-04 | 财团法人成大研究发展基金会 | 几何相机校正***及方法 |
CN112949557A (zh) * | 2021-03-24 | 2021-06-11 | 上海慧姿化妆品有限公司 | 指甲轮廓的提取方法及*** |
CN112990160A (zh) * | 2021-05-17 | 2021-06-18 | 北京圣点云信息技术有限公司 | 一种基于光声成像技术的面部静脉识别方法及识别装置 |
CN113065566A (zh) * | 2021-03-19 | 2021-07-02 | 南京天巡遥感技术研究院有限公司 | 一种误匹配去除方法、***及应用 |
CN113196284A (zh) * | 2018-12-13 | 2021-07-30 | Lg 伊诺特有限公司 | 摄像装置 |
CN113338754A (zh) * | 2021-04-21 | 2021-09-03 | 宁波金地历进出口有限公司 | 带有生物识别锁机构的保险箱 |
CN114841965A (zh) * | 2022-04-30 | 2022-08-02 | 中建三局第一建设工程有限责任公司 | 钢结构形变检测方法、装置、计算机设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101866486A (zh) * | 2010-06-11 | 2010-10-20 | 哈尔滨工程大学 | 手指静脉图像质量判断方法 |
CN101980243A (zh) * | 2010-10-15 | 2011-02-23 | 中国人民解放军国防科学技术大学 | 基于双目视觉的手指静脉三维识别方法及装置 |
CN103325143A (zh) * | 2013-06-13 | 2013-09-25 | 华南理工大学 | 基于模型匹配的标记点自动注册方法 |
CN103729622A (zh) * | 2013-12-24 | 2014-04-16 | 小米科技有限责任公司 | 一种手指静脉三维点云获取方法、装置及一种终端 |
CN104217195A (zh) * | 2014-08-07 | 2014-12-17 | 中国矿业大学 | 手部静脉立体成像与识别*** |
-
2016
- 2016-05-04 CN CN201610288717.XA patent/CN106022210A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101866486A (zh) * | 2010-06-11 | 2010-10-20 | 哈尔滨工程大学 | 手指静脉图像质量判断方法 |
CN101980243A (zh) * | 2010-10-15 | 2011-02-23 | 中国人民解放军国防科学技术大学 | 基于双目视觉的手指静脉三维识别方法及装置 |
CN103325143A (zh) * | 2013-06-13 | 2013-09-25 | 华南理工大学 | 基于模型匹配的标记点自动注册方法 |
CN103729622A (zh) * | 2013-12-24 | 2014-04-16 | 小米科技有限责任公司 | 一种手指静脉三维点云获取方法、装置及一种终端 |
CN104217195A (zh) * | 2014-08-07 | 2014-12-17 | 中国矿业大学 | 手部静脉立体成像与识别*** |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018219012A1 (zh) * | 2017-06-01 | 2018-12-06 | 燕南国创科技(北京)有限公司 | 三维静脉识别装置和方法、开关、移动终端 |
CN107392088A (zh) * | 2017-06-01 | 2017-11-24 | 燕南国创科技(北京)有限公司 | 三维静脉识别装置和方法、开关、移动终端 |
CN109791606A (zh) * | 2017-08-01 | 2019-05-21 | 南京东屋信息科技有限公司 | 手指静脉图像采集装置 |
WO2019024321A1 (zh) * | 2017-08-01 | 2019-02-07 | 南京东屋信息科技有限公司 | 手指静脉图像采集装置以及智能锁 |
EP3663964A4 (en) * | 2017-08-01 | 2021-05-05 | Nanjing Easthouse Information Technology Co., Ltd. | METHOD OF CAPTURING FINGERVEN IMAGES |
CN107992820A (zh) * | 2017-11-29 | 2018-05-04 | 北京伟景智能科技有限公司 | 基于双目视觉的货柜自助售货方法 |
CN108122280A (zh) * | 2017-12-20 | 2018-06-05 | 北京搜狐新媒体信息技术有限公司 | 一种三维点云的重建方法及装置 |
CN109325432A (zh) * | 2018-09-13 | 2019-02-12 | 联想(北京)有限公司 | 一种三维对象的识别方法、设备及计算机可读储存介质 |
CN109325432B (zh) * | 2018-09-13 | 2021-11-16 | 联想(北京)有限公司 | 一种三维对象的识别方法、设备及计算机可读储存介质 |
CN109543591A (zh) * | 2018-11-19 | 2019-03-29 | 珠海格力电器股份有限公司 | 一种三维手指静脉采集的方法及设备 |
CN113196284A (zh) * | 2018-12-13 | 2021-07-30 | Lg 伊诺特有限公司 | 摄像装置 |
CN110298261A (zh) * | 2019-06-06 | 2019-10-01 | Oppo广东移动通信有限公司 | 静脉识别方法及相关产品 |
CN110298261B (zh) * | 2019-06-06 | 2021-06-01 | Oppo广东移动通信有限公司 | 静脉识别方法及相关产品 |
CN112907455A (zh) * | 2019-12-04 | 2021-06-04 | 财团法人成大研究发展基金会 | 几何相机校正***及方法 |
CN112084840A (zh) * | 2020-07-24 | 2020-12-15 | 浙江工业大学 | 一种基于三维nmi的指静脉识别方法 |
CN112767276A (zh) * | 2021-01-26 | 2021-05-07 | 深圳瑞为智能科技有限公司 | 一种基于上下双目设备图像的立体匹配方法及装置 |
CN113065566A (zh) * | 2021-03-19 | 2021-07-02 | 南京天巡遥感技术研究院有限公司 | 一种误匹配去除方法、***及应用 |
CN113065566B (zh) * | 2021-03-19 | 2024-01-09 | 南京天巡遥感技术研究院有限公司 | 一种误匹配去除方法、***及应用 |
CN112949557A (zh) * | 2021-03-24 | 2021-06-11 | 上海慧姿化妆品有限公司 | 指甲轮廓的提取方法及*** |
CN113338754A (zh) * | 2021-04-21 | 2021-09-03 | 宁波金地历进出口有限公司 | 带有生物识别锁机构的保险箱 |
CN112990160A (zh) * | 2021-05-17 | 2021-06-18 | 北京圣点云信息技术有限公司 | 一种基于光声成像技术的面部静脉识别方法及识别装置 |
CN114841965A (zh) * | 2022-04-30 | 2022-08-02 | 中建三局第一建设工程有限责任公司 | 钢结构形变检测方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106022210A (zh) | 一种静脉轮廓三维点云匹配的身份识别方法及装置 | |
Cheng et al. | Appearance-based gaze estimation via evaluation-guided asymmetric regression | |
CN107609383B (zh) | 3d人脸身份认证方法与装置 | |
CN107748869B (zh) | 3d人脸身份认证方法与装置 | |
CN105760826B (zh) | 一种人脸跟踪方法、装置和智能终端 | |
Elhayek et al. | Efficient convnet-based marker-less motion capture in general scenes with a low number of cameras | |
Valenti et al. | Accurate eye center location and tracking using isophote curvature | |
US9733703B2 (en) | System and method for on-axis eye gaze tracking | |
US8958608B2 (en) | Frontal view reconstruction for iris recognition | |
WO2019056988A1 (zh) | 人脸识别方法及装置、计算机设备 | |
KR102012254B1 (ko) | 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치 | |
CN108985210A (zh) | 一种基于人眼几何特征的视线追踪方法及*** | |
Liu et al. | Accurate dense optical flow estimation using adaptive structure tensors and a parametric model | |
Alt et al. | Rapid selection of reliable templates for visual tracking | |
US20220383653A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program | |
MX2012010602A (es) | Aparato para el reconocimiento de la cara y metodo para el reconocimiento de la cara. | |
US10909363B2 (en) | Image acquisition system for off-axis eye images | |
Lu et al. | Estimating 3D gaze directions using unlabeled eye images via synthetic iris appearance fitting | |
CN110505398A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN110503068A (zh) | 视线估计方法、终端及存储介质 | |
US20200089315A1 (en) | Systems and methods for capturing training data for a gaze estimation model | |
Perra et al. | Adaptive eye-camera calibration for head-worn devices | |
Bastias et al. | A method for 3D iris reconstruction from multiple 2D near-infrared images | |
Phillips et al. | Bayesian faces via hierarchical template modeling | |
Strupczewski | Commodity camera eye gaze tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161012 |