一种基于卷积神经网络的手掌关键点定位方法
技术领域
本发明涉及手掌关键点定位技术领域,具体为一种基于卷积神经网络的手掌关键点定位方法。
背景技术
掌纹掌脉特征识别技术,一般利用摄像头采集手掌可见光或近红外光下的手掌图像,通过对手掌图像进行预处理、识别区域定位、特征提取和比对匹配等步骤来实现。识别区域的定位是掌纹掌脉识别的基础环节,如何快速、准确、高质量地定位识别区域是非常关键的一步,也直接影响到整套识别***的性能。对识别区域进行定位一般需要对手掌图像进行关键点的定位,以定位的关键点进行识别区域的截取。一般情况下,可通过对手掌图像和采集背景间的边缘信息进行手掌的轮廓描述,再作关键点定位。
在中国发明专利申请公开说明书CN102542242A中公开了一种生物特征区域定位方法,采用对生物特征图像进行二值化,去除图像背景,去噪和获得边缘点信息,定位关键点,最后根据关键点以确定生物特征区域;在发明专利申请公开说明书CN104361339A中公开了一种根据前景图像的后验概率图谱及掌型边缘信息对掌形区域进行图像分割,提取掌形图像的方法;发明专利申请公开说明书CN106991380A中公开了一种对二值化后的掌静脉图像,利用 Canny算法进行图像轮廓提取,再根据查找法定位指根点,以指根点连接线获得获得中点作为关键点的方法,来获取ROI(Region of Interest)图像。
上述根据边缘信息及轮廓特征进行关键点定位的方法,虽然能够确定一个相对固定的识别区域,但是需要对边缘信息及轮廓特征的完整清晰有较高的要求,在受到光线、视角、背景及距离的因素变化的条件下,往往难以获得高质量的关键点定位和识别区域。
发明内容
本发明的目的是为了解决上述技术中存在的缺点,而提出的一种基于卷积神经网络的手掌关键点定位方法,定义手指指节纹线线段,对下指节下端关节线段的中点进行定位,连接相邻的两指节下端关节线段的中点,得到连接线,定位该连接线的中点作为手掌的关键点,自食指至小拇指四指可获得3 个关键点。
对指节纹线线段中点进行定位,一步步定位获得手掌关键点的方法,在边缘信息及轮廓特征受到一定变化的情况下,也能够获得稳定的指节关节线段中点定位,利用卷积神经网络在图像处理上的优势,能够通过大量训练学习的方式,获得较好的关键点定位模型,实现大数据量下快速精准的手掌关键点定位。
为实现上述目的,本发明提供如下技术方案:一种基于卷积神经网络的手掌关键点定位方法,该基于卷积神经网络的手掌关键点定位方法具体步骤如下:
S1、采集手掌图像,并标记关键点信息,作为训练样本集输入到卷积神经网络,对网络进行训练;
S2、卷积神经网络的第一层,检测手掌图像,将手掌图像划分为手指区域与掌部区域两部分,并收集手指区域图像作为数据集;
S3、第二层对第一层卷积神经网络收集到的手指区域图像数据集进行关键点定位,定位每根手指的6个关键点,并剪裁出4根手指图像作为数据集;
S4、卷积神经网络第三层,定位每根手指的下指节下端关节线段中点与对应手指范围内距离线段中点的指尖端最远点,下指节关节线段中点和指尖端最远点作为手指的2个关键点;
S5、卷积神经网络取相邻的两指下指节下端关节线段中点进行连接,连接线的中点作为手掌关键点,四指间的3个手掌关键点分别定义为GapB、GapC 和GapD。
优选的,步骤S1中的手掌图像通过拍摄设备进行采集,同时利用图像增强技术将图像预处理,使手掌图像符合格式要求,对手掌图像进行关键点标记,作为训练卷积神经网络的样本集输入并训练。
优选的,步骤S1中的卷积神经网络包含卷积层和池化层,卷积层主要用于特征图的计算,池化层主要用于降低特征图的尺寸,同时保持特征图的旋转与平移特性,具体如下:
当特征图达到设计的尺寸与层数要求时,将二维的特征图按照顺序排列起来转换为一维的特征向量,最后通过全连接层进行连接并输出,其中,卷积层的运算可表示为:
其中,X(l,k)表示第l层输出的第k组特征图,nl表示第l层特征图的层数, W(l,k,p)表示第l-1层中第p组特征图向第l层中第k组特征图映射时所需要的滤波器,第l层的每一组特征图的生成都需要nl-1个滤波器与一个偏置;
池化层采用最大值池化方法,特征图像经过最大值池化后的大小会根据步长step缩小至原来的1/step,最大值池化的形式可表示为:
其中,X(l+1,k)(m,n)为第l+1层输出的第k组特征图坐标(m,n)处的值,s为池化核的大小,step为池化核移动时的步长,本发明中s与step均设置为2。
优选的,步骤S3中的手指关键点是以指关节纹路下端线段在图像上的两端点作为关键点进行标记,每根手指有3条指关节纹路下端线段,则每根手指可定位得到6个手指区域关键点。
优选的,根据第二层卷积神经网络的输出结果,对每根手指区域估计其旋转角度,将每根手指按照估计的旋转角度进行矫正,将矫正后的图像收集作为新的训练样本。
优选的,步骤S4所述的关键点是定位到的手指下指节纹路下端线段的中点和对应手指范围内距离线段中点的指尖端最远点,这两点作为手指的2个关键点;所述的手指下指节,自指尖开始,手指关节部位依次定义为上指节、中指节和下指节。
优选的,步骤S4第三层卷积神经网络的输出结果,根据图像矫正步骤中每根手指的旋转角度,对每根手指图像进行角度回旋,将回旋后的手指图像组合成手指区域图像并收集作为新的训练样本。
优选的,步骤S5所述的手掌关键点分别定义为GapB、GapC和GapD,GapB 为食指和中指间的关键点,GapC为中指与无名指间的关键点,GapD为无名指和小拇指间的关键点。
与现有技术相比,本发明的有益效果是:本发明根据上述的手掌关键点定位方法,能够快速准确的获得手掌关键点的定位,通过指关节纹线的固定特征结合卷积神经网络自学习的优势进行相关特征点的定位,能够避免仅依靠边缘信息和轮廓特征进行关键点定位的多变性,使定点更加精确。
附图说明
图1是本发明卷积神经网络结构图;
图2是本发明手指关节线段端点定位示意图;
图3是本发明手指2个关键点定位示意图;
图4是本发明手掌关键点定位网络示意图;
图5是本发明手掌关键点定位及标记示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合具体实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
请参阅图1-5,本发明提供一种技术方案:一种基于卷积神经网络的手掌关键点定位方法,包含4个卷积网络,每一层由卷积层、池化层及全连接层三部分组成,卷积神经网络对输入的图像进行多次的卷积与池化,最终经过全连接层输出经关键点定位的手掌图像,其实施步骤如下:
步骤S1、采集手掌图像,并标记关键点信息,作为训练样本集输入到卷积神经网络,对网络进行训练;
进一步的,步骤S1通过手掌图像采集装置,获取手掌图像,对所获得的图像进行关键点定位标记,并将标记了关键点信息的手掌图像作为训练样本图像输入到构建的卷积神经网络中进行训练,获得手掌关键点定位的卷积神经网络模型。
步骤S2、卷积神经网络的第一层,检测手掌图像,将手掌图像划分为手指区域与掌部区域两部分,并收集手指区域图像作为数据集;
进一步的,步骤S2所述的卷积网络第一层,对输入的手掌图像进行区域划分,手指区域为食指、中指、无名指及小拇指四指区域,并截取手指区域图像作为进行关键点定位的数据集。
所述的卷积神经网络,其结构如图1所示,在卷积神经网络中,卷积层主要用于特征图的计算,池化层主要用于降低特征图的尺寸,同时保持特征图的旋转与平移特性。当特征图达到设计的尺寸与层数要求时,将二维的特征图按照顺序排列起来转换为一维的特征向量,最后通过全连接层进行连接并输出。其中,卷积层的运算可表示为:
其中,X(l,k)表示第l层输出的第k组特征图,nl表示第l层特征图的层数, W(l,k,p)表示第l-1层中第p组特征图向第l层中第k组特征图映射时所需要的滤波器。第l层的每一组特征图的生成都需要nl-1个滤波器与一个偏置。
通常的池化方法有最大值池化、均值池化等,本发明中的卷积神经网络使用最大值池化。特征图像经过最大值池化后的大小会根据步长step缩小至原来的1/step。最大值池化的形式可表示为:
其中,X(l+1,k)(m,n)为第l+1层输出的第k组特征图坐标(m,n)处的值。s为池化核的大小,step为池化核移动时的步长,本发明中s与step均设置为2。
步骤S3、第二层对第一层卷积神经网络收集到的手指区域图像数据集进行关键点定位,定位每根手指的6个关键点,并剪裁出4根手指图像作为数据集;
进一步的,卷积神经网络第二层对第一层收集的手指区域图像进行关键点定位,对每根手指的指关节下端关节线段的两个端点进行定位,1根手指的 3个指节下端关节线段可定位到共6个端点,并根据定位到的端点及轮廓信息剪裁出四指的手指图像作为数据集。
如图2所示,手掌图像的指关节线段两端点定位,以食指(Index Finger) 的关节线段两端点示例,食指的上指节(Tip Segment)下端关节线段的两端点分别表示为TI1(Topsegment of Index finger 1)和TI2(Top segment of Index finger 2);同样地,中指节(Middle Segment)下端关节线段的两端点分别表示为MI1(Middle segment of Indexfinger 1)和MI2(MI2:Middle segment of Index finger 2);下指节(Base Segment)下端关节线段的两端点分别表示为BI1(Base segment of Index finger 1)和BI2(Basesegment of Index finger 2)。依次地,每根手指可定位到6个关键点。
步骤S4、卷积神经网络第三层,定位每根手指的下指节下端关节线段中点与对应手指范围内距离线段中点的指尖端最远点,下指节关节线段中点和指尖端最远点作为手指的2个关键点;
进一步的,所述的卷积神经网络第三层对手掌图像的手指区域进行四指下指节下端关节线段的两个端点的定位,取下指节下端关节线段的中点作为关键点,在对应手指范围内距离线段中点的指尖端最远点进行定位,该关节线段的中点和指尖端最远点为手指的2个关键点。
如图3所示手指的2个关键点定位示意图,食指下指节下端关节线段 BI1-BI2,取其线段的中点MIB(Middle point of Index finger Base knuckle), 在对应的手指范围内距离线段中点MIB的指尖端最远点进行定位,该最远点为TopI(Top point of Indexfinger),则线段中点MIB和最远点TopI为定位到的手指的2个关键点。
步骤S5、卷积神经网络取相邻的两指下指节下端关节线段中点进行连接,连接线的中点作为手掌关键点,四指间的3个手掌关键点分别定义为GapB、 GapC和GapD。
进一步的,卷积神经网络第四层对第三层获得的下指节下端线段中点定位的手掌图像,将相邻的两指间的中点进行连接,得到基于下指节下端线段中点作为两端的连接线,定位该连接线的中点,该中点将作为手掌的关键点,也即是四指间手指间隙点的定位,并分别标记为GapB、GapC和GapD。如图3 所示,可取食指下指节下端关节线段的中点MIB和中指下指节下端关节线段中点MMB(Middle point of Middle finger Base knuckle)作为两个端点,进行连接,可得连接线MIB-MMB,定位该连接线段的中点,则标记为GapB,并作为手掌关键点。如图5所示为手掌关键点定位及标记示意图,经过上述的技术方法可定位得到四指间的3个间隙点,即作为手掌的关键点GapB、GapC 和GapD。
本发明提供的一种基于卷积神经网络的手掌关键点定位方法,能够获得较稳定的手掌关键点,有利于快速、准确地获取高质量的掌部识别区域,提升掌纹或掌静脉识别技术的***性能。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。