CN112232332B - 一种基于视频序列的非接触式手掌检测方法 - Google Patents
一种基于视频序列的非接触式手掌检测方法 Download PDFInfo
- Publication number
- CN112232332B CN112232332B CN202011499311.9A CN202011499311A CN112232332B CN 112232332 B CN112232332 B CN 112232332B CN 202011499311 A CN202011499311 A CN 202011499311A CN 112232332 B CN112232332 B CN 112232332B
- Authority
- CN
- China
- Prior art keywords
- image
- palm
- binary image
- skin color
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 239000013598 vector Substances 0.000 claims abstract description 20
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 210000000707 wrist Anatomy 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 238000005286 illumination Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 18
- 230000005484 gravity Effects 0.000 claims description 15
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 claims description 2
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract description 2
- 210000003462 vein Anatomy 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- XQFRJNBWHJMXHO-RRKCRQDMSA-N IDUR Chemical compound C1[C@H](O)[C@@H](CO)O[C@H]1N1C(=O)NC(=O)C(I)=C1 XQFRJNBWHJMXHO-RRKCRQDMSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/168—Segmentation; Edge detection involving transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/117—Biometrics derived from hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于视频序列的非接触式手掌检测方法，包括以下步骤：1）采集非接触成像下的手掌视频图像；2）对每帧图像进行肤色检测，得到肤色区域二值图；3）对运动目标进行检测，得到运动区域二值图；4）统计t时刻运动区域二值图的白色像素点个数，并与阈值比较，如果数量大于阈值，则继续进行步骤5）；5）将肤色区域二值图与运动区域二值图进行融合；6）进行手腕区域的去除；7）提取HOG特征向量进行手掌区域的最终判断。本发明针对非接触成像下的手掌检测问题，采用了基于伽马变换的自适应光照补偿以及根据亮度值以不同大小的椭圆进行分段判断的方式改进了椭圆肤色模型进行肤色检测，得到的区域特征使后续的手掌检测准确率提高。
Description
技术领域
本发明属于非接触成像下的手掌静脉识别及信息安全技术领域，尤其涉及一种基于视频序列的非接触式手掌检测方法。
背景技术
非接触掌静脉识别技术是一种新兴的生物特征识别技术，掌静脉识别因其获取的是人体内部信息，具备了安全和难伪造的优点。接触性掌静脉由于其接触面积较大容易引起用户在卫生方面的排斥心理，不利于掌静脉识别技术的发展，而非接触掌静脉识别技术由于没有固定装置的限制，不需要用户与设备直接接触，可以消除卫生方面的隐患，给用户带来一种新型的生物特征识别体验，具有广阔的应用发展前景。
非接触掌静脉识别技术与接触性掌静脉识别技术相比，增加了手掌检测与手掌感兴趣区域提取的步骤，其中手掌检测作为整个识别***的第一步具有重要作用。
中国专利CN104102347A公开了一种指尖定位方法，可以用于提取手掌轮廓，包括以下步骤：获取包含手势的手势图像；从手势图像中提取手掌轮廓；对手掌轮廓进行多边形逼近以获取轮廓凸包；依次判断所述轮廓凸包的各个凸点是否为指尖点。本发明指尖定位方法是通过对手掌轮廓进行多边形逼近来获取轮廓凸包，由于手势中的指尖通常会对应轮廓凸包中凸点的位置。该发明指尖定位方法只需判断各个凸点是否为指尖点，减少了需要进行判断的指尖点的数量，从而减少了计算量，提高了运行速度，满足了实时的要求；同时，由于不需要对手掌轮廓上的边缘点进行曲率计算，从而提取的手掌轮廓允许存在一定的误差，进而降低了对提取的手掌轮廓的精密度的要求。
中国专利CN109350018A公开了一种用于手掌疱疹检测***的基于图像的手掌检测方法，包括以下步骤：获取RGB彩色图像；将RGB彩色图像转换成YCrCb三色图像后获取Cr图像，再将Cr图像进行二值化；肤色检测、获取肤色轮廓、凸轮廓特征检测；判定凸轮廓特征数是否大于零，若是则筛选出候选手掌区域；判断候选手掌区域是否为手掌轮廓区域。该专利通过对手掌区域进行YCrCb颜色空间的Cr分量提取进行肤色检测得到手掌轮廓并根据其凸轮廓特征进行手掌检测。
非接触掌静脉识别技术在手掌采集的过程中由于没有固定位置的引导，手掌的摆放位置比较随意，图像容易产生平移、旋转等形变且易受周围环境的影响，从复杂背景中检测出手掌区域也存在一定的难度。
发明内容
本发明的目的是为了解决非接触掌静脉识别技术在图像采集过程中易受周围环境影响的问题，提出了一种基于视频序列的非接触式手掌检测方法，能有效检测出手掌区域，为后续的识别过程做好准备。
为了达到目的，本发明提供的技术方案为：
本发明涉及的一种基于视频序列的非接触式手掌检测方法，包括以下步骤：
1）采集非接触成像下的手掌视频图像，第一帧图像为不放置手掌的背景，从第二帧图像开始放置手掌；
2）对每帧图像进行肤色检测，在t帧得到肤色区域二值图I1；
3）对运动目标进行检测，在t帧得到运动区域二值图I2；
4）统计t帧运动区域二值图I2的白色像素点个数，并与阈值比较，如果数量大于阈值，则继续进行步骤5）；
5）在t帧将肤色区域二值图I1与运动区域二值图I2进行融合，得到融合二值图I3，并对其进行形态学处理，保留最大连通区域；
6）对融合二值图I3进行手腕区域的去除，得到手掌区域二值图I4；
7）提取手掌区域二值图I4的HOG特征进行手掌区域的最终判断。
优选地，所述的步骤2）中根据改进的椭圆肤色模型对当前帧图像进行肤色检测，具体步骤包括：
2.1）对当前帧图像进行基于伽马变换的自适应光照补偿，并从RGB颜色空间转换到YCbCr颜色空间：
其中，Y为YCbCr颜色空间中的颜色的亮度成分、Cb、Cr分别为YCbCr颜色空间中蓝
色和红色的浓度偏移量成分，R、G、B分别为RGB颜色空间中的红、绿、蓝三个通道的颜色，c为
常数，
为伽马变换系数，
为图像各分量的平均像素值，th0为像素阈值且0≤th0≤255；
2.2）根据椭圆肤色模型对皮肤点进行聚类，椭圆肤色模型如下：
其中，公式（3）中的x为椭圆内的横坐标，y为椭圆内的纵坐标，ecx、ecy为椭圆中心
点的横坐标、纵坐标，a为椭圆长轴，b为椭圆短轴；公式（4）中的θ为椭圆的旋转角度，Cb、Cr
分别为YCbCr颜色空间中蓝色和红色的浓度偏移量成分，
为肤色模型在CbCr坐标系的中
心点横坐标，
为肤色模型在CbCr坐标系的中心点纵坐标；
2.3）根据Y通道亮度值划分不同大小的椭圆模型，以像素是否位于对应亮度的椭圆内判断其是否为皮肤点：
其中，I1(i,j)为肤色区域二值图像素值，Y(i,j)为Y通道像素值，i为图像的行数
索引，j为图像的列数索引，
为Y通道的平均亮度，ecx、ecy为椭圆中心点的横坐标、纵坐
标，a为椭圆长轴，b为椭圆短轴。
优选地，所述的步骤3）中根据ViBe算法对运动目标进行检测，具体步骤包括：
3.1）以第一帧图像初始化背景模型，以
作为点x周围的邻域点集合，构造背
景模型：
其中，
为初始背景模型中的像素点，
为初始原图像中的像素值，
为
点x周围的邻域点集合，y为
中的点。
3.2）背景模型更新。
优选地，所述的步骤4）中具体步骤包括：
4.1）统计运动区域二值图I2的白色像素点数量：
其中，num为运动区域二值图I2的白色像素点数量，M、N分别代表当前帧图像的行高、列宽，i为图像的行数索引，j为图像的列数索引；
4.2）根据I2的白色区域数量进行有无运动目标的判断，th1为阈值：
其中，I2为运动区域二值图，num为I2的白色像素点数量，th1为数量阈值，th1为整数；
4.3）如果当前帧图像存在运动目标，则进行步骤5），若无运动目标，则判断t-1帧图像是否含有矩形框标记，若有，则对t帧图像继续相同位置的标记，若无则返回步骤1）进行t+1帧图像的检测。
优选地，所述的步骤5）中具体步骤包括：
5.1）将I1与 I2进行与运算的融合：
其中，I3为融合二值图，I1为肤色区域二值图，I2为运动区域二值图，i为图像的行数索引，j为图像的列数索引；
5.2）对I3先后进行形态学的开运算与闭运算处理；
5.3）寻找形态学处理后的结果二值图像的连通区域，保留最大连通区域。
优选地，所述的步骤6）中根据霍夫变换对I3进行手腕区域的去除，具体步骤包括：
6.1）对融合二值图I3进行边缘检测，得到I3的轮廓L3；
6.2）对L3进行霍夫变换，得到L3上的直线集合L，包括每条线段的起点、终点；
6.3）计算I3的重心点：
其中，
为重心点的横坐标，
为重心点的纵坐标，(
,
)是像素点的坐标，
是
该点的像素值；
6.4）检测直线集合L中是否有位于重心之下的平行的直线段，若有，则将I3中对应位置的直线起点以下的像素点置0：
其中，I4为手掌区域二值图，x0表示位于重心之下的平行直线段的起点的x坐标，
即
，i为图像的行数索引，j为图像的列数索引。
优选地，所述的步骤7）中具体步骤包括：
7.1）提取手掌区域二值图I4的HOG特征向量H；
7.2） 将H与预设模板的手掌图像的HOG特征向量U进行余弦相似度计算：
其中，H为手掌区域二值图I4的HOG特征向量，U为预设模板的HOG特征向量，Hi为手
掌区域二值图I4的第i个HOG特征向量，Ui为模板的第i个HOG特征向量，n为特征向量个数，i
为整数且
；
7.3）比较余弦相似度与相似度阈值的大小，进行手掌的判断：
其中，I4为手掌区域二值图，th2为相似度阈值 ，th2为常数且-1≤th2≤1。
7.4）使用矩形框对I4手掌区域对应的当前帧图像进行标记。
采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
1、本发明针对非接触成像下的手掌检测问题，采用了基于伽马变换的自适应光照补偿以及根据亮度值以不同大小的椭圆进行分段判断的方式改进了椭圆肤色模型进行肤色检测，得到的区域特征使后续的手掌检测准确率提高；
2、本发明采用了将肤色信息与运动信息相结合的方式，排除了人脸的干扰，并根据运动模型得到的二值图像对是否有运动目标进行判断，解决了手掌停留检测不到的问题；
3、本发明根据直线检测去除可能出现的手腕区域，再根据手掌的形状特征进行最终的手掌区域判断，检出率平均高达99.5%；
4、本发明适用于手掌采集过程中的多种情况，能更加准确的检测出手掌区域，为后续的特征提取与识别奠定了良好基础。
附图说明
图1为本发明的基于视频序列的非接触式手掌检测方法的流程图；
图2为采集的一帧手掌图像；
图3为肤色检测后的二值图像；
图4为运动目标检测后的二值图像；
图5为融合后的二值图像；
图6为形态学处理后的二值图像；
图7为去除手腕区域后的二值图像；
图8为最终的手掌检测结果图像。
具体实施方式
为进一步了解本发明的内容，结合实施例对本发明作详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
结合图1所示，本实施例涉及一种基于视频序列的非接触式手掌检测方法，包括以下步骤：
1）采集非接触成像下的手掌视频图像，第一帧图像为不放置手掌的背景，手掌在第二帧开始放置，每帧大小为M*N的图像，其中M、N分别代表图像的行列数，本实施例中M*N为640*480，如图2所示。
2）使用改进的椭圆肤色模型对每帧图像进行肤色检测，在t帧得到肤色区域二值
图
，如图3所示，具体步骤包括：
2.1）对当前帧图像进行基于伽马变换的自适应光照补偿，并从RGB颜色空间转换到YCbCr颜色空间：
其中，Y为YCbCr颜色空间中的颜色的亮度成分、Cb、Cr分别为YCbCr颜色空间中蓝
色和红色的浓度偏移量成分，R、G、B分别为RGB颜色空间中的红、绿、蓝三个通道的颜色，c为
常数，
为伽马变换系数，
为图像各分量的平均像素值，th0为像素阈值且0≤th0≤255。本
实施例中th0为150；
2.2）根据椭圆肤色模型对皮肤点进行聚类，椭圆肤色模型如下：
其中，公式（3）中的x为椭圆内的横坐标，y为椭圆内的纵坐标，ecx、ecy为椭圆中心
点的横坐标、纵坐标，a为椭圆长轴，b为椭圆短轴；公式（4）中的θ为椭圆的旋转角度，Cb、Cr
分别为YCbCr颜色空间中蓝色和红色的浓度偏移量成分，
为肤色模型在CbCr坐标系的中
心点横坐标，
为肤色模型在CbCr坐标系的中心点纵坐标；
本实施例中
=113，
=155.5，
=2.51，ecx=1.63，ecy=2.44，a=23.20，b=15.2；
2.3）根据Y通道亮度值划分不同大小的椭圆模型，以像素是否位于对应亮度的椭圆内判断其是否为皮肤点：
其中，I1(i,j)为肤色区域二值图像素值，Y(i,j)为Y通道像素值，i为图像的行数
索引，j为图像的列数索引，
为Y通道的平均亮度，ecx、ecy为椭圆中心点的横坐标、纵坐
标，a为椭圆长轴，b为椭圆短轴。
3）使用ViBe算法对运动目标进行检测，在t帧得到运动区域二值图
，如图4所示，
具体步骤包括：
3.1）以第一帧图像初始化背景模型，以
作为点x周围的邻域点集合，构造背
景模型：
其中，
为初始背景模型中的像素点，
为初始原图像中的像素值，
为
点x周围的邻域点集合，y为
中的点。
3.2）背景模型更新。
4）统计t帧运动区域二值图I2的白色像素点个数，并与阈值比较，如果数量大于阈值，则继续进行步骤5），具体步骤包括：
4.1）统计二值图
的白色像素点数量：
其中，num为运动区域二值图I2的白色像素点数量，M、N分别代表当前帧图像的行高、列宽，本实施例中分别为640、480；i为图像的行数索引，j为图像的列数索引；
4.2）根据I2的白色区域面积进行有无运动目标的判断，th1为阈值：
其中，I2为运动区域二值图，num为I2的白色像素点数量，th1为数量阈值，th1为整数，本实施例中th1为1000；
4.3）如果当前帧图像存在运动目标，则进行步骤5），如果不存在运动目标，则判断t-1时刻图像是否含有矩形框标记，若有，则对t帧图像继续相同位置的标记，若无则返回步骤1）进行t+1时刻图像的检测。
5）在t帧将
与
进行融合，得到二值图
，并对其进行形态学处理，保留最大连通
区域，具体步骤包括：
5.1）将I1与 I2进行与运算的融合，如图5所示：
其中，I3为融合二值图，I1为肤色区域二值图，I2为运动区域二值图，i为图像的行数索引，j为图像的列数索引。
5.2）对I3先后进行形态学的开运算与闭运算处理；
5.3）寻找形态学处理后的结果二值图像的连通区域，保留最大连通区域，结果如图6所示。
6）根据霍夫变换对I3进行手腕区域的去除，得到手掌区域二值图
，如图7所示，具
体步骤包括：
6.1）对融合二值图I3进行边缘检测，得到I3的轮廓L3；
6.2）对L3进行霍夫变换，得到L3上的直线集合L，包括每条线段的起点、终点；
6.3）计算I3的重心点：
其中，
为重心点的横坐标，
为重心点的纵坐标，(
,
)是像素点的坐标，
是
该点的像素值；
6.4）检测直线集合L中是否有位于重心之下的平行的直线段，若有，则将I3中对应位置的直线起点以下的像素点置0：
其中，I4为手掌区域二值图，x0表示位于重心之下的平行直线段的起点的x坐标，
即
，i为图像的行数索引，j为图像的列数索引。
7）提取二值图
的HOG特征向量进行手掌区域的最终判断，具体步骤包括：
7.1）提取手掌区域二值图I4的HOG特征向量H；
7.2） 将H与预设模板的手掌图像的HOG特征向量U进行余弦相似度计算：
其中，H为手掌区域二值图I4的HOG特征向量，U为预设模板的HOG特征向量，Hi为手
掌区域二值图I4的第i个HOG特征向量，Ui为模板的第i个HOG特征向量，n为特征向量个数，i
为整数且
；
7.3）比较余弦相似度与相似度阈值的大小，进行手掌的判断：
其中，I4为手掌区域二值图，th2为相似度阈值 ，th2为常数且-1≤th2≤1，本实施例中th2为0.8；
7.4）使用矩形框对I4手掌区域对应的当前帧图像进行标记，如图8所示。
以下是利用本发明的检测方法对不同视频序列的实验结果与分析。
为了验证本发明的一种基于视频序列的非接触式手掌检测方法，采集了四组视频序列，分别为不断移动手掌采集、停留手掌采集、拳头采集以及不放手掌采集，每组采集1000个手掌视频各包含500帧，以此组成实验数据库。基于OpenCV4.1.0以VisualStudio2019为编译软件，所用电脑的操作***为64位Window10，内存8G，主频率2.30GHz。对于每组视频序列分别以本发明所述检测方法及中国专利CN104102347A公开的指尖定位方法检测其手掌区域，检测结果如表1所示。
表1
由表1数据可知，对于第一组及第二组手掌放置的视频图像，本发明方法检出率平均达到99.5%，而指尖定位方法检出率87.4%，第三组及第四组没有手掌放置的视频图像，本发明方法检出均为0，而指尖定位方法有较多误检，可见本发明提出的一种基于视频序列的非接触式手掌检测方法可以有效检测出非接触成像下采集的手掌区域，为后续识别过程提供了良好保障。
上述实施例是对本发明的一个描述实例，所述内容是为了更好地理解本发明，而不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍属于本发明的保护范围。
Claims (4)
1.一种基于视频序列的非接触式手掌检测方法，其特征在于：其包括以下步骤：
1）采集非接触成像下的手掌视频图像，第一帧图像为不放置手掌的背景，从第二帧图像开始放置手掌；
2）对每帧图像进行肤色检测，在t帧得到肤色区域二值图I1；
3）对运动目标进行检测，在t帧得到运动区域二值图I2；
4）统计t帧运动区域二值图I2的白色像素点个数，并与阈值比较，如果数量大于阈值，则继续进行步骤5）；
5）在t帧将肤色区域二值图I1与运动区域二值图I2进行融合，得到融合二值图I3，并对其进行形态学处理，保留最大连通区域；
6）对融合二值图I3进行手腕区域的去除，得到手掌区域二值图I4；
7）提取手掌区域二值图I4的HOG特征进行手掌区域的最终判断；
所述的步骤2）中根据改进的椭圆肤色模型对当前帧图像进行肤色检测，具体步骤包括：
2.1）对当前帧图像进行基于伽马变换的自适应光照补偿，并从RGB颜色空间转换到YCbCr颜色空间：
其中，Y为YCbCr颜色空间中的颜色的亮度成分、Cb、Cr分别为YCbCr颜色空间中蓝色和
红色的浓度偏移量成分，R、G、B分别为RGB颜色空间中的红、绿、蓝三个通道的颜色，c为常
数，
为伽马变换系数，
为图像各分量的平均像素值，th0为像素阈值且0≤th0≤255；
2.2）根据椭圆肤色模型对皮肤点进行聚类，椭圆肤色模型如下：
其中，公式（3）中的x为椭圆内的横坐标，y为椭圆内的纵坐标，ecx、ecy为椭圆中心点的
横坐标、纵坐标，a为椭圆长轴，b为椭圆短轴；公式（4）中的θ为椭圆的旋转角度，Cb、Cr分别
为YCbCr颜色空间中蓝色和红色的浓度偏移量成分，
为肤色模型在CbCr坐标系的中心点
横坐标，
为肤色模型在CbCr坐标系的中心点纵坐标；
2.3）根据Y通道亮度值划分不同大小的椭圆模型，以像素是否位于对应亮度的椭圆内判断其是否为皮肤点：
其中，I1(i,j)为肤色区域二值图像素值，Y(i,j)为Y通道像素值，i为图像的行数索引，j
为图像的列数索引，
为Y通道的平均亮度，ecx、ecy为椭圆中心点的横坐标、纵坐标，a为
椭圆长轴，b为椭圆短轴；
所述的步骤6）中根据霍夫变换对I3进行手腕区域的去除，具体步骤包括：
6.1）对融合二值图I3进行边缘检测，得到I3的轮廓L3；
6.2）对L3进行霍夫变换，得到L3上的直线集合L，包括每条线段的起点、终点；
6.3）计算I3的重心点：
其中，
为重心点的横坐标，
为重心点的纵坐标，(
,
)是像素点的坐标，
是该点
的像素值；
6.4）检测直线集合L中是否有位于重心之下的平行的直线段，若有，则将I3中对应位置的直线起点以下的像素点置0：
其中，I4为手掌区域二值图，x0表示位于重心之下的平行直线段的起点的x坐标，即
，i为图像的行数索引，j为图像的列数索引；
所述的步骤7）中具体步骤包括：
7.1）提取手掌区域二值图I4的HOG特征向量H；
7.2） 将H与预设模板的手掌图像的HOG特征向量U进行余弦相似度计算：
其中，H为手掌区域二值图I4的HOG特征向量，U为预设模板的HOG特征向量，Hi为手掌区
域二值图I4的第i个HOG特征向量，Ui为模板的第i个HOG特征向量，n为特征向量个数，i为整
数且
；
7.3）比较余弦相似度与相似度阈值的大小，进行手掌的判断：
其中，I4为手掌区域二值图，th2为相似度阈值 ，th2为常数且-1≤th2≤1；
7.4）使用矩形框对I4手掌区域对应的当前帧图像进行标记。
2.根据权利要求1所述的一种基于视频序列的非接触式手掌检测方法，其特征在于：所述的步骤3）中根据ViBe算法对运动目标进行检测，具体步骤包括：
3.1）以第一帧图像初始化背景模型，以
作为点x周围的邻域点集合，构造背景模
型：
其中，
为初始背景模型中的像素点，
为初始原图像中的像素值，
为点x周
围的邻域点集合，y为
中的点；
3.2）背景模型更新。
3.根据权利要求1所述的一种基于视频序列的非接触式手掌检测方法，其特征在于：所述的步骤4）中具体步骤包括：
4.1）统计运动区域二值图I2的白色像素点数量：
其中，num为运动区域二值图I2的白色像素点数量，M、N分别代表当前帧图像的行高、列宽，i为图像的行数索引，j为图像的列数索引；
4.2）根据I2的白色区域数量进行有无运动目标的判断：
其中，I2为运动区域二值图，num为I2的白色像素点数量，th1为数量阈值，th1为整数；
4.3）如果当前帧图像存在运动目标，则进行步骤5），若无运动目标，则判断t-1时刻图像是否含有矩形框标记，若有，则对t帧图像继续相同位置的标记，若无则返回步骤1）进行t+1时刻图像的检测。
4.根据权利要求1所述的一种基于视频序列的非接触式手掌检测方法，其特征在于：所述的步骤5）中具体步骤包括：
5.1）将I1与 I2进行与运算的融合：
其中，I3为融合二值图，I1为肤色区域二值图，I2为运动区域二值图，i为图像的行数索引，j为图像的列数索引；
5.2）对I3先后进行形态学的开运算与闭运算处理；
5.3）寻找形态学处理后的结果二值图像的连通区域，保留最大连通区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011499311.9A CN112232332B (zh) | 2020-12-17 | 2020-12-17 | 一种基于视频序列的非接触式手掌检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011499311.9A CN112232332B (zh) | 2020-12-17 | 2020-12-17 | 一种基于视频序列的非接触式手掌检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112232332A CN112232332A (zh) | 2021-01-15 |
| CN112232332B true CN112232332B (zh) | 2021-04-13 |
Family
ID=74124909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011499311.9A Active CN112232332B (zh) | 2020-12-17 | 2020-12-17 | 一种基于视频序列的非接触式手掌检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112232332B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801062B (zh) * | 2021-04-07 | 2021-07-06 | 平安科技（深圳）有限公司 | 直播视频识别方法、装置、设备及介质 |
| CN113128435B (zh) * | 2021-04-27 | 2022-11-22 | 南昌虚拟现实研究院股份有限公司 | 图像中手部区域分割方法、装置、介质及计算机设备 |
| CN113362390B (zh) * | 2021-06-21 | 2023-03-21 | 武汉理工大学 | 一种基于椭圆检测的快速圆形目标定位视频处理方法 |
| CN114694233B (zh) * | 2022-06-01 | 2022-08-23 | 成都信息工程大学 | 一种基于多特征的考场监控视频图像中人脸定位方法 |
| CN115376167B (zh) * | 2022-10-26 | 2023-02-24 | 山东圣点世纪科技有限公司 | 一种复杂背景下的手掌检测方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521567A (zh) * | 2011-11-29 | 2012-06-27 | Tcl集团股份有限公司 | 一种人机交互的指尖检测方法、装置及电视机 |
| CN103714328A (zh) * | 2013-12-31 | 2014-04-09 | 江苏图云智能科技发展有限公司 | 人脸检测的Adaboost算法 |
| CN104167006A (zh) * | 2014-07-10 | 2014-11-26 | 华南理工大学 | 一种任意手形的手势跟踪方法 |
| CN109034016A (zh) * | 2018-07-12 | 2018-12-18 | 辽宁工业大学 | 一种普适性的基于s-cnn模型的手背静脉图像识别方法 |
| CN110008824A (zh) * | 2019-02-20 | 2019-07-12 | 平安科技（深圳）有限公司 | 掌纹识别方法、装置、计算机设备和存储介质 |
| CN111860424A (zh) * | 2020-07-30 | 2020-10-30 | 厦门熵基科技有限公司 | 一种可见光手掌识别模型的训练方法和装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110007806A (ko) * | 2009-07-17 | 2011-01-25 | 삼성전자주식회사 | 카메라를 이용하여 손동작을 인식하는 장치 및 방법 |
| CN101916370B (zh) * | 2010-08-31 | 2012-04-25 | 上海交通大学 | 人脸检测中非特征区域图像处理的方法 |
| KR101868903B1 (ko) * | 2012-01-11 | 2018-06-20 | 한국전자통신연구원 | 손 추적 장치 및 방법 |
| CN103810490B (zh) * | 2014-02-14 | 2017-11-17 | 海信集团有限公司 | 一种确定人脸图像的属性的方法和设备 |
| KR101614798B1 (ko) * | 2014-08-22 | 2016-04-22 | 군산대학교 산학협력단 | 컬러 이미지 분석을 이용한 비접촉 멀티 터치 인식 방법 및 시스템 |
| CN105975903A (zh) * | 2016-04-22 | 2016-09-28 | 安徽大学 | 一种汽车特征识别方法 |
| CN109903275B (zh) * | 2019-02-13 | 2021-05-18 | 湖北工业大学 | 一种基于自适应多尺度滤波和直方图对比的酒醅发霉区域检测方法 |
| CN111104870B (zh) * | 2019-11-27 | 2024-02-13 | 珠海欧比特卫星大数据有限公司 | 基于卫星视频的运动检测方法、装置、设备和存储介质 |
| CN111259866B (zh) * | 2020-03-06 | 2023-07-28 | 大连科技学院 | 一种基于改进背景差分法的海上舰船目标检测方法 |
-
2020
- 2020-12-17 CN CN202011499311.9A patent/CN112232332B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521567A (zh) * | 2011-11-29 | 2012-06-27 | Tcl集团股份有限公司 | 一种人机交互的指尖检测方法、装置及电视机 |
| CN103714328A (zh) * | 2013-12-31 | 2014-04-09 | 江苏图云智能科技发展有限公司 | 人脸检测的Adaboost算法 |
| CN104167006A (zh) * | 2014-07-10 | 2014-11-26 | 华南理工大学 | 一种任意手形的手势跟踪方法 |
| CN109034016A (zh) * | 2018-07-12 | 2018-12-18 | 辽宁工业大学 | 一种普适性的基于s-cnn模型的手背静脉图像识别方法 |
| CN110008824A (zh) * | 2019-02-20 | 2019-07-12 | 平安科技（深圳）有限公司 | 掌纹识别方法、装置、计算机设备和存储介质 |
| CN111860424A (zh) * | 2020-07-30 | 2020-10-30 | 厦门熵基科技有限公司 | 一种可见光手掌识别模型的训练方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| 基于直线检测的手臂去除算法;王凤艳;《电子技术》;20171231;第46卷(第7期);第32页摘要、33页第2节及图2、34页图5 * |
| 基于肤色分割的视频人体检测;王红梅等;《计算机工程与设计》;20111231;第32卷(第3期);第980-982页第3.1节 * |
| 基于肤色椭圆边界模型和改进帧差分算法的手势分割方法;张忠军;《福建电脑》;20181231;第34卷(第5期);第8页第0节、第9页2-4节以及图3-4 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112232332A (zh) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112232332B (zh) | 一种基于视频序列的非接触式手掌检测方法 | |
| Pan et al. | A robust system to detect and localize texts in natural scene images | |
| CN103186775B (zh) | 基于混合描述子的人体运动识别方法 | |
| CN104732200B (zh) | 一种皮肤类型和皮肤问题的识别方法 | |
| CN104680127A (zh) | 手势识别方法及*** | |
| CN111126240B (zh) | 一种三通道特征融合人脸识别方法 | |
| CN103839042B (zh) | 人脸识别方法和人脸识别*** | |
| CN109002799A (zh) | 人脸识别方法 | |
| Monwar et al. | Pain recognition using artificial neural network | |
| Kheirkhah et al. | A hybrid face detection approach in color images with complex background | |
| CN101996317B (zh) | 人体上标记物的识别方法及装置 | |
| CN108256518A (zh) | 文字区域检测方法及装置 | |
| CN107103301A (zh) | 视频目标时空最大稳定性判别性颜色区域匹配方法和*** | |
| Youlian et al. | Face detection method using template feature and skin color feature in rgb color space | |
| CN109753912B (zh) | 一种基于张量的多光谱掌纹匹配方法 | |
| CN116665258A (zh) | 一种手掌图像指缝分割方法 | |
| CN109800771B (zh) | 混合时空平面局部二值模式的自发微表情定位方法 | |
| Işikdoğan et al. | Automatic recognition of Turkish fingerspelling | |
| CN103020631A (zh) | 基于星型模型的人体运动识别方法 | |
| CN115909401A (zh) | 融合深度学习的牛脸识别方法、装置、电子设备和介质 | |
| Yi et al. | Face detection method based on skin color segmentation and facial component localization | |
| Shemshaki et al. | Lip segmentation using geometrical model of color distribution | |
| Ghimire et al. | A lighting insensitive face detection method on color images | |
| CN110956095A (zh) | 一种基于角点肤色检测的多尺度人脸检测方法 | |
| Lakshmi et al. | Plant leaf image detection method using a midpoint circle algorithm for shape-based feature extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210910 Address after: 030032 room 0906, floor 9, building C, qingkong innovation base, No. 529, South Central Street, Taiyuan Xuefu Park, comprehensive reform demonstration zone, Taiyuan, Shanxi Province Patentee after: Holy Point Century Technology Co.,Ltd. Address before: 9 / F, unit 1, building 2, no.41-5, Jinsha North 2nd Road, Jinniu District, Chengdu, Sichuan 610000 Patentee before: Sichuan ShengDian Century Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230330 Address after: Room 2309, 23rd Floor, Qidi Building, No. 99, South Tiancheng Road, High Speed Rail New Town, Xiangcheng District, Suzhou City, Jiangsu Province, 215000 - Work Station A029 (cluster registration) Patentee after: Jiangsu Shengdian Century Technology Co.,Ltd. Address before: 030032 room 0906, floor 9, building C, qingkong innovation base, No. 529, South Central Street, Taiyuan Xuefu Park, comprehensive reform demonstration zone, Taiyuan, Shanxi Province Patentee before: Holy Point Century Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |