CN107066944A - 一种手指指根的定位方法及装置 - Google Patents

一种手指指根的定位方法及装置 Download PDF

Info

Publication number
CN107066944A
CN107066944A CN201710128264.9A CN201710128264A CN107066944A CN 107066944 A CN107066944 A CN 107066944A CN 201710128264 A CN201710128264 A CN 201710128264A CN 107066944 A CN107066944 A CN 107066944A
Authority
CN
China
Prior art keywords
finger
finger tip
line segment
point
rectangle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710128264.9A
Other languages
English (en)
Other versions
CN107066944B (zh
Inventor
崔玉斌
赵晓君
鹿传伍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumavision Technologies Co Ltd
Original Assignee
Beijing Poly Chat Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Poly Chat Network Technology Co Ltd filed Critical Beijing Poly Chat Network Technology Co Ltd
Priority to CN201710128264.9A priority Critical patent/CN107066944B/zh
Publication of CN107066944A publication Critical patent/CN107066944A/zh
Application granted granted Critical
Publication of CN107066944B publication Critical patent/CN107066944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种手指指根的定位方法及装置，该方法包括：获取当前图像中的手部轮廓信息，所述手部轮廓信息包括手掌轮廓、手指轮廓以及指尖；针对每个指尖，以该指尖为起点，确定经该指尖对应的手指轮廓到所述手掌轮廓的底部的射线；将所述射线与手掌轮廓的底部的交点到该指尖之间的线段确定为该指尖对应的线段；以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形，所述预设矩形的长边与该指尖对应的线段正交；根据所述预设矩形中边缘像素点的个数，确定所述预设矩形中是否包含该指尖对应的手指的指根。本发明提供了较准确的定位手指指根的技术方案。

Description

一种手指指根的定位方法及装置
技术领域
本发明涉及手势识别技术领域，尤其涉及一种手指指根的定位方法及装置。
背景技术
人机交互已经成为人们日常生活的一个重要组成部分，特别是近几年，随着计算机技术的迅猛发展，基于手势识别的人机交互技术已经成为研究热点。手势识别，即定义一些手势，计算机通过识别不同的手机来对计算机进行控制。手势控制计算机的方式与其它控制计算机的方式相比较，具有自然性、简洁性和丰富性、直接性的特点。
对于手势识别而言，关键技术在于如何有效地提取手指指尖、掌心在图像中的位置，目前提取掌心、手指指尖的流程为：首先提取出当前图像中的手部轮廓，该手部轮廓包括：手掌轮廓、伸出的手指轮廓；然后确定出手掌的宽度和高度，根据手掌的宽度和高度确定出手掌在当前图像中的位置；之后确定出掌心在当前图像中的位置，并根据当前图像中的极值点作为手指指尖在当前图像中的位置。
虽然现有技术中可以较准确的提取手掌掌心以及指尖，从而利用提取的掌心及指尖进行手势识别，但是，人手是一个多肢节***，每个手指有多个关节，因此，指关节的不同弯曲程度也会对手势识别造成一定程度的影响，尤其是指根，如果能够准确确定出指根在图像中的位置，将会使手势识别的准确度有所提升，但是现有技术中还没有定位指根的技术方案。
发明内容
本发明提供一种手指指根的定位方法及装置，提供了较准确的定位手指指根的技术方案，从而能够在一定程度上对手势识别的准确度的提升有所贡献。
一种手指指根的定位方法，包括：
获取当前图像中的手部轮廓信息，所述手部轮廓信息包括手掌轮廓、手指轮廓以及指尖；
针对每个指尖，以该指尖为起点，确定经该指尖对应的手指轮廓到所述手掌轮廓的底部的射线；
将所述射线与手掌轮廓的底部的交点到该指尖之间的线段确定为该指尖对应的线段；
以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形，所述预设矩形的长边与该指尖对应的线段正交；
根据所述预设矩形中边缘像素点的个数，确定所述预设矩形中是否包含该指尖对应的手指的指根。
所述方法中，每个指尖位于对应的手指轮廓的中轴线上，则以该指尖为起点，确定经该指尖对应的手指轮廓到所述手掌轮廓的底部的射线，具体包括：
以该指尖为起点，经该指尖对应的手指轮廓的中轴线，向所述手掌轮廓的底部做射线。
本发明实施例，以手指轮廓的中轴线为依据做射线，可提高指根定位的准确性
所述方法中，所述设定点到该指尖之间的线段长度与所述射线与手掌轮廓的底部的交点到所述设定点之间的线段长度的比值在设定范围内。
所述方法中，确定所述预设矩形中是否包含该指尖对应的手指的指根，具体包括：
确定所述预设矩形对应的外包络矩形；
根据预设边缘检测算法对所述外包络矩形中的像素点进行边缘检测；
以预设矩形的中心点为起始点，根据mean shift聚类算法，对所述预设矩形中的边缘像素点进行聚类；
确定所述mean shift聚类算法聚类到的边缘像素点个数；
计算所述边缘像素点个数与所述预设矩形中的像素点总个数的比值；
根据所述比值以及预设阈值，确定该指尖对应的手指的指根。
本发明实施例，根据聚类算法得到的边缘像素点个数占预设矩形中像素点总个数的比值确定指根。
所述方法中，根据所述比值以及预设阈值，确定该指尖对应的手指的指根，具体包括：
判断所述比值是否大于所述预设阈值；
若是，根据所述预设矩形中每行所包含的边缘像素点个数确定该指尖对应的手指的指根；
若否，重新选取该指尖对应的线段上的设定点，并执行以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形的步骤。
本发明实施例中，在比值不大于预设阈值时，重新选取设定点并确定预设矩形，从而重新进行指根的定位。
所述方法中，根据所述预设矩形中每行所包含的边缘像素点个数确定该指尖对应的手指的指根，具体包括：
针对所述预设矩形中的每行像素点，确定该行像素点中连续边缘像素点的个数；
提取该行像素点中连续边缘像素点的个数最大值；
按照所述预设矩形中各行像素点中连续边缘像素点的个数最大值由大到小的顺序，选取设定数目行像素点；
将选取的每行像素点顺序连接，得到选取的每行像素点对应的线段；
判断选取的每行像素点对应的线段是否均与该指尖对应的线段正交；
若是，确定所述预设矩形为该指尖对应的手指的指根。
本发明实施例，可以进一步定位出的手指指根的准确性。
所述方法，还包括：
若否，重新选取该指尖对应的线段上的设定点，并执行以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形的步骤。
本发明实施例，可以进一步定位出的手指指根的准确性。
本发明还提供一种手指指根的定位装置，包括：
获取单元，用于获取当前图像中的手部轮廓信息，所述手部轮廓信息包括手掌轮廓、手指轮廓以及指尖；
第一确定单元，用于针对每个指尖，以该指尖为起点，确定经该指尖对应的手指轮廓到所述手掌轮廓的底部的射线；
第二确定单元，用于将所述射线与手掌轮廓的底部的交点到该指尖之间的线段确定为该指尖对应的线段；
第三确定单元，用于以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形，所述预设矩形的长边与该指尖对应的线段正交；
第四确定单元，用于根据所述预设矩形中边缘像素点的个数，确定所述预设矩形中是否包含该指尖对应的手指的指根。
所述装置中，每个指尖位于对应的手指轮廓的中轴线上，则所述第一确定单元，具体用于：
以该指尖为起点，经该指尖对应的手指轮廓的中轴线，向所述手掌轮廓的底部做射线。
所述装置中，所述设定点到该指尖之间的线段长度与所述射线与手掌轮廓的底部的交点到所述设定点之间的线段长度的比值在设定范围内。
所述装置中，所述第四确定单元，具体用于：
确定所述预设矩形对应的外包络矩形；
根据预设边缘检测算法对所述外包络矩形中的像素点进行边缘检测；
以预设矩形的中心点为起始点，根据mean shift聚类算法，对所述预设矩形中的边缘像素点进行聚类；
确定所述mean shift聚类算法聚类到的边缘像素点个数；
计算所述边缘像素点个数与所述预设矩形中的像素点总个数的比值；
根据所述比值以及预设阈值，确定该指尖对应的手指的指根。
所述装置中，所述第四确定单元在根据所述比值以及预设阈值，确定该指尖对应的手指的指根时，具体用于：
判断所述比值是否大于所述预设阈值；
若是，根据所述预设矩形中每行所包含的边缘像素点个数确定该指尖对应的手指的指根；
若否，重新选取该指尖对应的线段上的设定点，并执行以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形的步骤。
所述装置中，所述第四确定单元在根据所述预设矩形中每行所包含的边缘像素点个数确定该指尖对应的手指的指根时，具体用于：
针对所述预设矩形中的每行像素点，确定该行像素点中连续边缘像素点的个数；
提取该行像素点中连续边缘像素点的个数最大值；
按照所述预设矩形中各行像素点中连续边缘像素点的个数最大值由大到小的顺序，选取设定数目行像素点；
将选取的每行像素点顺序连接，得到选取的每行像素点对应的线段；
判断选取的每行像素点对应的线段是否均与该指尖对应的线段正交；
若是，确定所述预设矩形为该指尖对应的手指的指根。
所述装置中，所述第四确定单元，还用于：
若否，重新选取该指尖对应的线段上的设定点，并执行以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形的步骤。
利用本发明实施例提供的手指指根的定位方法及装置，具有以下有益效果：由于指根区域中边缘像素点的个数相对较多、较集中，利用手掌轮廓、手指轮廓以及手指指尖进行几何分析，确定每个手指对应的预设矩形，并根据预设矩形中边缘像素点的个数确定该预设矩形中是否包括手指的指根，从而提供了较准确的定位手指指根的技术方案。
附图说明
图1为本发明实施例提供的手指指根的定位方法流程图；
图2为本发明实施例提供的手部轮廓信息示意图；
图3为本发明实施例提供的确定预设矩形中是否包含指根的方法流程图；
图4为本发明实施例提供的根据比值以及预设阈值确定指根的方法流程图；
图5为本发明实施例提供的根据预设矩形中每行所包含的边缘像素点个数确定该指尖对应的手指的指根的方法流程图；
图6为本发明实施例提供的手指指根的定位装置示意图。
具体实施方式
下面结合附图和实施例对本发明提供的手指指根的定位的方法及装置进行更详细地说明。
本发明实施例提供一种手指指根的定位方法，如图1所示，包括：
步骤101，获取当前图像中的手部轮廓信息，所述手部轮廓信息包括手掌轮廓、手指轮廓以及指尖。
具体的，可采用现有的手部识别算法确定当前图像中的手部轮廓信息。确定出的手部轮廓信息可如图2所示，其中，点1-点5对应的区域为指尖。图2仅为确定出的左手手部轮廓信息的举例。
步骤102，针对每个指尖，以该指尖为起点，确定经该指尖对应的手指轮廓到所述手掌轮廓的底部的射线。
具体的，手掌轮廓的底部为手掌轮廓与手臂轮廓交接的部分，优选为一条直线，如图1中的线段D为手掌轮廓的底部。针对识别出的各个指尖，以该指尖为起点，确定经该指尖对应的手指轮廓到手掌轮廓的底部的射线。其中，每个指尖对应一个手指，即对应一个手指轮廓，比如，左手中指指尖对应的手指轮廓为左手中指轮廓。
步骤103，将所述射线与手掌轮廓的底部的交点到该指尖之间的线段确定为该指尖对应的线段。
具体的，各指尖对应的线段如图2中的L1-L5，其中，L1为拇指指尖对应的线段，L2为食指指尖对应的线段，L3为中指指尖对应的线段，L4为无名指指尖对应的线段，L5为小指指尖对应的线段。
步骤104，以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形，所述预设矩形的长边与该指尖对应的线段正交。
步骤105，根据所述预设矩形中边缘像素点的个数，确定所述预设矩形中是否包含该指尖对应的手指的指根。
具体的，预先确定各个指尖对应的线段上的设定点，并针对每个指尖，以该指尖对应的线段上的设定点为中心，确定一个具有预设长度和预设宽度的预设矩形，该预设矩形的长边与该指尖对应的线段正交，优选地，预设长度为该指尖对应的手指轮廓的宽度，预设宽度为该指尖对应的手指轮廓的宽度的一半，其中，手指轮廓的宽度可通过以下方式计算：取手指轮廓的多个位置的宽度值，计算多个位置的宽度值的均值，作为该手指轮廓的宽度。举例说明，如图2所示，其中食指指尖对应的线段L2上的设定点R2为中心确定的预设矩形(图2中的实线形成的矩形)A2，其中，预设矩形A2的长边与食指指尖对应的线段L2正交。
具体实施时，根据指尖对应的线段上确定的预设矩形中边缘像素点的个数，确定预设矩形中是否包含该指尖对应的手指的指根。
本发明实施例，由于指根区域中边缘像素点的个数相对较多、较集中，利用手掌轮廓、手指轮廓以及手指指尖进行几何分析，确定每个手指对应的预设矩形，并根据预设矩形中边缘像素点的个数确定该预设矩形中是否包括手指的指根，从而提供了较准确的定位手指指根的技术方案。
优选地，每个指尖位于对应的手指轮廓的中轴线上，则以该指尖为起点，确定经该指尖对应的手指轮廓到所述手掌轮廓的底部的射线，具体包括：
以该指尖为起点，经该指尖对应的手指轮廓的中轴线，向所述手掌轮廓的底部做射线。
其中，手指轮廓的中轴线为一指尖为起点向手掌轮廓的底部方向的直线，具体实施时，优选地各个指尖位于对应的手指轮廓的中心位置，即位于对应的手指轮廓的中轴线上，此时，以该指尖为起点，经该指尖对应的手指轮廓的中轴线，向所述手掌轮廓的底部做射线，即取该指尖到手掌轮廓底部方向的该指尖对应的手指轮廓的中轴线对应的射线，从而进一步将该射线与手掌轮廓的底部的交点到该指尖之间的线段确定为该指尖对应的线段。
本优选实施例中，以手指轮廓的中轴线为依据做射线，可提高指根定位的准确性。
优选地，所述设定点到该指尖之间的线段长度与所述射线与手掌轮廓的底部的交点到所述设定点之间的线段长度的比值在设定范围内。
具体的，可根据经验确定设定范围，比如设定范围可以为[0.55,0.7]，也可以为其它范围，这里不做限定。优选地，设定范围为[0.66～0.67]。这种确定比值在设定范围内的方式仅为一种实施方式，作为另一种实施方式，所述设定点到该指尖之间的线段长度与所述射线与手掌轮廓的底部的交点到所述设定点之间的线段长度的比值等于预设值，优选地，该预设值为4/6，即通常人的手指与手掌的比例为4:6。
如图2所示，假设设定点R2到食指指尖之间的线段长度为P1，食指指尖对应的线段与手掌底部的交点Q2到设定点R2之间的线段长度为P2，则P1/P2在设定范围内，或者，P1/P2＝4/6。
利用本发明实施例，可确定指尖对应的线段上的设定点在该线段上的位置，从而为确定预设矩形提供依据。
优选地，确定所述预设矩形中是否包含该指尖对应的手指的指根，如图3所示，具体包括：
步骤201，确定所述预设矩形对应的外包络矩形。
具体的，确定外包络矩形的过程可参见现有技术，这里不做赘述，举例说明，图2中的虚线矩形为图2中的预设矩形的外包络矩形。其中，确定的外包络矩形中的长边与手掌轮廓所在的图像中的任一行像素点平行(即与将任一行像素点连接得到的直线平行)，外包络矩形中的短边与手掌轮廓所在的图像中的任一列像素点平行(即与将任一列像素点连接得到的直线平行)。
步骤202，根据预设边缘检测算法对所述外包络矩形中的像素点进行边缘检测。
具体的，预设边缘检测算法可以为Sobel边缘检测算法，也可以为现有的其它边缘检测算法，这里不做限定，在利用Sobel边缘检测算法进行边缘检测时，以预设矩形的中心(即指尖对应的线段上的设定点)为中心对外包络矩形区域的Sobel边缘检测，从而划分外包络矩形区域内的边缘像素点与非边缘像素点。
步骤203，以预设矩形的中心点为起始点，根据mean shift聚类算法，对所述预设矩形中的边缘像素点进行聚类。
步骤204，确定所述mean shift聚类算法聚类到的边缘像素点个数。
具体的，计算预设矩形中像素点的总个数Sump 2 ix，以预设矩形的中心点(即设定点)为起始点，以预设矩形的宽度(即预设宽度)的一半为mean shift聚类算法的约束边界，对预设矩形中的边缘像素点进行聚类，得到mean shift聚类算法聚类到的边缘像素点个数Sume(即约束边界内的边缘像素点个数)。
步骤205，计算所述边缘像素点个数与所述预设矩形中的像素点总个数的比值。
具体的，确定预设矩形中包含的像素点的总个数Sumpix，并计算Sume/Sumpix。
步骤206，根据所述比值以及预设阈值，确定该指尖对应的手指的指根。
实际应用中，手指指根部分边缘像素点较密集，比值Sume/Sumpix可体现预设矩形中，边缘像素点最密集的区域中的边缘像素点占预设矩形中总像素点的比例，从而根据该比值与预设阈值的比较，判断预设矩形中是否包含指尖对应的手指的指根。本发明实施例，根据聚类算法得到的边缘像素点个数占预设矩形中像素点总个数的比值确定指根。
优选地，根据所述比值以及预设阈值，确定该指尖对应的手指的指根，如图4所示，包括：
步骤301，判断所述比值是否大于所述预设阈值，如果是，执行步骤302，否则，执行步骤303。
步骤302，根据所述预设矩形中每行所包含的边缘像素点个数确定该指尖对应的手指的指根。
步骤303，重新选取该指尖对应的线段上的设定点，并执行以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形的步骤。
具体的，在比值不大于预设阈值的情况下，重新从步骤104开始，执行本发明实施例提供的指根定位方法。需要说明的是，各个指尖对应的线段上的初始设定点是预先选取好的，具体的选取方式参见上文，这里不做赘述。在实际应用场景中，可采用以下方式，重新选取该指尖对应的线段上的设定点：
将第一次选取的设定点在该指尖对应的线段上向指尖方向滑动设定距离；将滑动后的设定点作为重新选取的设定点；和/或，
将第一次选取的设定点在该指尖对应的线段上向手掌方向滑动设定距离；将滑动后的设定点作为重新选取的设定点。
优选地，设定距离为预设矩形的预设宽度的一半，也可以为其它值，这里不做限定。
本发明实施例，在比值不大于预设阈值的情况下，说明预设矩形中不存在指根，此时适当向指尖或者向手掌方向滑动预设矩形(即重新选取设定点)，并重新对滑动后的预设矩形进行边缘点聚类，从而识别出指尖对应的手指的指根。
优选地，根据所述预设矩形中每行所包含的边缘像素点个数确定该指尖对应的手指的指根，如图5所示，具体包括：
步骤401，针对所述预设矩形中的每行像素点，确定该行像素点中连续边缘像素点的个数。
具体的，针对预设矩形中的每行像素点，确定该行像素点中连续出现边缘像素点的个数，该行像素点中连续出现边缘像素点的个数可能为一个也可能为多个，举例说明，假设一行像素点包括1、2、3、4、5、6、7、8，其中1和2为边缘像素点，3为非边缘像素点，4、5、6、7和8为边缘像素点，则该行像素点中连续边缘像素点的个数分别为：2和5。
步骤402，提取该行像素点中连续边缘像素点的个数最大值。
具体的，针对预设矩形中的每行像素点，提取该行像素点中连续出现边缘像素点的个数的最大值，继续沿用上例，上例中一行像素点的个数的最大值为5。从而得到每行像素点中连续出现边缘像素点的个数的最大值。
步骤403，按照所述预设矩形中各行像素点中连续边缘像素点的个数最大值由大到小的顺序，选取设定数目行像素点。
具体实施时，设定数目可以为3也可以为其它数值，这里不做限定。
步骤404，将选取的每行像素点顺序连接，得到选取的每行像素点对应的线段。
具体的，针对选取的每行像素点，从左到右或者从右到左将该行像素点依次连接，得到该行像素点对应的线段。
步骤405，判断选取的每行像素点对应的线段是否均与该指尖对应的线段正交，若是，执行步骤406，否则，执行步骤407。
步骤406，确定所述预设矩形为该指尖对应的手指的指根。
步骤407，重新选取该指尖对应的线段上的设定点，并执行以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形的步骤。
本发明实施例中，当预设矩形中包括多条与指尖对应的线段正交的情况下，确定该预设矩形中包括该指尖对应的手指的指根，否则，重新选取设定点并确定预设矩形，并从以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形的步骤开始，重新进行手指指根的定位。这样可以进一步提高定位出的手指指根的准确性。
基于与上述发明实施例提供的手指指根的定位方法同样的发明构思，本发明实施例还提供一种手指指根的定位装置，如图6所示，包括：
获取单元601，用于获取当前图像中的手部轮廓信息，所述手部轮廓信息包括手掌轮廓、手指轮廓以及指尖；
第一确定单元602，用于针对每个指尖，以该指尖为起点，确定经该指尖对应的手指轮廓到所述手掌轮廓的底部的射线；
第二确定单元603，用于将所述射线与手掌轮廓的底部的交点到该指尖之间的线段确定为该指尖对应的线段；
第三确定单元604，用于以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形，所述预设矩形的长边与该指尖对应的线段正交；
第四确定单元605，用于根据所述预设矩形中边缘像素点的个数，确定所述预设矩形中是否包含该指尖对应的手指的指根。
优选地，所述装置中，每个指尖位于对应的手指轮廓的中轴线上，则所述第一确定单元，具体用于：
以该指尖为起点，经该指尖对应的手指轮廓的中轴线，向所述手掌轮廓的底部做射线。
优选地，所述装置中，所述设定点到该指尖之间的线段长度与所述射线与手掌轮廓的底部的交点到所述设定点之间的线段长度的比值在设定范围内。
优选地，所述装置中，所述第四确定单元，具体用于：
确定所述预设矩形对应的外包络矩形；
根据预设边缘检测算法对所述外包络矩形中的像素点进行边缘检测；
以预设矩形的中心点为起始点，根据mean shift聚类算法，对所述预设矩形中的边缘像素点进行聚类；
确定所述mean shift聚类算法聚类到的边缘像素点个数；
计算所述边缘像素点个数与所述预设矩形中的像素点总个数的比值；
根据所述比值以及预设阈值，确定该指尖对应的手指的指根。
优选地，所述装置中，所述第四确定单元在根据所述比值以及预设阈值，确定该指尖对应的手指的指根时，具体用于：
判断所述比值是否大于所述预设阈值；
若是，根据所述预设矩形中每行所包含的边缘像素点个数确定该指尖对应的手指的指根；
若否，重新选取该指尖对应的线段上的设定点，并执行以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形的步骤。
优选地，所述装置中，所述第四确定单元在根据所述预设矩形中每行所包含的边缘像素点个数确定该指尖对应的手指的指根时，具体用于：
针对所述预设矩形中的每行像素点，确定该行像素点中连续边缘像素点的个数；
提取该行像素点中连续边缘像素点的个数最大值；
按照所述预设矩形中各行像素点中连续边缘像素点的个数最大值由大到小的顺序，选取设定数目行像素点；
将选取的每行像素点顺序连接，得到选取的每行像素点对应的线段；
判断选取的每行像素点对应的线段是否均与该指尖对应的线段正交；
若是，确定所述预设矩形为该指尖对应的手指的指根。
优选地，所述装置中，所述第四确定单元，还用于：
若否，重新选取该指尖对应的线段上的设定点，并执行以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形的步骤。
利用本发明实施例提供的手指指根的定位方法及装置，具有以下有益效果：由于指根区域中边缘像素点的个数相对较多、较集中，利用手掌轮廓、手指轮廓以及手指指尖进行几何分析，确定每个手指对应的预设矩形，并根据预设矩形中边缘像素点的个数确定该预设矩形中是否包括手指的指根，从而提供了较准确的定位手指指根的技术方案。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种手指指根的定位方法，其特征在于，包括：
获取当前图像中的手部轮廓信息，所述手部轮廓信息包括手掌轮廓、手指轮廓以及指尖；
针对每个指尖，以该指尖为起点，确定经该指尖对应的手指轮廓到所述手掌轮廓的底部的射线；
将所述射线与手掌轮廓的底部的交点到该指尖之间的线段确定为该指尖对应的线段；
以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形，所述预设矩形的长边与该指尖对应的线段正交；
根据所述预设矩形中边缘像素点的个数，确定所述预设矩形中是否包含该指尖对应的手指的指根。
2.如权利要求1所述的方法，其特征在于，每个指尖位于对应的手指轮廓的中轴线上，则以该指尖为起点，确定经该指尖对应的手指轮廓到所述手掌轮廓的底部的射线，具体包括：
以该指尖为起点，经该指尖对应的手指轮廓的中轴线，向所述手掌轮廓的底部做射线。
3.如权利要求1所述的方法，其特征在于，所述设定点到该指尖之间的线段长度与所述射线与手掌轮廓的底部的交点到所述设定点之间的线段长度的比值在设定范围内。
4.如权利要求1所述的方法，其特征在于，确定所述预设矩形中是否包含该指尖对应的手指的指根，具体包括：
确定所述预设矩形对应的外包络矩形；
根据预设边缘检测算法对所述外包络矩形中的像素点进行边缘检测；
以预设矩形的中心点为起始点，根据mean shift聚类算法，对所述预设矩形中的边缘像素点进行聚类；
确定所述mean shift聚类算法聚类到的边缘像素点个数；
计算所述边缘像素点个数与所述预设矩形中的像素点总个数的比值；
根据所述比值以及预设阈值，确定该指尖对应的手指的指根。
5.如权利要求4所述的方法，其特征在于，根据所述比值以及预设阈值，确定该指尖对应的手指的指根，具体包括：
判断所述比值是否大于所述预设阈值；
若是，根据所述预设矩形中每行所包含的边缘像素点个数确定该指尖对应的手指的指根；
若否，重新选取该指尖对应的线段上的设定点，并执行以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形的步骤。
6.如权利要求5所述的方法，其特征在于，根据所述预设矩形中每行所包含的边缘像素点个数确定该指尖对应的手指的指根，具体包括：
针对所述预设矩形中的每行像素点，确定该行像素点中连续边缘像素点的个数；
提取该行像素点中连续边缘像素点的个数最大值；
按照所述预设矩形中各行像素点中连续边缘像素点的个数最大值由大到小的顺序，选取设定数目行像素点；
将选取的每行像素点顺序连接，得到选取的每行像素点对应的线段；
判断选取的每行像素点对应的线段是否均与该指尖对应的线段正交；
若是，确定所述预设矩形为该指尖对应的手指的指根。
7.如权利要求6所述的方法，其特征在于，还包括：
若否，重新选取该指尖对应的线段上的设定点，并执行以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形的步骤。
8.一种手指指根的定位装置，其特征在于，包括：
获取单元，用于获取当前图像中的手部轮廓信息，所述手部轮廓信息包括手掌轮廓、手指轮廓以及指尖；
第一确定单元，用于针对每个指尖，以该指尖为起点，确定经该指尖对应的手指轮廓到所述手掌轮廓的底部的射线；
第二确定单元，用于将所述射线与手掌轮廓的底部的交点到该指尖之间的线段确定为该指尖对应的线段；
第三确定单元，用于以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形，所述预设矩形的长边与该指尖对应的线段正交；
第四确定单元，用于根据所述预设矩形中边缘像素点的个数，确定所述预设矩形中是否包含该指尖对应的手指的指根。
9.如权利要求8所述的装置，其特征在于，每个指尖位于对应的手指轮廓的中轴线上，则所述第一确定单元，具体用于：
以该指尖为起点，经该指尖对应的手指轮廓的中轴线，向所述手掌轮廓的底部做射线。
10.如权利要求8所述的装置，其特征在于，所述设定点到该指尖之间的线段长度与所述射线与手掌轮廓的底部的交点到所述设定点之间的线段长度的比值在设定范围内。
11.如权利要求8所述的装置，其特征在于，所述第四确定单元，具体用于：
确定所述预设矩形对应的外包络矩形；
根据预设边缘检测算法对所述外包络矩形中的像素点进行边缘检测；
以预设矩形的中心点为起始点，根据mean shift聚类算法，对所述预设矩形中的边缘像素点进行聚类；
确定所述mean shift聚类算法聚类到的边缘像素点个数；
计算所述边缘像素点个数与所述预设矩形中的像素点总个数的比值；
根据所述比值以及预设阈值，确定该指尖对应的手指的指根。
12.如权利要求11所述的装置，其特征在于，所述第四确定单元在根据所述比值以及预设阈值，确定该指尖对应的手指的指根时，具体用于：
判断所述比值是否大于所述预设阈值；
若是，根据所述预设矩形中每行所包含的边缘像素点个数确定该指尖对应的手指的指根；
若否，重新选取该指尖对应的线段上的设定点，并执行以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形的步骤。
13.如权利要求12所述的装置，其特征在于，所述第四确定单元在根据所述预设矩形中每行所包含的边缘像素点个数确定该指尖对应的手指的指根时，具体用于：
针对所述预设矩形中的每行像素点，确定该行像素点中连续边缘像素点的个数；
提取该行像素点中连续边缘像素点的个数最大值；
按照所述预设矩形中各行像素点中连续边缘像素点的个数最大值由大到小的顺序，选取设定数目行像素点；
将选取的每行像素点顺序连接，得到选取的每行像素点对应的线段；
判断选取的每行像素点对应的线段是否均与该指尖对应的线段正交；
若是，确定所述预设矩形为该指尖对应的手指的指根。
14.如权利要求13所述的装置，其特征在于，所述第四确定单元，还用于：
若否，重新选取该指尖对应的线段上的设定点，并执行以该指尖对应的线段上的设定点为中心，确定一具有预设长度和预设宽度的预设矩形的步骤。
CN201710128264.9A 2017-03-06 2017-03-06 一种手指指根的定位方法及装置 Active CN107066944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710128264.9A CN107066944B (zh) 2017-03-06 2017-03-06 一种手指指根的定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710128264.9A CN107066944B (zh) 2017-03-06 2017-03-06 一种手指指根的定位方法及装置

Publications (2)

Publication Number Publication Date
CN107066944A true CN107066944A (zh) 2017-08-18
CN107066944B CN107066944B (zh) 2019-11-05

Family

ID=59621639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710128264.9A Active CN107066944B (zh) 2017-03-06 2017-03-06 一种手指指根的定位方法及装置

Country Status (1)

Country Link
CN (1) CN107066944B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009054878A2 (en) * 2007-09-11 2009-04-30 University Of Florida Research Foundation Compositions and methods for the treatment of neoplasia
CN104102347A (zh) * 2014-07-09 2014-10-15 东莞万士达液晶显示器有限公司 指尖定位方法及指尖定位终端
CN104346829A (zh) * 2013-07-29 2015-02-11 中国农业机械化科学研究院 基于pmd相机和摄像头的彩色三维重建***及其方法
US20150082478A1 (en) * 2013-08-22 2015-03-19 E I Du Pont De Nemours And Company Plant genome modification using guide rna/cas endonuclease systems and methods of use
CN105835051A (zh) * 2016-04-26 2016-08-10 江南大学 双电机驱动协同控制的欠驱动机械手

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009054878A2 (en) * 2007-09-11 2009-04-30 University Of Florida Research Foundation Compositions and methods for the treatment of neoplasia
CN104346829A (zh) * 2013-07-29 2015-02-11 中国农业机械化科学研究院 基于pmd相机和摄像头的彩色三维重建***及其方法
US20150082478A1 (en) * 2013-08-22 2015-03-19 E I Du Pont De Nemours And Company Plant genome modification using guide rna/cas endonuclease systems and methods of use
CN104102347A (zh) * 2014-07-09 2014-10-15 东莞万士达液晶显示器有限公司 指尖定位方法及指尖定位终端
CN105835051A (zh) * 2016-04-26 2016-08-10 江南大学 双电机驱动协同控制的欠驱动机械手

Also Published As

Publication number Publication date
CN107066944B (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
US9916012B2 (en) Image processing apparatus, image processing method, and program
KR102118408B1 (ko) 터치 감지 디바이스에서 터치 동작을 수행하는 방법
US8934673B2 (en) Image processing method and apparatus for detecting target
KR101514169B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
EP3514724B1 (en) Depth map-based heuristic finger detection method
EP2980755B1 (en) Method for partitioning area, and inspection device
US20120113241A1 (en) Fingertip tracking for touchless user interface
CN109829437A (zh) 图像处理方法、文本识别方法、装置和电子***
WO2019174276A1 (zh) 用于定位目标物体区域中心的图像处理方法、装置、设备和介质
US8638987B2 (en) Image-based hand detection apparatus and method
CN107341473A (zh) 手掌特征识别方法、手掌特征识别设备、及存储介质
CN109829368B (zh) 手掌特征的识别方法、装置、计算机设备及存储介质
CN103488294B (zh) 一种基于用户交互习惯的非接触手势控制映射调整方法
JP2017509062A (ja) 電子機器の制御方法
JP2012053606A (ja) 情報処理装置および方法、並びにプログラム
CN106971131A (zh) 一种基于中心位置的手势识别方法
CN107194938A (zh) 基于深度卷积神经网络的图像轮廓检测方法
CN111414837A (zh) 手势识别方法、装置、计算机设备及存储介质
CN107316022A (zh) 动态手势识别方法和装置
CN106503651A (zh) 一种手势图像的提取方法及***
CN105389541A (zh) 指纹图像的识别方法及装置
CN106970701A (zh) 一种手势变化识别方法
CN106650554A (zh) 静态手势识别方法
CN106980828B (zh) 在手势识别中确定手掌区域的方法、装置及设备
CN111368674B (zh) 图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180508

Address after: 100085 Haidian District, Beijing, Shanghai Information Industry Base Development Road 15, 1 buildings.

Applicant after: BEIJING SUMAVISION TECHNOLOGIES CO., LTD.

Address before: 100085, 6 floor, 1 building, No. 1, Shanghai East Road, Haidian District, Beijing, 602, -6023

Applicant before: Beijing poly chat network technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant