CN103714345B - 一种双目立体视觉检测手指指尖空间位置的方法与*** - Google Patents
一种双目立体视觉检测手指指尖空间位置的方法与*** Download PDFInfo
- Publication number
- CN103714345B CN103714345B CN201310734585.5A CN201310734585A CN103714345B CN 103714345 B CN103714345 B CN 103714345B CN 201310734585 A CN201310734585 A CN 201310734585A CN 103714345 B CN103714345 B CN 103714345B
- Authority
- CN
- China
- Prior art keywords
- hand
- images
- finger tip
- point
- hand images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000005286 illumination Methods 0.000 claims abstract description 57
- 230000033228 biological regulation Effects 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 230000009467 reduction Effects 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 26
- 230000007797 corrosion Effects 0.000 claims description 9
- 238000005260 corrosion Methods 0.000 claims description 9
- 230000003628 erosive effect Effects 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 6
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000004020 luminiscence type Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 5
- 238000012795 verification Methods 0.000 abstract description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明所提供的一种双目立体视觉检测手指指尖空间位置的方法与***，对通过两个摄像头以帧为单位分别获取的手部图像都采用二值化处理去噪后进行图像连通域计算、边界提取、指尖点搜索、指尖匹配及空间坐标还原处理，并在获取下一帧的手部图像前，动态调节检测参数与红外照明光源的光照强度。采用本发明的红外双目视觉***，根据用户手部与摄像头间距离的远近变化动态调节光照强度和指尖检测参数，有效的提高了手指指尖的检测率，使设备的可用范围更大。
Description
技术领域
本发明涉及人机交互领域，尤其涉及的是一种双目立体视觉检测手指指尖空间位置的方法与***。
背景技术
基于双目立体视觉的手势跟踪识别技术常用于构建人机交互***。通过使用两个摄像头对用户的手势进行拍摄，并还原各个手指指尖的三维坐标，为后续的手势跟踪与识别提供有效的数据。在双目立体视觉***中，当用户的手部与摄像头间的距离发生变化时，摄像头获取的手势图像也会相应地产生一些变化，对手势图像进行手指指尖检测时，若不能根据这些变化采取一些调节手段，就会使得检测率下降甚至无法进行检测。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种双目立体视觉检测手指指尖空间位置的方法与***，旨在解决现有技术中红外双目视觉***中指尖检测率不高的问题。
本发明的技术方案如下：
一种双目立体视觉检测手指指尖空间位置的方法，其中，所述方法包括以下步骤：
A、对设置有两个摄像头的红外双目立体视觉***进行标定，并设置初始指尖检测参数值与红外照明光源的光照强度值；
B、通过两个摄像头以帧为单位分别获取第一手部图像与第二手部图像，之后对其先进行二值化处理后再进行形态学去噪处理；
C、对经过形态学去噪处理的二值化第一手部图像和经过形态学去噪处理的二值化第二手部图像进行连通域处理，之后对其先进行手部边界提取后再搜索手部指尖点；
D、匹配从第一手部边界图像和第二手部边界图像搜索得到的各指尖点，之后还原各手指指尖点的三维空间坐标，在获取下一帧的手部图像前，动态调节指尖检测参数与红外照明光源的光照强度。
所述双目立体视觉检测手指指尖空间位置的方法，其中，所述步骤B具体包括：
B1、双目立体视觉***中的两个红外摄像头以帧为单位分别采集第一手部图像和第二手部图像，所述第一手部图像和所述第二手部图像均为红外手势图像；
B2、分别遍历两个红外摄像头所采集的所述第一手部图像和所述第二手部图像后，利用图像二值化处理方法对所述第一手部图像和所述第二手部图像进行二值化处理；
B3、对得到的二值化第一手部图像和二值化第二手部图像采用形态学运算去除噪声，消去所述二值化第一手部图像和所述二值化第二手部图像中的噪声点。
所述双目立体视觉检测手指指尖空间位置的方法，其中，所述步骤C具体包括：
C1、对经过形态学去噪处理的二值化第一手部图像和二值化第二手部图像进行连通域判别，并在所有连通域中只保留最大的连通区域，所述最大的连通区域是手部区域，即得到第一手部区域和第二手部区域；
C2、对所述第一手部区域和第二手部区域进行手部边界提取，得到第一手部边界图像和第二手部边界图像；
C3、沿着所述第一手部边界图像和所述第二手部边界图像的手部边界搜索所有手指的指尖点。
所述双目立体视觉检测手指指尖空间位置的方法，其中，所述步骤D具体包括：
D1、利用手指顺序约束法穷举出所述第一手部边界图像和所述第二手部边界图像中各指尖点之间的所有匹配组合后，确定正确匹配组合；
D2、结合双目立体视觉***的标定参数，还原出各指尖点在三维空间中的位置坐标；
D3、获取下一帧的手部图像前，动态调节指尖检测参数与红外照明光源的光照强度。
所述双目立体视觉检测手指指尖空间位置的方法，其中，所述步骤B2具体包括：
B21、设定一灰度阈值T1；
B22、遍历所述第一手部图像和第二手部图像，若图像中某个像素的灰度大于T1，则将其标识为前景物体像素；否则将其标识为背景物体像素。
所述双目立体视觉检测手指指尖空间位置的方法，其中，所述步骤C2具体包括：
C21、对所述第一手部区域和所述第二手部区域分别以方形结构元素进行形态学腐蚀，其中形态学腐蚀如下式所示：,其中fHand分别为第一手部区域和第二手部区域，E为结构元素，为形态学腐蚀运算符，fErode为腐蚀后的结果；
C22、用fHand减去腐蚀的结果即可得到手部图像的边界，即，其中“-”表示逐像素相减，fEdge为得到的手部边界图像。
一种双目立体视觉检测手指指尖空间位置的***，其中，包括：
初始化模块，用于对红外双目立体视觉***进行标定，并设置初始指尖检测参数值与红外照明光源的光照强度值；
第一处理模块，用于通过两个摄像头以帧为单位分别获取第一手部图像与第二手部图像，之后对其先进行二值化处理后再进行形态学去噪处理；
第二处理模块，用于对经过形态学去噪处理的二值化第一手部图像和经过形态学去噪处理的二值化第二手部图像进行连通域处理，并对其先进行手部边界提取后再搜索手部指尖点；
第三处理模块，用于匹配从第一手部边界图像和第二手部边界图像搜索得到的各指尖点，之后还原各手指指尖点的三维空间坐标，在获取下一帧的手部图像前，动态调节指尖检测参数与红外照明光源的光照强度。
所述双目立体视觉检测手指指尖空间位置的***，其中，所述第一处理模块包括：
图像获取单元，用于双目立体视觉***中的两个红外摄像头以帧为单位分别采集第一手部图像和第二手部图像，所述第一手部图像和所述第二手部图像均为红外手势图像；
二值化处理单元，用于分别遍历两个红外摄像头所采集的所述第一手部图像和所述第二手部图像后，利用图像二值化处理方法对所述第一手部图像和所述第二手部图像进行二值化处理；
去噪单元，用于对得到的二值化第一手部图像和二值化第二手部图像采用形态学运算去除噪声，消去所述二值化第一手部图像和所述二值化第二手部图像中的噪声点。
所述双目立体视觉检测手指指尖空间位置的***，其中，所述第二处理模块包括：
手部图像连通域处理单元，用于对经过形态学去噪处理的二值化第一手部图像和二值化第二手部图像进行连通域判别，并在所有连通域中只保留最大的连通区域，所述最大的连通区域是手部区域，即得到第一手部区域和第二手部区域；
边界提取单元，用于对所述第一手部区域和第二手部区域进行手部边界提取，得到第一手部边界图像和第二手部边界图像；
指尖点搜索单元，用于沿着所述第一手部边界图像和所述第二手部边界图像的手部边界搜索所有手指的指尖点。
所述双目立体视觉检测手指指尖空间位置的***，其中，所述第三处理模块包括：
指尖匹配单元，用于利用手指顺序约束法穷举出所述第一手部边界图像和所述第二手部边界图像中各指尖点之间的所有匹配组合后，确定正确匹配组合；
空间坐标还原单元，用于结合双目立体视觉***的标定参数，还原出各指尖点在三维空间中的位置坐标；
参数调节单元，用于在获取下一帧的手部图像前，动态调节指尖检测参数与红外照明光源的光照强度。
本发明所提供的一种双目立体视觉检测手指指尖空间位置的方法与***，对通过两个摄像头以帧为单位分别获取的手部图像都采用二值化处理去噪后进行图像连通域计算、边界提取、指尖点搜索、指尖匹配及空间坐标还原处理，并在在获取下一帧的手部图像前，动态调节指尖检测参数与红外照明光源的光照强度。采用本发明的红外双目视觉***，根据用户与摄像头间距离的远近变化动态调节光照强度和指尖检测参数，有效的提高了手指指尖的检测率，使设备的可用范围更大。
附图说明
图1为本发明提供的一种双目立体视觉检测手指指尖空间位置的方法的较佳实施例步骤流程图。
图2为红外手势图像的典型示例图像。
图3为对图2进行二值化处理后的得到的二值图像。
图4为对图3的二值图像进行形态学去噪后的去噪图像。
图5为对图4的去噪图像进行边界提取后的手部边界图像。
图6为对图5的手边界图像进行指尖点确定的示例图像。
图7a、图7b为本发明较佳实施例提供的第一和第二手部边界图像指尖点确定后标记匹配的图像。
图8为本发明提供的一种双目立体视觉检测手指指尖空间位置的方法的较佳实施例结构框图。
图9为图8中第一处理模块的结构框图。
图10为图8中第二处理模块的结构框图。
图11为图8中第三处理模块的结构框图。
具体实施方式
本发明提供在双目立体视觉中检测手指指尖空间位置的方法与***，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合图1对本发明所述双目立体视觉检测手指指尖空间位置的方法说明，其中，图1是本发明提供的双目立体视觉检测手指指尖空间位置的方法的较佳实施例步骤流程图。
步骤S101、对设置有两个摄像头的红外双目立体视觉***进行标定，并设置初始指尖检测参数值k0与红外照明光源的光照强度值I0；
步骤S102、通过两个摄像头以帧为单位分别获取第一手部图像与第二手部图像，之后对其先进行二值化处理后再进行形态学去噪处理；
步骤S103、对经过形态学去噪处理的二值化第一手部图像和经过形态学去噪处理的二值化第二手部图像进行连通域处理，之后对其先进行手部边界提取后再搜索手部指尖点；
步骤S104、匹配从第一手部边界图像和第二手部边界图像搜索得到的各指尖点，之后还原各手指指尖点的三维空间坐标，在获取下一帧的手部图像前，动态调节指尖检测参数K与红外照明光源的光照强度I。
在步骤S102中，在获取第一手部图像和第二手部图像后，对其分别进行二值化处理和形态学去噪处理，其包括步骤：
S201、双目立体视觉***中的两个红外摄像头以帧为单位分别采集第一手部图像和第二手部图像，所述第一手部图像和所述第二手部图像均为红外手势图像；
S202、分别遍历两个红外摄像头所采集的所述第一手部图像和所述第二手部图像后，利用图像二值化处理方法对所述第一手部图像和所述第二手部图像进行二值化处理；
S203、对得到的二值化第一手部图像和二值化第二手部图像采用形态学运算去除噪声，消去所述二值化第一手部图像和所述二值化第二手部图像中的噪声点。
步骤S201中，是在红外照明光源的照射下，用红外摄像头对用户的手部进行拍摄。第一红外摄像头拍摄得到的图像为第一手部图像，第二红外摄像头拍摄得到的图像为第二手部图像。其中，红外手势图像的典型示例如图2所示，由于红外照明光源可发出某个波段的红外光用于照明，而第一红外摄像头与第二红外摄像头的镜头应覆有与红外照明光源的发光波段相对应的带通滤光片，即只允许与红外照明光源处于相同波段的红外光通过摄像头成像，其余波段的光被截止。
步骤S202中，对两个红外摄像头采集的所述第一手部图像和第二手部图像分别进行二值化处理时，其包括步骤：
S2021、设定一灰度阈值T1；
S2022、遍历所述第一手部图像和第二手部图像，若图像中某个像素的灰度大于T1，则将其标识为前景物体像素；否则将其标识为背景物体像素。
二值化处理如公式1所示：
(1)
其中，(x,y)为像素位置坐标，fb为红外灰度图像二值化结果，f为红外灰度图像，在fb中，像素值为1的像素为前景目标像素，像素值为0的像素为背景像素，图3所示为对图2进行二值化处理后得到的二值图像，第一手部图像和第二手部图像都进行二值化处理，图像中白色部分即为前景物体像素，黑色部分即为背景像素。
步骤S2021中的阈值T1可以根据实验结果和经验手动设置，也可以采用自适应阈值，此处不再赘述。
步骤S203中，对得到的二值第一手部图像和第二手部图像中可能会存在杂散的噪声点，为了去除这些噪声点，可以对二值图像执行形态学开运算和闭运算，如图4所示，为对图3的二值图像进行形态学去噪后的去噪图像。形态学去噪如下公式2所示：
（2）
其中，fm为形态学去噪后得到的图像，fb为公式1中得到的红外灰度图像二值化结果，E为结构元素，和分别为开运算符号和闭运算符号。
在步骤S103中，在对二值图像进行形态学去噪处理后，进行图像连通域计算、边界提取、指尖点搜索，其包括步骤：
S301、对经过形态学去噪处理的二值化第一手部图像和二值化第二手部图像进行连通域判别，并在所有连通域中只保留最大的连通区域，所述最大的连通区域是手部区域，即得到第一手部区域和第二手部区域；
S302、对所述第一手部区域和第二手部区域进行手部边界提取，得到第一手部边界图像和第二手部边界图像；
S303、沿着所述第一手部边界图像和所述第二手部边界图像的手部边界搜索所有手指的指尖点。
步骤S302中，对所述第一手部区域和第二手部区域进行手部边界提取时，其包括步骤：
S3021、对所述第一手部区域和第二手部区域分别以3×3方形结构元素进行形态学腐蚀，其中形态学腐蚀如公式3所示：
(3)
其中，fHand分别为第一手部区域和第二手部区域，E为结构元素，为形态学腐蚀运算符，fErode为腐蚀后的结果;
S3202、用fHand减去腐蚀的结果即可得到手部图像的边界，即，其中“-”表示逐像素相减，fEdge为得到的手部边界图像。
对去噪图像进行上述边界提取处理后，即可得到边界图像，如图5所示，为对图4的去噪图像进行边界提取后的手部边界图像。
步骤S303中，在得到手部边界图像后，可沿着手部边界搜索手指的指尖点，若手部边界上的第i个像素点Pi是指尖点，则其应满足以下三个条件：
条件1、设点Pi之前的第k个边界点为Pi-k，后面的第k个边界点为Pi+k,则
(4)
且式4中，应小于一设定的阈值T2，其中-1<T2<1,和分别为Pi-k到Pi点的向量和从Pi点到Pi+k点的向量，k的取值与图像的分辨率、图像中手部区域的大小有关，T2的取值则由实验决定；
条件2、Ai=min Aj，j为从i-k到i+k之间包括两端点的所有整数值，即Ai是局部极小值；
条件3、Pi-k和Pi+k的连线的中点应处于手部区域内。
在对手部边界图像进行指尖搜索时，遵循条件1-3，直至找出所有指尖点为止，如图6所示为对图5的手边界图像进行指尖点确定的示例图像，图中B为手部边界图像的起始点，E为手部边界图像的终止点，Pm为搜索到的一个指尖点，Pm’为Pm-k与Pm+k连线的中点。
在步骤S104中，在搜索所有指尖点后，其包括步骤：
S401、利用手指顺序约束法穷举出所述第一手部边界图像和所述第二手部边界图像中各指尖点之间的所有匹配组合后，确定正确匹配组合；
S402、结合双目立体视觉***的标定参数，还原出各指尖点在三维空间中的位置坐标；
S403、获取下一帧的手部图像前，动态调节指尖检测参数K与红外照明光源的光照强度I。
步骤S401中，如图7a所示，为本发明较佳实施例提供的第一手部边界图像指尖点确定后标记匹配的图像，提取所述第一手部边界图像的5个指尖点，分别记为1、2、3、4、5，如图7b所示，为本发明较佳实施例提供的第二手部边界图像指尖点确定后标记匹配的图像，分别记为1’、2’、3’、4’、5’，其正确的匹配组合为1-1’，2-2’，3-3’，4-4’，5-5’。
在步骤S401之后，即可对所有正确匹配的指尖进行空间坐标还原的处理。在空间坐标还原的处理中可根据同一指尖点在两个红外摄像头分别拍摄的第一手部图像和第二手部图像中的图像坐标，结合双目立体视觉***的标定参数，还原出该指尖点在三维空间中的位置坐标，重复此处理，直到得到图像中所有指尖点的三维空间位置。
步骤S403中，指尖检测参数K动态调节时，其值可按式5计算：
(5)
其中，k0为步骤S101中设置的初始指尖检测参数值，d0是在K设置为k0检测到的所有指尖点到摄像头间的距离的平均值，而d则是手部在任意位置时检测到的所有指尖点到摄像头间的距离的平均值。可见K值与图像中手部区域的大小有关，当手部距离摄像头很近时，则拍摄的图像中手部区域较大，此时需要设置较大的K值，当手部距离摄像头很远时，则只需设置较小的K值，故K值根据手部离摄像头的距离来动态调节，有效的提高了指尖的检测率。
步骤S403中，红外照明光源的位置一般固定在摄像头旁边，若红外照明光源的光照强度保持不变，则当手部距离摄像头较近时，整幅图像会过亮；当手部距离摄像头较远时，对手部的照明又会显得不足，手部区域过暗。这两种情况都会给图像中手部区域的提取带来困难，故需对光照强度I进行动态调节，动态调节其值可按式6计算：
(6)
其中，I0为步骤S101中设置的初始光照强度值，d0是在I设置为I0时检测到的所有指尖点到摄像头间的距离的平均值，而d则是手部在任意位置时检测到的所有指尖点到摄像头间的距离的平均值。可见I值与手部和摄像头间的距离大小有关，当手部距离摄像头较近时降低光照强度，当手部距离摄像头较远时则提高光照强度。通过此方式对红外照明光源的光照强度进行动态调节，可以增大双目立体视觉***的适应范围。
基于上述方法，本发明还提供了一种双目立体视觉检测手指指尖空间位置的***，如图8所示，双目立体视觉***100包括：
初始化模块110，用于对红外双目立体视觉***进行标定，并设置初始检测参数值k0与红外照明光源的光照强度值I0；
第一处理模块120，用于通过两个摄像头以帧为单位分别获取第一手部图像与第二手部图像，之后对其先进行二值化处理后再进行形态学去噪处理；
第二处理模块130，用于对经过形态学去噪处理的二值化第一手部图像和经过形态学去噪处理的二值化第二手部图像进行连通域处理，之后对其先进行手部边界提取后再搜索手部指尖点；
第三处理模块140，用于匹配从第一手部边界图像和第二手部边界图像搜索得到的各指尖点，之后还原各手指指尖点的三维空间坐标，在获取下一帧的手部图像前，动态调节指尖检测参数K与红外照明光源的光照强度I。
进一步地实施例，如图9所示，所述第一处理模块120包括：
图像获取单元121，用于双目立体视觉***中的两个红外摄像头以帧为单位分别采集第一手部图像和第二手部图像，所述第一手部图像和所述第二手部图像均为红外手势图像；
二值化处理单元122，用于分别遍历两个红外摄像头所采集的所述第一手部图像和所述第二手部图像后，利用图像二值化处理方法对所述第一手部图像和所述第二手部图像进行二值化处理；
去噪单元123，用于对得到的二值化第一手部图像和二值化第二手部图像采用形态学运算去除噪声，消去所述二值化第一手部图像和所述二值化第二手部图像中的噪声点。
进一步地实施例，如图10所示，所述第二处理模块130包括：
手部图像连通域处理单元131，用于对经过形态学去噪处理的二值化第一手部图像和二值化第二手部图像进行连通域判别，并在所有连通域中只保留最大的连通区域，所述最大的连通区域是手部区域，即得到第一手部区域和第二手部区域；
边界提取单元132，用于对所述第一手部区域和第二手部区域进行手部边界提取，得到第一手部边界图像和第二手部边界图像；
指尖点搜索单元133，用于沿着所述第一手部边界图像和所述第二手部边界图像的手部边界搜索所有手指的指尖点。
进一步地实施例，如图11所示，所述第三处理模块140包括：
指尖匹配单元141，用于利用手指顺序约束法穷举出所述第一手部边界图像和所述第二手部边界图像中各指尖点之间的所有匹配组合后，确定正确匹配组合；
空间坐标还原单元142，用于结合双目立体视觉***的标定参数，还原出各指尖点在三维空间中的位置坐标；
参数动态调节单元143，用于在获取下一帧的手部图像前，动态调节指尖检测参数K与红外照明光源的光照强度I。
综上所述，本发明所提供的一种双目立体视觉检测手指指尖空间位置的方法与***，对通过两个摄像头以帧为单位分别获取的手部图像都采用二值化处理去噪后进行图像连通域计算、边界提取、指尖点搜索、指尖匹配及空间坐标还原处理，并在在获取下一帧的手部图像前，动态调节指尖检测参数与红外照明光源的光照强度。采用本发明的红外双目视觉***，根据用户手部与摄像头间距离的远近变化动态调节光照强度和指尖检测参数，有效的提高了手指指尖的检测率，使设备的可用范围更大。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (8)
1.一种双目立体视觉检测手指指尖空间位置的方法，其特征在于，所述方法包括以下步骤：
A、对设置有两个摄像头的红外双目立体视觉***进行标定，并设置初始指尖检测参数值与红外照明光源的光照强度值；
B、通过两个摄像头以帧为单位分别获取第一手部图像与第二手部图像，之后对其先进行二值化处理后再进行形态学去噪处理；
C、对经过形态学去噪处理的二值化第一手部图像和经过形态学去噪处理的二值化第二手部图像进行连通域处理，之后对其先进行手部边界提取后再搜索手部指尖点；
D、匹配从第一手部边界图像和第二手部边界图像搜索得到的各指尖点，之后还原各手指指尖点的三维空间坐标，在获取下一帧的手部图像前，动态调节指尖检测参数与红外照明光源的光照强度；
所述步骤C具体包括：
C1、对经过形态学去噪处理的二值化第一手部图像和二值化第二手部图像进行连通域判别，并在所有连通域中只保留最大的连通区域，所述最大的连通区域是手部区域，即得到第一手部区域和第二手部区域；
C2、对所述第一手部区域和第二手部区域进行手部边界提取，得到第一手部边界图像和第二手部边界图像；
C3、沿着所述第一手部边界图像和所述第二手部边界图像的手部边界搜索所有手指的指尖点；
所述步骤C2具体包括：
C21、对所述第一手部区域和所述第二手部区域分别以3×3方形结构元素进行形态学腐蚀，其中形态学腐蚀如下式所示：,其中fHand分别为第一手部区域和第二手部区域，E为结构元素，为形态学腐蚀运算符，fErode为腐蚀后的结果；
C22、用fHand减去腐蚀的结果即可得到手部图像的边界，即，其中“-”表示逐像素相减，fEdge为得到的手部边界图像；
所述动态调节指尖检测参数的方法为：
指尖检测参数K动态调节时，其值可按此公式计算： ，
其中，k0为步骤S101中设置的初始指尖检测参数值，d0是在K设置为k0检测到的所有指尖点到摄像头间的距离的平均值，d是手部在任意位置时检测到的所有指尖点到摄像头间的距离的平均值；
步骤C3中，在得到手部边界图像后，沿着手部边界搜索手指的指尖点，若手部边界上的第i个像素点Pi是指尖点，则Pi应满足以下三个条件：
条件1、设点Pi之前的第k个边界点为Pi-k，之后的第k个边界点为Pi+k,则
其中，应小于一设定的阈值T2，其中-1<T2<1, 和分别为Pi-k到Pi点的向量和从Pi点到Pi+k点的向量；
条件2、Ai=min Aj，j为从i-k到i+k之间包括两端点的所有整数值，即Ai是局部极小值；
条件3、Pi-k和Pi+k的连线的中点应处于手部区域内；
两个摄像头的镜头覆有与红外照明光源的发光波段相对应的带通滤光片。
2.根据权利要求1所述双目立体视觉检测手指指尖空间位置的方法，其特征在于，所述步骤B具体包括：
B1、双目立体视觉***中的两个红外摄像头以帧为单位分别采集第一手部图像和第二手部图像，所述第一手部图像和所述第二手部图像均为红外手势图像；
B2、分别遍历两个红外摄像头所采集的所述第一手部图像和所述第二手部图像后，利用图像二值化处理方法对所述第一手部图像和所述第二手部图像进行二值化处理；
B3、对得到的二值化第一手部图像和二值化第二手部图像采用形态学运算去除噪声，消去所述二值化第一手部图像和所述二值化第二手部图像中的噪声点。
3.根据权利要求1所述双目立体视觉检测手指指尖空间位置的方法，其特征在于，所述步骤D具体包括：
D1、利用手指顺序约束法穷举出所述第一手部边界图像和所述第二手部边界图像中各指尖点之间的所有匹配组合后，确定正确匹配组合；
D2、结合双目立体视觉***的标定参数，还原出各指尖点在三维空间中的位置坐标；
D3、获取下一帧的手部图像前，动态调节指尖检测参数与红外照明光源的光照强度。
4.根据权利要求2所述双目立体视觉检测手指指尖空间位置的方法，其特征在于，所述步骤B2具体包括：
B21、设定一灰度阈值T1；
B22、遍历所述第一手部图像和第二手部图像，若图像中某个像素的灰度大于T1，则将其标识为前景物体像素；否则将其标识为背景物体像素。
5.一种双目立体视觉检测手指指尖空间位置的***，其特征在于，包括：
初始化模块，用于对红外双目立体视觉***进行标定，并设置初始指尖检测参数值与红外照明光源的光照强度值；
第一处理模块，用于通过两个摄像头以帧为单位分别获取第一手部图像与第二手部图像，之后对其先进行二值化处理后再进行形态学去噪处理；
第二处理模块，用于对经过形态学去噪处理的二值化第一手部图像和经过形态学去噪处理的二值化第二手部图像进行连通域处理，之后对其先进行手部边界提取后再搜索手部指尖点；
第三处理模块，用于匹配从第一手部边界图像和第二手部边界图像搜索得到的各指尖点，之后还原各手指指尖点的三维空间坐标，在获取下一帧的手部图像前，动态调节指尖检测参数与红外照明光源的光照强度；
所述手部边界提取包括：以3×3方形结构元素进行形态学腐蚀;
所述动态调节指尖检测参数的方法为：
指尖检测参数K动态调节时，其值可按此公式计算： ，
其中，k0为步骤S101中设置的初始指尖检测参数值，d0是在K设置为k0检测到的所有指尖点到摄像头间的距离的平均值，d是手部在任意位置时检测到的所有指尖点到摄像头间的距离的平均值；
在得到手部边界图像后，沿着手部边界搜索手指的指尖点，若手部边界上的第i个像素点Pi是指尖点，则Pi应满足以下三个条件：
条件1、设点Pi之前的第k个边界点为Pi-k，之后的第k个边界点为Pi+k, 则
其中，应小于一设定的阈值T2，其中-1<T2<1, 和分别为Pi-k到Pi点的向量和从Pi点到Pi+k点的向量；
条件2、Ai=min Aj，j为从i-k到i+k之间包括两端点的所有整数值，即Ai是局部极小值；
条件3、Pi-k和Pi+k的连线的中点应处于手部区域内；
两个摄像头的镜头覆有与红外照明光源的发光波段相对应的带通滤光片。
6.根据权利要求5所述双目立体视觉检测手指指尖空间位置的***，其特征在于，所述第一处理模块包括：
图像获取单元，用于双目立体视觉***中的两个红外摄像头以帧为单位分别采集第一手部图像和第二手部图像，所述第一手部图像和所述第二手部图像均为红外手势图像；
二值化处理单元，用于分别遍历两个红外摄像头所采集的所述第一手部图像和所述第二手部图像后，利用图像二值化处理方法对所述第一手部图像和所述第二手部图像进行二值化处理；
去噪单元，用于对得到的二值化第一手部图像和二值化第二手部图像采用形态学运算去除噪声，消去所述二值化第一手部图像和所述二值化第二手部图像中的噪声点。
7.根据权利要求5所述双目立体视觉检测手指指尖空间位置的***，其特征在于，所述第二处理模块包括：
手部图像连通域处理单元，用于对经过形态学去噪处理的二值化第一手部图像和二值化第二手部图像进行连通域判别，并在所有连通域中只保留最大的连通区域，所述最大的连通区域是手部区域，即得到第一手部区域和第二手部区域；
边界提取单元，用于对所述第一手部区域和第二手部区域进行手部边界提取，得到第一手部边界图像和第二手部边界图像；
指尖点搜索单元，用于沿着所述第一手部边界图像和所述第二手部边界图像的手部边界搜索所有手指的指尖点。
8.根据权利要求5所述双目立体视觉检测手指指尖空间位置的***，其特征在于，所述第三处理模块包括：
指尖匹配单元，用于利用手指顺序约束法穷举出所述第一手部边界图像和所述第二手部边界图像中各指尖点之间的所有匹配组合后，确定正确匹配组合；
空间坐标还原单元，用于结合双目立体视觉***的标定参数，还原出各指尖点在三维空间中的位置坐标；
参数调节单元，用于在获取下一帧的手部图像前，动态调节指尖检测参数与红外照明光源的光照强度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310734585.5A CN103714345B (zh) | 2013-12-27 | 2013-12-27 | 一种双目立体视觉检测手指指尖空间位置的方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310734585.5A CN103714345B (zh) | 2013-12-27 | 2013-12-27 | 一种双目立体视觉检测手指指尖空间位置的方法与*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103714345A CN103714345A (zh) | 2014-04-09 |
| CN103714345B true CN103714345B (zh) | 2018-04-06 |
Family
ID=50407302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310734585.5A Expired - Fee Related CN103714345B (zh) | 2013-12-27 | 2013-12-27 | 一种双目立体视觉检测手指指尖空间位置的方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103714345B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016145625A1 (en) * | 2015-03-18 | 2016-09-22 | Xiaoou Tang | 3d hand pose recovery from binocular imaging system |
| KR101741691B1 (ko) * | 2015-06-30 | 2017-05-30 | 현대자동차주식회사 | 차량 및 그 제어방법 |
| CN105892637A (zh) * | 2015-11-25 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 手势识别方法及虚拟现实显示输出设备 |
| CN106485207B (zh) * | 2016-09-21 | 2019-11-22 | 清华大学 | 一种基于双目视觉图像的指尖检测方法及*** |
| CN106643567B (zh) * | 2016-12-08 | 2019-03-01 | 广州汽车集团股份有限公司 | 一种车道偏移***产线标定板的校验方法及*** |
| CN107133967B (zh) * | 2017-05-05 | 2019-06-28 | 杭州远舟医疗科技有限公司 | 提取目标图像的方法及装置 |
| CN107514745A (zh) * | 2017-08-03 | 2017-12-26 | 上海斐讯数据通信技术有限公司 | 一种智能空调立体视觉定位的方法及*** |
| CN108089753B (zh) * | 2017-12-28 | 2021-03-09 | 安徽慧视金瞳科技有限公司 | 一种利用Faster-RCNN对指尖位置进行预测的定位方法 |
| WO2020010544A1 (zh) | 2018-07-11 | 2020-01-16 | 深圳市大疆创新科技有限公司 | 照明设备控制方法、设备、飞行器及*** |
| CN109753554B (zh) * | 2019-01-14 | 2021-03-30 | 广东小天才科技有限公司 | 一种基于三维空间定位的搜索方法及家教设备 |
| CN111721259B (zh) * | 2020-06-24 | 2022-05-03 | 江苏科技大学 | 基于双目视觉的水下机器人回收定位方法 |
| CN112215134A (zh) * | 2020-10-10 | 2021-01-12 | 北京华捷艾米科技有限公司 | 手势跟踪方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8750624B2 (en) * | 2010-10-19 | 2014-06-10 | Doron Kletter | Detection of duplicate document content using two-dimensional visual fingerprinting |
| CN103217857B (zh) * | 2013-03-27 | 2015-07-15 | 深圳市优威视讯科技有限公司 | 狩猎相机及其照明自动调节***和调节方法 |
-
2013
- 2013-12-27 CN CN201310734585.5A patent/CN103714345B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN103714345A (zh) | 2014-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103714345B (zh) | 一种双目立体视觉检测手指指尖空间位置的方法与*** | |
| JP6079832B2 (ja) | ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法 | |
| CN106446873B (zh) | 人脸检测方法及装置 | |
| CN104598915B (zh) | 一种手势识别方法与装置 | |
| CN104380729B (zh) | 摄像机参数的上下文驱动调整 | |
| CN103544472B (zh) | 一种基于手势图像的处理方法及处理装置 | |
| CN106503651B (zh) | 一种手势图像的提取方法及*** | |
| US9432594B2 (en) | User recognition apparatus and method | |
| CN109084350B (zh) | 一种具滤光功能视觉检测模块的油烟机及油烟浓度检测方法 | |
| WO2015149475A1 (zh) | 图片处理方法及装置 | |
| CN104834901A (zh) | 一种基于双目立体视觉的人脸检测方法、装置及*** | |
| CN103514437B (zh) | 一种三维手势识别装置及三维手势识别方法 | |
| CN101976334B (zh) | 一种抗干扰的触摸点识别方法及装置 | |
| CN111382592B (zh) | 活体检测方法和设备 | |
| CN109409368A (zh) | 矿用皮带纵撕检测装置及检测方法 | |
| KR20170056860A (ko) | 이미지 생성 방법 및 장치 | |
| CN103218605A (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
| CN106960175A (zh) | 基于深度卷积神经网络的第一视角动态手势检测方法 | |
| CN108133488A (zh) | 一种红外图像前景检测方法及设备 | |
| CN102663384A (zh) | 基于贝塞尔控制点搜索的曲线识别方法及装置 | |
| CN105608415A (zh) | 信息处理方法及电子设备 | |
| CN102609710A (zh) | 针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法 | |
| CN107424134A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN108255285A (zh) | 一种基于掌间点检测的运动手势检测方法 | |
| CN108491820B (zh) | 图像中肢体表示信息的识别方法、装置及设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180406 |