CN107357422B - 摄像机-投影交互触控方法、装置及计算机可读存储介质 - Google Patents

摄像机-投影交互触控方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN107357422B
CN107357422B CN201710506544.9A CN201710506544A CN107357422B CN 107357422 B CN107357422 B CN 107357422B CN 201710506544 A CN201710506544 A CN 201710506544A CN 107357422 B CN107357422 B CN 107357422B
Authority
CN
China
Prior art keywords
hand
user
camera
image
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710506544.9A
Other languages
English (en)
Other versions
CN107357422A (zh
Inventor
宋呈群
程俊
方璡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Shenzhen Tencent Computer Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS, Shenzhen Tencent Computer Systems Co Ltd filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201710506544.9A priority Critical patent/CN107357422B/zh
Publication of CN107357422A publication Critical patent/CN107357422A/zh
Application granted granted Critical
Publication of CN107357422B publication Critical patent/CN107357422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及模式识别领域，提供了一种摄像机‑投影交互触控方法、装置及计算机可读存储介质，以低廉的成本实现摄像机‑投影交互触控时高精度的手势识别。所述方法包括：采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；通过判断手部和手部阴影图像中指尖和指尖阴影是否融合，判断用户的手指是否与投影屏幕接触；若用户的手指与投影屏幕接触，则确定用户的手指与所述投影屏幕接触时的触控位置。本发明提供的技术方案一方面只需要单个摄像机即可实现用于交互的手部动作提取与触控判定，在复杂的光照环境下亦能保证较高的手势识别精度；另一方面，不需要昂贵的摄像设备，从而降低了摄像机‑投影交互触控的实现成本。

Description

摄像机-投影交互触控方法、装置及计算机可读存储介质
技术领域
本发明属于人机交互领域，尤其涉及一种摄像机-投影交互触控方法、装置及计算机可读存储介质。
背景技术
摄像机—投影交互触控***可计算机显示画面投射到任意平面并允许用户通过徒手来操控计算机，它为用户提供了一种使用手指与计算机可以生动自然的交互方式，例如，点击虚拟的键盘、拖动对象、打开文件、翻动网页等。
目前，摄像机—投影交互触控方法有很多种。现有的一种摄像机—投影交互触控方法是利用一个深度相机从周围场景中提取手部区域用于识别手势。然而，由于深度相机价格昂贵，并且由于周围照明的干扰，因此，上述现有的摄像机—投影交互触控方法，其所用在的摄像机—投影交互触控***不仅成本高昂，而且精度不高。
上述技术问题亟待业界解决。
发明内容
本发明提供一种摄像机-投影交互触控方法、装置及计算机可读存储介质，以低廉的成本实现摄像机-投影交互触控时高精度的手势识别。
本发明第一方面提供了一种摄像机-投影交互触控方法，应用于电脑、投影机、摄像机和投影屏幕组成的摄像机-投影交互触控***，所述方法包括：
采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；
通过判断所述手部和手部阴影图像中指尖和指尖阴影是否融合，判断所述用户的手指是否与投影屏幕接触；
若所述用户的手指与所述投影屏幕接触，则确定所述用户的手指与所述投影屏幕接触时的触控位置。
本发明第二方面提供了一种摄像机-投影交互触控装置，应用于电脑、投影机、摄像机和投影屏幕组成的摄像机-投影交互触控***，所述装置包括：
提取模块，用于采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；
判断模块，用于通过判断所述手部和手部阴影图像中指尖和指尖阴影是否融合，判断所述用户的手指是否与投影屏幕接触；
确定模块，用于若所述用户的手指与所述投影屏幕接触，则确定所述用户的手指与所述投影屏幕接触时的触控位置。
本发明第三方面提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；
通过判断所述手部和手部阴影图像中指尖和指尖阴影是否融合，判断所述用户的手指是否与投影屏幕接触；
若所述用户的手指与所述投影屏幕接触，则确定所述用户的手指与所述投影屏幕接触时的触控位置。
本发明实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；
通过判断所述手部和手部阴影图像中指尖和指尖阴影是否融合，判断所述用户的手指是否与投影屏幕接触；
若所述用户的手指与所述投影屏幕接触，则确定所述用户的手指与所述投影屏幕接触时的触控位置。
从上述本发明提供的技术方案可知，一方面，只需要单个摄像机而不需要多个摄像机即可实现用于交互的手部动作提取与触控判定，通过改进的多帧间差法，在复杂的光照环境下亦能保证较高的手势识别精度；另一方面，不需要昂贵的深度摄像机或高分辨率CCD摄像头，从而降低了摄像机-投影交互触控的实现成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的摄像机-投影交互触控方法的实现流程示意图；
图2是本发明实施例提供的摄像机-投影交互触控装置的结构示意图；
图3是本发明另一实施例提供的摄像机-投影交互触控装置的结构示意图；
图4是本发明另一实施例提供的摄像机-投影交互触控装置的结构示意图；
图5是本发明实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明的技术方案，下面通过具体实施例来进行说明。
附图1是本发明实施例提供的摄像机-投影交互触控方法的实现流程示意图，可应用于电脑、投影机、摄像机和投影屏幕组成的摄像机-投影交互触控***，主要包括以下步骤S101至S103，以下详细说明：
S101，采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像。
与现有技术不同，本发明是实现时只需要一个摄像机而不是至少两个摄像机来捕获图像。需要说明的是，本发明实施例中的“用户”指的是摄像机-投影交互触控方法中用手指去触控投影屏幕、从而去与投影内容交互的人。作为本发明一个实施例，采用背景差分法和帧间差法从摄像机捕获图像中提取用户的手部和手部阴影图像可通过如下步骤S1011至S1014来实现：
S1011，采用帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像，得到帧间差法的n个图像提取结果，其中，n为大于1的整数。
首先，通过几何校正方法将相机捕获的图像与投影图像对应起来，几何校正的步骤如下：1、从电脑中加载一幅棋盘格图像并传送到投影机；2、投影机将棋盘格画面投射到投影屏幕；3、利用一台固定的摄像机获取投影屏幕画面；4、探测摄像机捕获画面上棋盘格的角点；5、利用探测到的角点与对应的投影图像上棋盘格角点的位置来计算两者图像的3×3单应性矩阵H；6、采用3×3单应性矩阵H对摄像机捕获的图像进行几何校正。在上述几何校正的第4步中，棋盘格角点探测方法如下：1、将RGB图像转换为灰度图像；2、寻找到灰度图像的边缘、3、利用Hough转换探测边缘图像的直线；4、利用上述直线拟合出四边形；5、找到四边形的角点。
其次，判断属于手部和手部阴影的像素点。若图像被直接投射在屏幕上，则摄像机捕获的当前帧图像应当与摄像机捕获的前帧图像相同；若在投影屏幕前有一只手，则投影屏幕的投射画面反射率会发生改变，像素[x，y]的反射率变化可以通过反射比a[x,y]计算得到：
Figure BDA0001334809970000041
其中，Ik是摄像机捕获的图像的灰度图，Ik-1是摄像机捕获的、Ik前一帧图像的灰度图，Ik[x,y]是像素[x，y]在灰度图Ik中的灰度值，通常也表示第k帧图像本身，Ik-1[x,y]是像素[x，y]在灰度图Ik-1中的灰度值，通常也表示第k帧图像的前一帧图像即第k-1帧图像本身。
若像素[x，y]满足条件
a[x,y]<1-s，或者a[x,y]>1+s
则像素[x，y]属于手部和手部阴影的像素点，上式中，s是反射率容错率，s的通常取值范围为[0.5，0.8]。
最后，采用相邻两帧图像的帧间差来提取手部和手部阴影图像。本发明实施例中采用多帧图像Ik[x,y]、Ik-5[x,y]、Ik-10[x,y]和Ik-15[x,y]用于做帧间差，帧间差法提取的手部和手部阴影图像，假设n＝3，则得到帧间差法的3个图像提取结果如下：
Figure BDA0001334809970000051
其中，al是当前帧图像Ik[x,y]与前帧图像Ik-1[x,y]之间的反射比。
S1012，采用背景差分法从摄像机捕获的图像中提取用户的手部和手部阴影图像，得到背景差分法的n个图像提取结果。
背景差分法与帧间差法基本类似，只是帧图像的对比对象有所不同，即背景差法是通过将实时帧和背景图像进行对比来检测运动区域。在本发明实施例中，将不断变化的投影图像作为背景图像。如上类似，假设n＝3，则按照背景图像与几何校正过的视频帧图像之间的差分，得到背景差分法的3个图像提取结果如下：
Figure BDA0001334809970000052
其中，ab是当前帧图像Ik[x,y]与背景图像之间的反射比。
S1013，将经步骤S1011得到的帧间差法的n个图像提取结果分别与经步骤S1012得到的背景差分法的n个图像提取结果进行逻辑“与”运算得到手部和手部阴影的n个中间提取图像。
以n＝3为例，将经步骤S1011得到的帧间差法的n个图像提取结果分别与经步骤S1012得到的背景差分法的n个图像提取结果进行逻辑“与”运算得到手部和手部阴影的3个中间提取图像如下：
D1＝Tk5(x,y)∩Tk'(x,y)，D2＝Tk10(x,y)∩Tk'(x,y)，D3＝Tk15(x,y)∩Tk'(x,y)
S1014，将经步骤S1013得到的手部和手部阴影的n个中间提取图像进行逻辑“或”运算，逻辑“或”运算的结果D作为手部和手部阴影图像的提取结果。
以上述n＝3为例，是将D1、D2和D3进行逻辑“或”运算，逻辑“或”运算的结果D作为手部和手部阴影图像的提取结果。
由于存在噪声干扰，且目标与背景图像之间往往有小部分颜色或灰度相似，二值化后得到的图像中往往会含有许多孤立的点和孔洞，这些均会干扰运动目标的检测，因此，需要通过腐蚀和膨胀处理，将孤立的点去除，而将小孔洞填充，即上述将经步骤S1013得到的手部和手部阴影的n个中间提取图像进行逻辑“或”运算得到结果D后，还包括将D进行二值化、形态学腐蚀和膨胀处理，，例如，可以先将D进行二值化处理，进而再进行形态学腐蚀和膨胀处理，D进行二值化、形态学腐蚀和膨胀处理后的结果作为手部和手部阴影图像的最终提取结果。
S102，通过判断提取的用户的手部和手部阴影图像中指尖和指尖阴影是否融合，判断用户的手指是否与投影屏幕接触。
作为本发明一个实施例，通过判断手部和手部阴影图像中指尖和指尖阴影是否融合，判断用户的手指是否与投影屏幕接触可通过如下步骤S1021至S1023实现：
S1021，构建竖直线性模型。
S1022，采用竖直线性模型扫描经步骤S101提取的手部和手部阴影图像。
S1023，若步骤S1022扫描过程的自始至终，竖直线性模型存在中部有限的0像素部分，且该中部有限的0像素部分的两端像素的灰度值均为255，则确定用户的手指与投影屏幕接触，否则，确定用户的手指没有与投影屏幕接触。
S103，若用户的手指与投影屏幕接触，则确定用户的手指与投影屏幕接触时的触控位置。
具体地，若用户的手指与投影屏幕接触，则确定用户的手指与投影屏幕接触时的触控位置可以是：若用户位于投影屏幕的右侧，则提取的手部和手部阴影图像中最左列的前景像素确定为指尖图像的像素，最左列的前景像素所在位置为用户的手指与投影屏幕接触时的触控位置；若用户位于投影屏幕的左侧，则提取的手部和手部阴影图像中最右列的前景像素确定为指尖图像的像素，最右列的前景像素所在位置为用户的手指与投影屏幕接触时的触控位置。
从上述附图1示例的摄像机-投影交互触控方法可知，一方面，只需要单个摄像机而不需要多个摄像机即可实现用于交互的手部动作提取与触控判定，通过改进的多帧间差法，在复杂的光照环境下亦能保证较高的手势识别精度；另一方面，不需要昂贵的深度摄像机或高分辨率CCD摄像头，从而降低了摄像机-投影交互触控的实现成本。
图2是本发明实施例提供的摄像机-投影交互触控装置的示意图，主要包括提取模块201、判断模块202和确定模块203，详细说明如下：
提取模块201，用于采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；
判断模块202，用于通过判断提取模块201提取的用户的手部和手部阴影图像中指尖和指尖阴影是否融合，判断用户的手指是否与投影屏幕接触；
确定模块203，用于若用户的手指与投影屏幕接触，则确定用户的手指与投影屏幕接触时的触控位置。
需要说明的是，本发明实施例提供的装置，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
附图2示例的提取模块201可以包括第一提取单元301、第二提取单元302、第一逻辑运算单元303和第二逻辑运算单元304，如附图3示例的摄像机-投影交互触控装置，其中：
第一提取单元301，用于采用帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像，得到帧间差法的n个图像提取结果，其中，n为大于1的整数；
第二提取单元302，用于采用背景差分法从摄像机的捕获图像中提取用户的手部和手部阴影图像，得到背景差分法的n个图像提取结果；
第一逻辑运算单元303，用于将帧间差法的n个图像提取结果分别与背景差分法的n个图像提取结果进行逻辑“与”运算得到手部和手部阴影的n个中间提取图像；
第二逻辑运算单元304，用于将手部和手部阴影的n个中间提取图像进行逻辑“或”运算，逻辑“或”运算的结果D作为手部和手部阴影图像的提取结果。
附图3示例的摄像机-投影交互触控装置还可以包括处理模块401，如附图4示例的摄像机-投影交互触控装置。处理模块401用于将第二逻辑运算单元304得到的D进行二值化、形态学腐蚀和膨胀处理，二值化、形态学腐蚀和膨胀处理的结果作为手部和手部阴影图像的最终提取结果。
附图2示例的判断模块202可以包括模型构建单元、扫描单元和确定单元，其中：
模型构建单元，用于构建竖直线性模型；
扫描单元，用于采用竖直线性模型扫描手部和手部阴影图像；
确定单元，用于若扫描单元扫描过程的自始至终，竖直线性模型存在中部有限的0像素部分，且该中部有限的0像素部分的两端像素的灰度值均为255，则确定用户的手指与投影屏幕接触，否则，确定用户的手指没有与投影屏幕接触。
附图2示例的确定模块203可以包括第一触控位置确定单元和第二触控位置确定单元，其中：
第一触控位置确定单元，用于若用户位于投影屏幕的右侧，则提取的手部和手部阴影图像中最左列的前景像素确定为指尖图像的像素，最左列的前景像素所在位置为用户的手指与投影屏幕接触时的触控位置；
第二触控位置确定单元，用于若用户位于投影屏幕的左侧，则提取的手部和手部阴影图像中最右列的前景像素确定为指尖图像的像素，最右列的前景像素所在位置为用户的手指与投影屏幕接触时的触控位置。
图5是本发明一实施例提供的终端设备的结构示意图。如图5所示，该实施例的终端设备5包括：处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52，例如摄像机-投影交互触控方法的程序。处理器50执行计算机程序52时实现上述摄像机-投影交互触控方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，处理器50执行计算机程序52时实现上述各装置实施例中各模块/单元的功能，例如图2所示提取模块201、判断模块202和确定模块203的功能。
示例性的，摄像机-投影交互触控方法的计算机程序52主要包括：采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；通过判断手部和手部阴影图像中指尖和指尖阴影是否融合，判断用户的手指是否与投影屏幕接触；若用户的手指与投影屏幕接触，则确定用户的手指与投影屏幕接触时的触控位置。计算机程序52可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器51中，并由处理器50执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序52在计算设备5中的执行过程。例如，计算机程序52可以被分割成提取模块201、判断模块202和确定模块203(虚拟装置中的模块)的功能，各模块具体功能如下：提取模块201，用于采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；判断模块202，用于通过判断手部和手部阴影图像中指尖和指尖阴影是否融合，判断用户的手指是否与投影屏幕接触；确定模块203，用于若用户的手指与投影屏幕接触，则确定用户的手指与投影屏幕接触时的触控位置。
终端设备5可包括但不仅限于处理器50、存储器51。本领域技术人员可以理解，图5仅仅是终端设备5的示例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器51可以是终端设备5的内部存储单元，例如终端设备5的硬盘或内存。存储器51也可以是中继服务器5的外部存储设备，例如终端设备5上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器51还可以既包括终端设备5的内部存储单元也包括外部存储设备。存储器51用于存储计算机程序以及终端设备所需的其他程序和数据。存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，摄像机-投影交互触控方法的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤，即，采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；通过判断手部和手部阴影图像中指尖和指尖阴影是否融合，判断用户的手指是否与投影屏幕接触；若用户的手指与投影屏幕接触，则确定用户的手指与投影屏幕接触时的触控位置。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种摄像机-投影交互触控方法，应用于电脑、投影机、摄像机和投影屏幕组成的摄像机-投影交互触控***，其特征在于，所述方法包括：
采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；
通过判断所述手部和手部阴影图像中指尖和指尖阴影是否融合，判断所述用户的手指是否与投影屏幕接触；
若所述用户的手指与所述投影屏幕接触，则确定所述用户的手指与所述投影屏幕接触时的触控位置；
所述采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像，包括：
采用所述帧间差法从所述摄像机捕获的图像中提取用户的手部和手部阴影图像，得到所述帧间差法的n个图像提取结果，所述n为大于1的整数；
采用所述背景差分法从所述摄像机捕获图像的中提取用户的手部和手部阴影图像，得到所述背景差分法的n个图像提取结果；
将所述帧间差法的n个图像提取结果分别与所述背景差分法的n个图像提取结果进行逻辑“与”运算得到手部和手部阴影的n个中间提取图像；
将所述手部和手部阴影的n个中间提取图像进行逻辑“或”运算，所述逻辑“或”运算的结果D作为所述手部和手部阴影图像的提取结果。
2.如权利要求1所述摄像机-投影交互触控方法，其特征在于，所述方法还包括：
将所述D进行二值化、形态学腐蚀和膨胀处理，所述二值化、形态学腐蚀和膨胀处理的结果作为所述手部和手部阴影图像的最终提取结果。
3.如权利要求1所述摄像机-投影交互触控方法，其特征在于，所述通过判断所述手部和手部阴影图像中指尖和指尖阴影是否融合，判断所述用户的手指是否与投影屏幕接触，包括：
构建竖直线性模型；
采用所述竖直线性模型扫描所述手部和手部阴影图像；
若扫描过程的自始至终，所述竖直线性模型存在中部有限的0像素部分，且所述中部有限的0像素部分的两端像素的灰度值均为255，则确定所述用户的手指与投影屏幕接触，否则，确定所述用户的手指没有与投影屏幕接触。
4.如权利要求1所述摄像机-投影交互触控方法，其特征在于，所述若所述用户的手指与所述投影屏幕接触，则确定所述用户的手指与所述投影屏幕接触时的触控位置，包括：
若所述用户位于所述投影屏幕的右侧，则所述提取用户的手部和手部阴影图像中最左列的前景像素确定为指尖图像的像素，所述最左列的前景像素所在位置为所述用户的手指与所述投影屏幕接触时的触控位置；
若所述用户位于所述投影屏幕的左侧，则所述提取用户的手部和手部阴影图像中最右列的前景像素确定为指尖图像的像素，所述最右列的前景像素所在位置为所述用户的手指与所述投影屏幕接触时的触控位置。
5.一种摄像机-投影交互触控装置，应用于电脑、投影机、摄像机和投影屏幕组成的摄像机-投影交互触控***，其特征在于，所述装置包括：
提取模块，用于采用背景差分法和帧间差法从摄像机捕获的图像中提取用户的手部和手部阴影图像；
判断模块，用于通过判断所述手部和手部阴影图像中指尖和指尖阴影是否融合，判断所述用户的手指是否与投影屏幕接触；
确定模块，用于若所述用户的手指与所述投影屏幕接触，则确定所述用户的手指与所述投影屏幕接触时的触控位置；
所述提取模块包括：
第一提取单元，用于采用所述帧间差法从所述摄像机捕获的图像中提取用户的手部和手部阴影图像，得到所述帧间差法的n个图像提取结果，所述n为大于1的整数；
第二提取单元，用于采用所述背景差分法从所述摄像机的捕获图像中提取用户的手部和手部阴影图像，得到所述背景差分法的n个图像提取结果；
第一逻辑运算单元，用于将所述帧间差法的n个图像提取结果分别与所述背景差分法的n个图像提取结果进行逻辑“与”运算得到手部和手部阴影的n个中间提取图像；
第二逻辑运算单元，用于将所述手部和手部阴影的n个中间提取图像进行逻辑“或”运算，所述逻辑“或”运算的结果D作为所述手部和手部阴影图像的提取结果。
6.如权利要求5所述摄像机-投影交互触控装置，其特征在于，所述装置还包括：
处理模块，用于将所述D进行二值化、形态学腐蚀和膨胀处理，所述二值化、形态学腐蚀和膨胀处理的结果作为所述手部和手部阴影图像的最终提取结果。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任意一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任意一项所述方法的步骤。
CN201710506544.9A 2017-06-28 2017-06-28 摄像机-投影交互触控方法、装置及计算机可读存储介质 Active CN107357422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710506544.9A CN107357422B (zh) 2017-06-28 2017-06-28 摄像机-投影交互触控方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710506544.9A CN107357422B (zh) 2017-06-28 2017-06-28 摄像机-投影交互触控方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107357422A CN107357422A (zh) 2017-11-17
CN107357422B true CN107357422B (zh) 2023-04-25

Family

ID=60272598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710506544.9A Active CN107357422B (zh) 2017-06-28 2017-06-28 摄像机-投影交互触控方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN107357422B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874030A (zh) * 2018-04-27 2018-11-23 努比亚技术有限公司 穿戴设备操作方法、穿戴设备及计算机可读存储介质
CN109375833B (zh) * 2018-09-03 2022-03-04 深圳先进技术研究院 一种触控指令的生成方法及设备
CN112882563A (zh) * 2019-11-29 2021-06-01 中强光电股份有限公司 触控投影***与其方法
CN114020145A (zh) * 2021-09-30 2022-02-08 联想(北京)有限公司 与数字内容进行互动的方法、装置、设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101409004A (zh) * 2008-11-24 2009-04-15 浙江大学 基于Symbian智能手机平台的安防监控方法
CN101719015A (zh) * 2009-11-03 2010-06-02 上海大学 指示手势的手指尖定位方法
CN102799875A (zh) * 2012-07-25 2012-11-28 华南理工大学 任意手形人手跟踪方法
CN104167006A (zh) * 2014-07-10 2014-11-26 华南理工大学 一种任意手形的手势跟踪方法
CN105023231A (zh) * 2015-07-23 2015-11-04 四川数智通软件有限责任公司 基于视频识别和手机gps的公交数据获取方法
CN106774846A (zh) * 2016-11-24 2017-05-31 中国科学院深圳先进技术研究院 交互投影方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249422A1 (en) * 2011-03-31 2012-10-04 Smart Technologies Ulc Interactive input system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101409004A (zh) * 2008-11-24 2009-04-15 浙江大学 基于Symbian智能手机平台的安防监控方法
CN101719015A (zh) * 2009-11-03 2010-06-02 上海大学 指示手势的手指尖定位方法
CN102799875A (zh) * 2012-07-25 2012-11-28 华南理工大学 任意手形人手跟踪方法
CN104167006A (zh) * 2014-07-10 2014-11-26 华南理工大学 一种任意手形的手势跟踪方法
CN105023231A (zh) * 2015-07-23 2015-11-04 四川数智通软件有限责任公司 基于视频识别和手机gps的公交数据获取方法
CN106774846A (zh) * 2016-11-24 2017-05-31 中国科学院深圳先进技术研究院 交互投影方法及装置

Also Published As

Publication number Publication date
CN107357422A (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
CN107357422B (zh) 摄像机-投影交互触控方法、装置及计算机可读存储介质
JP6737776B2 (ja) センサ素子アレイにおける特徴計算
CN108230245B (zh) 图像拼接方法、图像拼接装置及电子设备
CN109951635B (zh) 拍照处理方法、装置、移动终端以及存储介质
WO2021083059A1 (zh) 一种图像超分重建方法、图像超分重建装置及电子设备
CN108564082B (zh) 图像处理方法、装置、服务器和介质
CN107909569B (zh) 一种花屏检测方法、花屏检测装置及电子设备
US10880455B2 (en) High dynamic range color conversion using selective interpolation
GB2501810A (en) Image foreground and background segmentation using aggregate relative pixel derivative
WO2011161579A1 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
JP6115214B2 (ja) パターン処理装置、パターン処理方法、パターン処理プログラム
CN112367559B (zh) 视频展示方法、装置、电子设备、服务器及存储介质
CN105049706A (zh) 一种图像处理方法及终端
CN112767281A (zh) 图像鬼影消除方法、装置、电子设备及存储介质
CN109690611B (zh) 一种图像校正方法及装置
CN110991310A (zh) 人像检测方法、装置、电子设备及计算机可读介质
CN114827562B (zh) 投影方法、装置、投影设备及计算机存储介质
CN106774846B (zh) 交互投影方法及装置
CN114758268A (zh) 手势识别方法、装置及智能设备
JP2016197377A (ja) 画像補正用コンピュータプログラム、画像補正装置及び画像補正方法
CN111242084B (zh) 机器人控制方法、装置、机器人及计算机可读存储介质
JP7223198B1 (ja) メータ読取装置、メータ読取方法、及びメータ読取プログラム
CN108776959B (zh) 图像处理方法、装置及终端设备
KR102467036B1 (ko) 2차원 식별코드 검출을 위한 동적 영상 임계치 설정 방법 및 그 시스템
CN110874814A (zh) 一种图像处理方法、图像处理装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant