CN113741694A - 一种智能交互的手势控制方法和装置 - Google Patents

一种智能交互的手势控制方法和装置 Download PDF

Info

Publication number
CN113741694A
CN113741694A CN202111024778.2A CN202111024778A CN113741694A CN 113741694 A CN113741694 A CN 113741694A CN 202111024778 A CN202111024778 A CN 202111024778A CN 113741694 A CN113741694 A CN 113741694A
Authority
CN
China
Prior art keywords
gesture
control
recognition
interactive
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111024778.2A
Other languages
English (en)
Inventor
徐吉锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Finance and Economics
Original Assignee
Zhejiang University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Finance and Economics filed Critical Zhejiang University of Finance and Economics
Priority to CN202111024778.2A priority Critical patent/CN113741694A/zh
Publication of CN113741694A publication Critical patent/CN113741694A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种智能交互的手势控制方法和装置，S10，手势捕捉：使用者在摄像头前在2‑4s内做出手势，通过摄像头捕捉手势动作；S20，手势训练：采集不同控制手势，训练个性化手势，增加手势种类和手势数量；S30，手势识别：通过摄像头实时捕捉收视画面，识别捕捉到手势，对比已录入***中的训练后手势数据，得到手势结果；S40，交互控制：识别出的手势通过交互控制得到其对应的控制效果，并实现人机交互控制。本发明实现无接触式控制，可进行多人协同操作，具有较强的人机交互性，智能化程度高，可进行个性化手势定制和交互控制功能选择，灵活性好，具有较好的发展前景。

Description

一种智能交互的手势控制方法和装置
技术领域
本发明属于无接触式手势控制技术领域，特别涉及一种智能交互的手势控制方法和装置。
背景技术
随着科学技术的发展和线上教学的不断普及，在教学领域使用电脑的频率不断提高。学校和社会都致力于科技化教学、便利化教学，教学方式不断升级、便捷化。在教学领域利用电脑进行无接触式手势控制授课，无论在线上、线下都是十分适用，并且学生和教师可实现协同操作，提高教学效率，便利且符合发展需求。
在大部分的会议中，需要使用电脑进行投影，主讲人通过投影电脑中的ppt、pdf、图片、网页、视频等来丰富会议内容。但会议中与会人员参与感较低，多人协同操作的模式可以提高会议的效率，同时无接触式控制可以让主讲人提高便利程度、节省操作时间。
随着深度学习技术的不断发展，图像处理以及数据分析的精度大幅度提高，在应用了合理的神经网络模型和算法类型的情况下，准确识别动态手势动作具备了可能性。并且无接触式控制技术已经有所应用但仍未全面推广，发展前景好。
发明内容
有鉴于此，本发明提供了一种智能交互的手势控制方法，包括以下步骤：
S10，手势捕捉：使用者在摄像头前在2-4s内做出手势，通过摄像头捕捉手势动作；
S20，手势训练：采集不同控制手势，训练个性化手势，增加手势种类和手势数量；
S30，手势识别：通过摄像头实时捕捉收视画面，识别捕捉到手势，对比已录入***中的训练后手势数据，得到手势结果；
S40，交互控制：识别出的手势通过交互控制得到其对应的控制效果，并实现人机交互控制。
优选地，还包括在手势识别过程中，展示所有手势的识别率、识别效果以及识别是否成功的信息。
优选地，识别效果通过数值、条形图和饼状图表示。
优选地，手势动作与交互控制相互分离，即手势识别与交互控制非固定对应关系。
优选地，手势识别中可由多终端进行识别捕捉，同时进行交互控制。
优选地，所述手势动作包括全手掌的左滑动、右滑动、上滑动、下滑动、向前推进、向后收拢、左翻转、右翻转、五指张开、五指合拢、五指并拢静止、甩手、顺时针旋转画圈和逆时针旋转画圈，以及食指和中指并拢的左滑动、右滑动、上滑动、下滑动、点击、张开和合拢。
优选地，所述交互控制包括对电脑的音量高低调节、图片左右旋转、文件拖动、截图、录屏、关闭、退出、确认、删除、复制粘贴、ppt左右翻页、网页放大缩小、视频前进后退暂停、pdf上滑下滑和word增删改。
优选地，所述手势训练包括以下步骤：
S21，数据采集：将摄像头逐帧捕捉的手势动作运动过程形成对应的手势图片集；
S22，数据分析：对手势图片进行预处理达到标准化；
S23，特征提取：使用2DCNN与3DCNN结合的自定义模型，通过创建连接器，使用3层线性层来连接3DCNN和2DCNN，引入2DCNN提取2D特征，3DCNN沿时间维度学习残差信息；
S24，模型训练：使用添加动量的随机梯度下降算法和交叉熵损失函数，并对图片进行组归一化处理，得到最终的手势训练结果，并将数据录入***中。
优选地，所述交互控制包括模拟鼠标和键盘的操作来对应用进行控制。
基于上述目的，本发明还提供了一种智能交互的手势控制装置，可实现上述方法，包括控制面板和与控制面板分别连接的可触电子显示屏、摄像头、指示灯和连接接口，其中，可触电子显示屏显示手势识别率、手势是否有效以及手势个性化操作和功能选择；摄像头用于捕捉操作者的手势；控制面板控制电源开关、功能选择模式、个性化定制、查看识别率、开启播报功能和调整摄像头模式；指示灯显示手势识别是否成功、手势交互控制结果、个性化和功能选择操作与识别控制功能模式切换；连接接口包括USB接口和HDMI接口，USB接口用于连接笔记本或台式电脑，HDMI接口用于连接投影仪。
与现有技术相比，本发明公开的一种智能交互的手势控制方法和装置，将手势识别和交互控制相结合，实现远距离手势控制电脑的ppt、pdf、word、网页、视频、图片以及各类应用，并能代替鼠标和键盘实现电脑中所有的操作。将本发明应用于教学、会议中，教师和会议主讲人根据自身需求设定手势的交互功能，提高会议和教学的效率。与会人员和学生通过多人协同操作方式和主讲人、教师实现实时交流、操作，使会议与教学更加高效、参与性更强、交互性更好。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明实施例智能交互的手势控制方法的步骤流程图；
图2为本发明具体实施例智能交互的手势控制方法的S20步骤流程图；
图3为本发明具体实施例智能交互的手势控制方法的手势控制步骤流程图；
图4为本发明实施例智能交互的手势控制装置的结构示意图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
方法实施例1
参见图1，为一种智能交互的手势控制方法，包括以下步骤：
S10，手势捕捉：使用者在摄像头前在2-4s内做出手势，通过摄像头捕捉手势动作；
S20，手势训练：采集不同控制手势，训练个性化手势，增加手势种类和手势数量；
S30，手势识别：通过摄像头实时捕捉收视画面，识别捕捉到手势，对比已录入***中的训练后手势数据，得到手势结果；
S40，交互控制：识别出的手势通过交互控制得到其对应的控制效果，并实现人机交互控制。
在手势识别过程中，展示所有手势的识别率、识别效果以及识别是否成功的信息，识别效果通过数值、条形图和饼状图表示。
手势动作与交互控制相互分离，即手势识别与交互控制非固定对应关系。
手势识别中可由多终端进行识别捕捉，同时进行交互控制。
手势动作包括全手掌的左滑动、右滑动、上滑动、下滑动、向前推进、向后收拢、左翻转、右翻转、五指张开、五指合拢、五指并拢静止、甩手、顺时针旋转画圈和逆时针旋转画圈，以及食指和中指并拢的左滑动、右滑动、上滑动、下滑动、点击、张开和合拢。
交互控制包括对电脑的音量高低调节、图片左右旋转、文件拖动、截图、录屏、关闭、退出、确认、删除、复制粘贴、ppt左右翻页、网页放大缩小、视频前进后退暂停、pdf上滑下滑和word增删改等。
方法实施例2
在上述实施例的基础上，手势动作与交互控制的一一对应关系可以设置如下：全手掌的左右滑动对应ppt左右翻页、视频前进后退；全手掌的上下滑动对应音量高低调节；全手掌的向前推进对应网页和图片的缩小、向后收拢对应网页和图片的放大；全手掌的左右翻转对应图片的左右旋转；全手掌的五指并拢静止对应退出、暂停，五指合拢对应抓取文件，五指张开对应放开；全手掌的甩手对应截图、录屏；全手掌的顺时针旋转画圈和逆时针旋转画圈对应pdf、word上滑下滑；食指的点击对应鼠标的点击事件；食指的左右滑动对应撤销和前进；食指的上下滑动对应确认和删除；中指并拢的左右滑动对应网页的前进后退；中指并拢的上下滑动对应复制和粘贴。
方法实施例3
在上述实施例的基础上，参见图2，手势训练包括以下步骤：
S21，数据采集：将摄像头逐帧捕捉的手势动作运动过程形成对应的手势图片集；
S22，数据分析：对手势图片进行预处理达到标准化，通过随机裁剪、去噪、肤色检测、二值化、形态学处理四个步骤：其中随机裁剪将大小不同的图片统一成为100×140的大小，以便后续处理；去噪是为了实现对图像噪声的消除，增强图像的效果，本发明使用双边滤波器，考虑了图像的空间关系和灰度关系，同时使用了空间高斯权重和灰度相似性高斯权重，确保了边界不会被模糊掉；肤色检测和二值化采用YCrCb颜色空间的Cr分量+Otsu法阈值分割算法，针对YCrCb中Cr分量的处理，对CR通道单独进行Otsu处理，Otsu算法是对图像的灰度级进行聚类，在opencv里用threshold；形态学处理主要是通过先腐蚀后膨胀来处理杂质，进一步优化处理，通过腐蚀除去颜色异样的点、孤立的点、毛刺，通过膨胀回到正常状态，达到优化效果。
S23，特征提取：使用2DCNN(2dimension convolutional neural network，2维卷积神经网络)与3DCNN(3维卷积神经网络)结合的自定义模型，由于视频流通常包含大量的相似连续帧，这导致沿着时间维度的特征图中包含大量的冗余信息。使用2DCNN与3DCNN结合的自定义模型，通过创建一个连接器，使用3层线性层来连接3DCNN和2DCNN，增加了3DCNN的深度，加强2D空域的学习能力，通过引入2D卷积块来提取信息丰富但静态的2D特征，3D卷积仅需要沿时间维度学习残差信息，就能够大幅降低学习复杂性。经过2D的特征提取后，可以减少3D卷积通道数的数量，从而进一步减小模型的大小，提升模型的效率；
S24，模型训练：使用添加动量的随机梯度下降算法和交叉熵损失函数，并对图片进行组归一化处理，得到最终的手势训练结果，并将数据录入***中。
其中，本发明使用添加动量的随机梯度下降算法进行实现最小化函数。随机梯度下降算法在原理上和全批量梯度下降没有大的区别，都是对损失函数进行了一阶泰勒展开的近似，然后对这个近似出来的函数求最小值，把最小值当作下一步用来迭代的值。公式如下，lr为学习率，θ为参数集合，loss为损失函数：
Figure BDA0003242890370000061
但全批次在每次更新回归系数时都需要遍历整个数据集，面对庞大的样本数据集，计算复杂度太高。而随机梯度上升是一次仅用一个样本点来更新回归系数，这样做大大减小了计算复杂度，并且提高了函数的收敛速度。
交叉熵损失函数结合了LogSoftmax和NLLLoss，在做分类训练的时候具有很大的优越性。交叉熵主要刻画的是实际输出与期望输出的距离，也就是交叉熵的值越小，两个概率分布就越接近。本发明使用的交叉熵损失函数的计算公式如下：
Figure BDA0003242890370000062
其中，x为输入也是网络的最后一层的输出，其shape为[batchsize,class]，以e为底，class为类别索引，exp(·)表示·的期望值。交叉熵损失函数会避免误差较小时梯度很小所带来的衰退问题，更适合分类模型，本发明在多方面权衡之后，选择了交叉熵损失函数作为训练模型的损失函数。
交互控制包括模拟鼠标和键盘的操作来对应用进行控制。本发明模拟鼠标和键盘的控制方式主要通过python来实现，python中的pyautogui库是本发明交互控制实现的主要核心库，pyautogui是一个纯python的GUI自动化工具，其目的是可以用程序自动控制鼠标和键盘操作，多平台支持。pyautogui的鼠标函数使用x,y坐标，原点在屏幕左上角，向右x坐标增加，向下y坐标增加,所有坐标都是正整数，没有负数坐标。对于鼠标可实现的基础操作为：确定鼠标当前位置、移动、点击、拖动、滚动等，由基本操作组合起来就可以实现鼠标的多功能控制效果，比如拖动文件至回收站，就是简单的pyautogui.position()、pyautogui.moveTo(x,y,[duration＝t])、pyautogui.click([x,y,button＝'left/right/middle'])和pyautogui.dragTo(x,y[,duration＝t)之间组合的使用。而对于键盘的控制，pyautogui库提供输入字符串、输入键字符串、快捷键组合的基本操作，可以控制快捷键、输入文字等键盘上的操作，比如实现屏幕的截图，可以简单的用pyautogui.hotkey('shift','win','s')来实现。
由此可见，交互控制可以基于模拟鼠标和键盘的操作，它的应用就可以是电脑中的基本操作，如截图、录屏、退出、删除、返回、调节音量等，以及一些应用软件内的操作，如浏览器的放大缩小、qq微信发送消息、视频播放的前进后退、ppt的左右翻页、文件的移动等。
本发明的原始控制内容设置为电脑的音量高低调节、图片左右旋转、文件拖动、截图、录屏、关闭、退出、确认、删除、复制粘贴、ppt左右翻页、网页放大缩小、视频前进后退暂停、pdf上滑下滑和word增删改。而使用者可以根据自身的需求去选择更多的功能实现，本发明提供交互功能实现的选择，可根据自身喜好选择。
方法实施例4
在上述实施例的基础上，参见图3，手势控制可以包括以下步骤：
S31，实时展示手势识别率；
S32，捕捉手势动作；
S33，识别手势；
S34，对手势的识别是否成功？
是，则S41，调取对应交互动作；否，则返回S31；
S42，进行对应操作，
在进行多人协同操纵时，需要预先打开台式或者笔记本电脑的远程连接，在连接完毕后，多个使用者可以先调整自身坐姿以及摄像头位置，进行手势识别效果的测试，测试完毕后正式开始手势识别控制，即可实现无接触式控制，实现效果为多个使用者可通过自己的电脑对一台主电脑进行操作。
通过本发明应用在教学中，分为线上教学场景和线下教学场景，在线上教学中可以通过笔记本或台式电脑摄像头捕获手势直接实现无接触式控制，通过个性化设定后，手势动作与交互控制可自行设定，对ppt、网页、视频、图片、word、pdf以及各类软件如计算器、photoshop、微信、qq、浏览器等进行手势控制操作，且学生可参与多人协同操作。而线下教学中，可以在投影屏前放置摄像头，捕获教师手势进行同样的控制操作。
在控制效果实现中，交互控制是通过模拟鼠标和键盘操作，对电脑和软件的一些基本功能进行控制，比如在ppt中进行左右翻页，可以通过键盘的left和right以及鼠标滚轮上下滑动和点击来实现，交互控制模拟该操作，当手势识别成功时，调用交互控制的模拟操作来模拟ppt的左右翻页；在网页中，放大缩小依次可以通过快捷方式ctrl加+以及ctrl加-实现，页面间的切换可以通过pageup和pagedown实现，网页的上下滚动则可以通过鼠标滚轮和键盘中的up、down实现，这样***就能够模拟实现网页中的前进后退、放大缩小、上下滚动；同样在视频、图片、word、pdf中，一些基本的能够基于鼠标和键盘的基础操作都能够实现：视频的音量调节、前进后退、全屏退出、倍速；图片的放大缩小、左右旋转、前后切换；word和pdf的增删改、上下滑动、放大缩小。
在基础操作之上本发明还采用了基于搜索图标的控制方式，预先将需要使用的图标存入图标库中，在使用时会从库中依次进行寻找，如果找到可以进行对应操作，比如在桌面中由左上角到右下角依次搜索微信的图标，如果找到就可以进行点击打开，这样的方式提高了效率，可以随意使用屏幕内的任何按钮、图标。比如在使用软件计算器时，加减乘除分别为四种图标，每个手势即可对应一个图标操作，节省了时间；在微信、QQ中，可以设置手势对应某个特定表情、对应某个好友头像、对应某个群，这样寻找起来会非常方便快捷。结合模拟鼠标和键盘的操作和基于搜索图标的控制方式，就可以进行一些复杂的软件操作，比如设定一个手势的功能为打开微信找到某个朋友并对他发送表情，***的实现流程为：屏幕搜索微信图标并双击点击，搜索微信界面中的联系人图标点击，再模拟鼠标或键盘下滑操作进行寻找联系人，找到联系人图标后进行发送消息，在表情库中左右翻页寻找需要的表情，最后找到发送图标。
本发明在会议中的应用，主讲人通过笔记本电脑摄像头或放置摄像头捕获手势进行控制，与会人员通过自带笔记本或台式摄像头实现多人协同操作。
交互控制同样是模拟鼠标和键盘的操作来对应用进行控制。其具有很强的灵活性以及普适性，可以进行电脑中的绝大部分操作，如截图、调节音量、退出、关闭、确认、删除、放缩、旋转等操作，也可以对电脑中的应用进行操作，如qq微信发送消息、视频播放的前进后退、ppt的左右翻页、网页的放大缩小、文件的移动等。功能的实现视使用者的需求而定，可自行设定。
装置实施例
参见图4，还提供了一种智能交互的手势控制装置，可实现上述方法，包括控制面板3和与控制面板3分别连接的可触电子显示屏1、摄像头2、指示灯4和连接接口5，其中，可触电子显示屏1显示手势识别率、手势是否有效以及手势个性化操作和功能选择；摄像头2用于捕捉操作者的手势；控制面板3控制电源开关、功能选择模式、个性化定制、查看识别率、开启播报功能和调整摄像头模式；指示灯4显示手势识别是否成功、手势交互控制结果、个性化和功能选择操作与识别控制功能模式切换；连接接口5包括USB接口和HDMI接口，USB接口用于连接笔记本或台式电脑，HDMI接口用于连接投影仪。
具体如何通过手势控制的实施例，参见上述方法实施例，不再赘述。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种智能交互的手势控制方法，其特征在于，包括以下步骤：
S10，手势捕捉：使用者在摄像头前在2-4s内做出手势，通过摄像头捕捉手势动作；
S20，手势训练：采集不同控制手势，训练个性化手势，增加手势种类和手势数量；
S30，手势识别：通过摄像头实时捕捉收视画面，识别捕捉到手势，对比已录入***中的训练后手势数据，得到手势结果；
S40，交互控制：识别出的手势通过交互控制得到其对应的控制效果，并实现人机交互控制。
2.根据权利要求1所述的智能交互的手势控制方法，其特征在于，还包括在手势识别过程中，展示所有手势的识别率、识别效果以及识别是否成功的信息。
3.根据权利要求1所述的智能交互的手势控制方法，其特征在于，识别效果通过数值、条形图和饼状图表示。
4.根据权利要求1所述的智能交互的手势控制方法，其特征在于，手势动作与交互控制相互分离，即手势识别与交互控制非固定对应关系。
5.根据权利要求1所述的智能交互的手势控制方法，其特征在于，手势识别中可由多终端进行识别捕捉，同时进行交互控制。
6.根据权利要求1所述的智能交互的手势控制方法，其特征在于，所述手势动作包括全手掌的左滑动、右滑动、上滑动、下滑动、向前推进、向后收拢、左翻转、右翻转、五指张开、五指合拢、五指并拢静止、甩手、顺时针旋转画圈和逆时针旋转画圈，以及食指和中指并拢的左滑动、右滑动、上滑动、下滑动、点击、张开和合拢。
7.根据权利要求1所述的智能交互的手势控制方法，其特征在于，所述交互控制包括对电脑的音量高低调节、图片左右旋转、文件拖动、截图、录屏、关闭、退出、确认、删除、复制粘贴、ppt左右翻页、网页放大缩小、视频前进后退暂停、pdf上滑下滑和word增删改。
8.根据权利要求1所述的智能交互的手势控制方法，其特征在于，所述手势训练包括以下步骤：
S21，数据采集：将摄像头逐帧捕捉的手势动作运动过程形成对应的手势图片集；
S22，数据分析：对手势图片进行预处理达到标准化；
S23，特征提取：使用2DCNN与3DCNN结合的自定义模型，通过创建连接器，使用3层线性层来连接3DCNN和2DCNN，引入2DCNN提取2D特征，3DCNN沿时间维度学习残差信息；
S24，模型训练：使用添加动量的随机梯度下降算法和交叉熵损失函数，并对图片进行组归一化处理，得到最终的手势训练结果，并将数据录入***中。
9.根据权利要求1所述的智能交互的手势控制方法，其特征在于，所述交互控制包括模拟鼠标和键盘的操作来对应用进行控制。
10.一种智能交互的手势控制装置，其特征在于，该装置实现权利要求1-9之一所述的方法，包括控制面板和与控制面板分别连接的可触电子显示屏、摄像头、指示灯和连接接口，其中，可触电子显示屏显示手势识别率、手势是否有效以及手势个性化操作和功能选择；摄像头用于捕捉操作者的手势；控制面板控制电源开关、功能选择模式、个性化定制、查看识别率、开启播报功能和调整摄像头模式；指示灯显示手势识别是否成功、手势交互控制结果、个性化和功能选择操作与识别控制功能模式切换；连接接口包括USB接口和HDMI接口，USB接口用于连接笔记本或台式电脑，HDMI接口用于连接投影仪。
CN202111024778.2A 2021-09-02 2021-09-02 一种智能交互的手势控制方法和装置 Pending CN113741694A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111024778.2A CN113741694A (zh) 2021-09-02 2021-09-02 一种智能交互的手势控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111024778.2A CN113741694A (zh) 2021-09-02 2021-09-02 一种智能交互的手势控制方法和装置

Publications (1)

Publication Number Publication Date
CN113741694A true CN113741694A (zh) 2021-12-03

Family

ID=78734921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111024778.2A Pending CN113741694A (zh) 2021-09-02 2021-09-02 一种智能交互的手势控制方法和装置

Country Status (1)

Country Link
CN (1) CN113741694A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118154820A (zh) * 2024-05-13 2024-06-07 南京竹影数字科技有限公司 基于实时虚实融合与实时虚实的互动演播方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774894A (zh) * 2016-12-16 2017-05-31 重庆大学 基于手势的交互式教学方法及交互***
CN107766842A (zh) * 2017-11-10 2018-03-06 济南大学 一种手势识别方法及其应用
CN110244846A (zh) * 2019-06-13 2019-09-17 陕西国际商贸学院 基于课堂辅助教学智能化***的人机交互方法
CN111901681A (zh) * 2020-05-04 2020-11-06 东南大学 一种基于人脸识别及手势识别的智能电视控制装置和方法
CN112965594A (zh) * 2021-02-25 2021-06-15 广东机电职业技术学院 一种基于视觉手势识别的机器人人机交互***和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774894A (zh) * 2016-12-16 2017-05-31 重庆大学 基于手势的交互式教学方法及交互***
CN107766842A (zh) * 2017-11-10 2018-03-06 济南大学 一种手势识别方法及其应用
CN110244846A (zh) * 2019-06-13 2019-09-17 陕西国际商贸学院 基于课堂辅助教学智能化***的人机交互方法
CN111901681A (zh) * 2020-05-04 2020-11-06 东南大学 一种基于人脸识别及手势识别的智能电视控制装置和方法
CN112965594A (zh) * 2021-02-25 2021-06-15 广东机电职业技术学院 一种基于视觉手势识别的机器人人机交互***和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘潇: "基于深度学习的人体行为识别技术的研究与应用" *
刘潇: "基于深度学习的人体行为识别技术的研究与应用", 中国优秀硕士学位论文全文数据库信息科技辑, no. 2019, pages 138 - 871 *
刘长坤: "基于手势识别的智能控制***的设计与实现", 电脑知识与技术, pages 9 - 10 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118154820A (zh) * 2024-05-13 2024-06-07 南京竹影数字科技有限公司 基于实时虚实融合与实时虚实的互动演播方法

Similar Documents

Publication Publication Date Title
WO2019029100A1 (zh) 一种基于虚拟现实与增强现实的采矿操作多交互实现方法
CN103226388A (zh) 一种基于Kinect的手写方法
CN107272881A (zh) 一种信息输入方法及装置，输入法键盘和电子设备
CN103106038B (zh) 基于草图手势及弧形摘要时间轴的视频交互方法和***
CN111580903A (zh) 实时投票方法、装置、终端设备和存储介质
Rahim et al. Gestural flick input-based non-touch interface for character input
CN113741694A (zh) 一种智能交互的手势控制方法和装置
CN107608510A (zh) 手势模型库的建立方法、装置及电子设备
Park et al. LED-glove based interactions in multi-modal displays for teleconferencing
Alvarado et al. Properties of real-world digital logic diagrams
Khan et al. GesCAD: an intuitive interface for conceptual architectural design
CN113253838A (zh) 基于ar的视频教学方法、电子设备
CN104951083A (zh) 一种远距离手势输入法及输入***
CN115016641A (zh) 基于手势识别的会议控制方法、装置、会议***和介质
CN111860086A (zh) 基于深度神经网络的手势识别方法、装置及***
Liu et al. GestureTeach: A gesture guided online teaching interactive model
Ahamed et al. Efficient gesture-based presentation controller using transfer learning algorithm
Wang et al. Research on gesture recognition and classification based on attention mechanism
Munggaran et al. Handwritten pattern recognition using Kohonen neural network based on pixel character
Kobayashi et al. Development of a Japanese calligraphic brush writing simulation system using leap motion
Tupal et al. Vision-Based Hand Tracking System Development for Non-Face-to-Face Interaction
CN114967927B (zh) 一种基于图像处理的智能手势交互方法
WO2023004553A1 (zh) 指尖鼠标的实现方法及***
Pa et al. Deep Learning Technique Based Character and Speech-to-Text Recognition for Interactive Online Writing with Virtual Pen and Eraser
Hemanth Deep Learning Technique Based Character and Speech-to-Text Recognition for Interactive Online Writing with Virtual Pen and Eraser

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination