CN112363629B - 一种新的非接触式人机交互方法及*** - Google Patents

一种新的非接触式人机交互方法及*** Download PDF

Info

Publication number
CN112363629B
CN112363629B CN202011395956.8A CN202011395956A CN112363629B CN 112363629 B CN112363629 B CN 112363629B CN 202011395956 A CN202011395956 A CN 202011395956A CN 112363629 B CN112363629 B CN 112363629B
Authority
CN
China
Prior art keywords
point
display screen
computer interaction
target
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202011395956.8A
Other languages
English (en)
Other versions
CN112363629A (zh
Inventor
袁誉乐
于奇
郭学胤
梁立新
相韶华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Technology University
Original Assignee
Shenzhen Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Technology University filed Critical Shenzhen Technology University
Priority to CN202011395956.8A priority Critical patent/CN112363629B/zh
Priority to PCT/CN2020/137285 priority patent/WO2022116281A1/zh
Publication of CN112363629A publication Critical patent/CN112363629A/zh
Application granted granted Critical
Publication of CN112363629B publication Critical patent/CN112363629B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明适用于人机交互的技术领域，提供了一种新的非接触式人机交互方法及***，所述方法包括步骤：S100、在深度摄像机的二维平面图像中，自动检测显示屏幕的三个顶点A、B、C和目标点F；S200、结合深度摄像机内参，将顶点A、B、C和目标点F的平面像素坐标转换为深度摄像机坐标系下的三维坐标；S300、计算目标点F在显示屏幕上的投影点F’在深度摄像机坐标系下的三维坐标；S400、计算投影点F’在显示屏幕上的平面像素坐标；S500、识别目标点F的动作，调用相关***鼠标接口进行鼠标事件触发。本发明解决了无鼠标环境下利用手指指尖等可检测的目标物体对屏幕内容进行操控的问题，无需任何标定，具有计算量小、硬件设备简单的优点。

Description

一种新的非接触式人机交互方法及***
技术领域
本发明属于人机交互的技术领域，具体涉及一种新的非接触式人机交互方法及***。
背景技术
目前，非接触式人机交互技术在互动游戏、互动博物馆、互动旅游馆以及VR/AR(虚拟现实/增强现实)等领域都有着广泛的应用，使用者在电脑显示屏、智能电视等显示区域前用各种非接触式的手势就可以与电子产品进行交互操作，比如可以用手势调节音量，这种无需鼠标操作的人机交互技术具有极大的市场价值及经济价值。
在公开号CN102841679A，发明名称为一种非接触式人机互动方法与装置的专利申请文件中，公开了一种非接触式人机互动的方法与装置，主要是利用了摄像机标定原理，其中需要获取摄像机的位置信息和方向信息计算标定结果，还需要引入重力传感模块和滑动测阻模块，硬件设计较为复杂。
而随着深度摄像机的出现和计算机视觉领域中深度学***面图像信息，还可以获得拍摄对象的深度信息，也就是三维的位置和尺寸信息，使得整个计算***能够获得环境和对象的三维立体数据。深度摄像机具备三维感测与识别的能力，经过进一步深化处理，还可以完成三维建模等应用。
发明内容
本发明实施例的目的在于提供一种新的非接触式人机交互方法，旨在解决现有技术中的利用摄像机标定原理进行非接触式人机交互存在的计算过程复杂并且硬件复杂的问题。
本发明实施例是这样实现的，提供一种新的非接触式人机交互方法，包括如下步骤：
S100、在深度摄像机的二维平面图像中，利用深度学***面像素坐标；
S200、结合深度摄像机内参，将顶点A、B、C和目标点F的平面像素坐标转换为深度摄像机坐标系下的三维坐标；
S300、计算目标点F在显示屏幕上的投影点F’在深度摄像机坐标系下的三维坐标；
S400、计算投影点F’在显示屏幕上的平面像素坐标；
S500、识别目标点F的动作，调用相关***鼠标接口进行鼠标事件触发。
进一步地，所述步骤S100包括如下子步骤：
S110、利用基于深度学***面像素坐标；
S120、建立一个两阶段的目标检测深度神经网络结构，对目标点F进行自动检测，包括：
S121、建立一个目标物体检测深度神经网络，用于检测二维平面图像中的目标物体，对检测到的目标物体区域进行扩展，并根据扩展后的区域定位目标物体；
S122、建立一个目标点检测深度神经网络，用于检测目标物体的目标点，并定位出目标点，得到目标点F的平面像素坐标。
进一步地，所述步骤S120还包括：建立一个双通道注意力机制的神经网络，用于提高检测目标点的定位精度。
进一步地，所述步骤S300包括：
根据顶点A、B、C，计算经过顶点A的屏幕平面的法向量n，根据线段FF’平行于法向量n和线段AF’垂直于法向量n，计算投影点F’的三维坐标。
进一步地，所述步骤S400包括：
计算投影点F’的平面像素坐标中横坐标u与纵坐标v之比，然后结合显示屏幕的屏幕分辨率，得到投影点F’的平面像素坐标。
进一步地，所述步骤S400包括：
分别计算投影点F’到线段AB的距离DFAB和投影点F’到线段AC的距离DFAC，得到投影点F’的平面像素坐标中横坐标u与纵坐标v之比，然后结合显示屏幕的屏幕分辨率，根据u＝(DFAB/AC)*屏幕水平像素，v＝(DFAC/AB)*屏幕垂直像素，得到投影点F’的平面像素坐标F’(u,v)。
本发明实施例的另一目的在于提供一种新的非接触式人机交互***，包括计算机、深度摄像机、显示屏幕，计算机分别与深度摄像机和显示屏幕连接，所述***采用上述新的非接触式人机交互方法进行人机交互。
本发明实施例的又一目的在于提供一种计算机可读存储介质，其存储用于电子数据交换的程序，所述程序用于执行上述新的非接触式人机交互方法。
与现有技术相比，本发明提供的一种新的非接触式人机交互方法及***的有益效果为：解决了无鼠标环境下利用手指指尖等可检测的目标物体对屏幕内容进行操控的问题，这种新的非接触式人机交互方法无需任何标定，具有计算量小、硬件设备简单的优点。本发明基于深度学***面信息、三维深度信息，计算得到目标物体在显示屏幕上的投影的坐标，触发鼠标事件，实现非接触式人机交互。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图得到其它的附图。
图1是本发明实施例提供的一种新的非接触式人机交互方法的流程图。
图2是本发明实施例中深度摄像机拍摄到的二维平面图像。
图3是本发明实施例中两阶段的目标检测深度神经网络结构的示意图。
图4是本发明实施例中深度摄像机、手指指尖与显示屏幕的位置关系示意图。
图5是本发明实施例中计算投影点F’在深度摄像机坐标系中的三维坐标的流程图。
图6是本发明实施例中触发鼠标双击事件时手指指尖的当前位置与原始位置的关系示意图。
图7是本发明实施例中触发鼠标双击事件的流程图。
图8是本发明实施例提供的一种新的非接触式人机交互***的结构示意图。
具体实施方式
为了使本发明要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参考图1，图1是本发明实施例提供的一种新的非接触式人机交互方法的流程图，该方法包括以下步骤：
S100、在深度摄像机的二维平面图像中，利用深度学***面像素坐标A(ua,va)，B(ub,vb)，C(uc,vc)，F(u0,v0)；
S200、结合深度摄像机内参，将各点的平面像素坐标转换为深度摄像机坐标系下的三维坐标，得到各点的三维坐标A(x1,y1,z1),B(x2,y2,z2),C(x3,y3,z3),F(x0,y0,z0)；
S300、计算目标点F在显示屏幕上的投影点F’在深度摄像机坐标系下的三维坐标F’(x′,y′,z′)；
S400、计算投影点F’在显示屏幕上的平面像素坐标F’(u,v)，包括：
分别计算投影点F’到线段AB的距离DFAB和投影点F’到线段AC的距离DFAC，得到投影点F’的平面像素坐标中横坐标u与纵坐标v之比，然后结合显示屏幕的屏幕分辨率(屏幕水平像素*屏幕垂直像素)，根据u＝(DFAB/AC)*屏幕水平像素，v＝(DFAC/AB)*屏幕垂直像素，得到投影点F’的平面像素坐标F’(u,v)；
S500、识别目标点F的动作，在投影点F’的位置显示鼠标标记，调用相关***鼠标接口进行鼠标事件触发，对显示屏幕进行操控。
图2是本发明实施例中深度摄像机拍摄到的二维平面图像，图像中显示了一块呈长方形的显示屏幕和手势为伸出食指的一只手。在本发明实施例中，将手指指尖作为目标点进行说明，在其他实施例中，还可以选择其他可检测的目标物体作为目标点。
参考图2，上述步骤S100包括如下子步骤：
S110、利用基于深度学***面，并以顶点A作为屏幕平面的像素坐标系的原点，得到各点的平面像素坐标A(ua,va)，B(ub,vb)，C(uc,vc)；
S120、参考图3，建立一个两阶段的目标检测深度神经网络结构，对手指指尖F进行自动检测，包括：
S121、建立一个手指检测深度神经网络，用于检测二维平面图像中的手指，对检测到的手指区域进行扩展，并根据扩展后的区域定位手指；
S122、建立一个指尖检测深度神经网络，用于检测手指的指尖，并定位出指尖，得到手指指尖F的平面像素坐标F(u0,v0)。
为了提高检测指尖的定位精度，本发明实施例还建立了一个双通道注意力机制的神经网络。注意力机制是一种模拟人脑注意力的模型，利用有限的注意力快速筛选出重要信息，从而提高人脑在处理视觉信息上的效率与准确率。
参考图4，图4是本发明实施例中深度摄像机、手指指尖与显示屏幕的位置示意图。图中显示了手指指尖F在显示屏幕的投影点F’。
参考图5，上述步骤S300包括如下子步骤：
S310、根据顶点A、B、C，计算经过顶点A的屏幕平面的法向量n＝(a,b,c)，其中：
a＝y1(z2-z3)+y2(z3-z1)+y3(z1-z2)，
b＝z1(x2-x3)+z2(x3-x1)+z3(x1-x2)，
c＝x1(y2-y3)+x2(y3-y1)+x3(y1-y2)；
S320、设投影点F’在深度摄像机坐标系下的三维坐标为F’(x′,y′,z′)，根据线段FF’平行于法向量n，得到方程组：
Figure BDA0002815188060000061
S330、根据线段AF’垂直于法向量n，得到方程：
a(x′-x1)+b(y′-y1)+c(z′-z1)＝0(**)；
S340、联立方程组(*)和方程(**)，得到t，将t代入方程组(*)，即得到投影点F’的三维坐标F’(x′,y′,z′)。
具体地，上述步骤S500中的所述识别目标点F的动作包括：
当其他顶点A、B、C均固定不变时，使用者移动手指，利用上述步骤S100到S200重新计算手指指尖F的三维坐标。其中，目标点F的动作包括点击、双击、保持按下状态、按下后被释放等，对应触发的所述鼠标事件包括鼠标点击事件(click)、鼠标双击事件(dbclick)、鼠标按钮被按下时触发的事件(mousedown)、鼠标按钮被释放时触发的事件(mouseup)。
下面以触发鼠标双击事件为例进行说明。
图6是本发明实施例中触发鼠标双击事件时手指指尖的当前位置与手指指尖原始位置的关系示意图，图中D1、D2分别为手指指尖的当前位置到原始位置的距离，D1>D2。参考图6，本发明实施例中双击动作的定义为：手指指尖离开原始位置后又回到原始位置附近，所述手指指尖离开原始位置的定义为：手指指尖的位置与原始位置的距离大于D1，所述手指指尖回到原始位置附近的定义为：手指指尖的位置与原始位置的距离小于D2。
图7是本发明实施例中触发鼠标双击事件的流程图。参考图7，由于鼠标双击事件一般会在2秒内结束，这样在50帧图像序列内会出现一个点击动作。本发明实施例中通过每5帧图像检测手指指尖的坐标，并设置标记FAR＝TRUE为第tn帧图像的指尖坐标与原始位置的距离大于D1，设置标记NEAR＝TRUE为第tm帧(0<tn<tm<50)图像的指尖坐标与原始位置的距离小于D2；当FAR＝TRUE并且NEAR＝TRUE时，触发鼠标双击事件，对显示屏幕进行操控。具体流程如下步骤：
首先读取图像，判断是否距离FAR＝TRUE过去了50帧图像也没有NEAR＝TRUE，若是，则设置FAR＝FALSE并且NEAR＝FALSE，即如果第tn帧图像的手指指尖在离开原始位置后，直到第(tn+50)帧图像的手指指尖都没有回到原始位置附近，则对第tn帧图像的手指指尖进行归位；若否，则每5帧图像检测手指指尖的坐标，当检测到的手指指尖的坐标满足FAR＝TRUE时，继续检测，直到手指指尖的坐标还满足NEAR＝TRUE时，触发鼠标双击事件，并设置FAR＝FALSE并且NEAR＝FALSE，重复以上步骤。
设原始位置的手指指尖的三维坐标为(x0,y0,z0)，第tn帧图像的指尖坐标为(xtn,ytn,ztn)，第tm帧图像的指尖坐标为(xtm,ytm,ztm)，则当同时满足：
(xtn-x0)2+(ytn-y0)2+(ztn-z0)2＞D12和
(xtm-x0)2+(ytm-y0)2+(ztm-z0)2＜D22时，触发鼠标双击事件。
本发明实施例提供了一种非接触式人机交互方法，用以解决无鼠标环境下利用手指指尖等可检测的目标物体对屏幕内容进行操控的问题。这种新的非接触式人机交互方法无需任何标定，而是基于深度学***面信息、三维深度信息，计算得到目标物体在显示屏幕上的投影的坐标，触发鼠标事件，实现非接触式人机交互。具有计算量小、硬件设备简单的优点。
参考图8，本发明实施例还提供了一种新的非接触式人机交互***，包括：计算机、深度摄像机、显示屏幕，计算机分别与深度摄像机和显示屏幕连接。该***采用上述实施例的方法进行人机交互。深度摄像机采集显示屏幕的顶点的位置信息和目标点的位置信息，计算机用于根据深度摄像机采集到的位置信息计算目标点在显示屏幕上的投影的位置信息，并调用相关***鼠标接口进行鼠标事件触发，对显示屏幕进行操控。
本发明实施例还提供一种计算机可读存储介质，其存储用于电子数据交换的程序，程序用于执行本发明的新的非接触式人机交互方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种新的非接触式人机交互方法，包括如下步骤：
S100、在深度摄像机的二维平面图像中，利用深度学***面像素坐标；
S200、结合深度摄像机内参，将顶点A、B、C和目标点F的平面像素坐标转换为深度摄像机坐标系下的三维坐标；
S300、计算目标点F在显示屏幕上的投影点F’在深度摄像机坐标系下的三维坐标；
S400、计算投影点F’在显示屏幕上的平面像素坐标；
S500、识别目标点F的动作，调用相关***鼠标接口进行鼠标事件触发。
2.如权利要求1所述的新的非接触式人机交互方法，其特征在于，所述步骤S100包括如下子步骤：
S110、利用基于深度学***面像素坐标；
S120、建立一个两阶段的目标检测深度神经网络结构，对目标点F进行自动检测，包括：
S121、建立一个目标物体检测深度神经网络，用于检测二维平面图像中的目标物体，对检测到的目标物体区域进行扩展，并根据扩展后的区域定位目标物体；
S122、建立一个目标点检测深度神经网络，用于检测目标物体的目标点，并定位出目标点，得到目标点F的平面像素坐标。
3.如权利要求2所述的新的非接触式人机交互方法，其特征在于，所述步骤S120还包括：建立一个双通道注意力机制的神经网络，用于提高检测目标点的定位精度。
4.如权利要求1所述的新的非接触式人机交互方法，其特征在于，所述步骤S300包括：
根据顶点A、B、C，计算经过顶点A的屏幕平面的法向量n，根据线段FF’平行于法向量n和线段AF’垂直于法向量n，计算投影点F’的三维坐标。
5.如权利要求1所述的新的非接触式人机交互方法，其特征在于，所述步骤S400包括：
计算投影点F’的平面像素坐标中横坐标u与纵坐标v之比，然后结合显示屏幕的屏幕分辨率，得到投影点F’的平面像素坐标。
6.如权利要求1所述的新的非接触式人机交互方法，其特征在于，所述步骤S400包括：
分别计算投影点F’到线段AB的距离DFAB和投影点F’到线段AC的距离DFAC，得到投影点F’的平面像素坐标中横坐标u与纵坐标v之比，然后结合显示屏幕的屏幕分辨率，根据u＝(DFAB/AC)*屏幕水平像素，v＝(DFAC/AB)*屏幕垂直像素，得到投影点F’的平面像素坐标F’(u,v)。
7.一种新的非接触式人机交互***，包括计算机、深度摄像机、显示屏幕，计算机分别与深度摄像机和显示屏幕连接，所述***采用如权利要求1-6中任一项所述的新的非接触式人机交互方法进行人机交互。
8.一种计算机可读存储介质，其存储用于电子数据交换的程序，所述程序用于执行如权利要求1-6中任一项所述的新的非接触式人机交互方法。
CN202011395956.8A 2020-12-03 2020-12-03 一种新的非接触式人机交互方法及*** Expired - Fee Related CN112363629B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011395956.8A CN112363629B (zh) 2020-12-03 2020-12-03 一种新的非接触式人机交互方法及***
PCT/CN2020/137285 WO2022116281A1 (zh) 2020-12-03 2020-12-17 一种新的非接触式人机交互方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011395956.8A CN112363629B (zh) 2020-12-03 2020-12-03 一种新的非接触式人机交互方法及***

Publications (2)

Publication Number Publication Date
CN112363629A CN112363629A (zh) 2021-02-12
CN112363629B true CN112363629B (zh) 2021-05-28

Family

ID=74536668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011395956.8A Expired - Fee Related CN112363629B (zh) 2020-12-03 2020-12-03 一种新的非接触式人机交互方法及***

Country Status (2)

Country Link
CN (1) CN112363629B (zh)
WO (1) WO2022116281A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095243B (zh) * 2021-04-16 2022-02-15 推想医疗科技股份有限公司 一种鼠标控制的方法、装置、计算机设备和介质
WO2023004553A1 (zh) * 2021-07-26 2023-02-02 广州视源电子科技股份有限公司 指尖鼠标的实现方法及***
CN113807191B (zh) * 2021-08-23 2024-06-14 南京航空航天大学 一种非侵入式可视化测试脚本自动录制方法
CN115617178B (zh) * 2022-11-08 2023-04-25 润芯微科技(江苏)有限公司 一种手指与车机无接触即可完成按键和功能触发的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354345A (zh) * 2011-10-21 2012-02-15 北京理工大学 一种具有体感交互方式的医学影像浏览设备
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN103345301A (zh) * 2013-06-18 2013-10-09 华为技术有限公司 一种深度信息获取方法和装置
CN103914152A (zh) * 2014-04-11 2014-07-09 周光磊 三维空间中多点触控与捕捉手势运动的识别方法与***
CN109683699A (zh) * 2019-01-07 2019-04-26 深圳增强现实技术有限公司 基于深度学习实现增强现实的方法、装置及移动终端
CN110782532A (zh) * 2019-10-23 2020-02-11 北京达佳互联信息技术有限公司 图像生成方法、生成装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム
WO2012129421A2 (en) * 2011-03-23 2012-09-27 Tk Holdings Inc. Dynamic stereo camera calibration system and method
CN102968222A (zh) * 2012-11-07 2013-03-13 电子科技大学 一种基于深度摄像机的多点触摸设备
CN103207709A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技（苏州）有限公司 一种多点触摸***及方法
CN103793060B (zh) * 2014-02-14 2017-07-28 杨智 一种用户交互***和方法
CA3109571A1 (en) * 2018-07-16 2020-01-23 Accel Robotics Corporation Autonomous store tracking system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354345A (zh) * 2011-10-21 2012-02-15 北京理工大学 一种具有体感交互方式的医学影像浏览设备
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN103345301A (zh) * 2013-06-18 2013-10-09 华为技术有限公司 一种深度信息获取方法和装置
CN103914152A (zh) * 2014-04-11 2014-07-09 周光磊 三维空间中多点触控与捕捉手势运动的识别方法与***
CN109683699A (zh) * 2019-01-07 2019-04-26 深圳增强现实技术有限公司 基于深度学习实现增强现实的方法、装置及移动终端
CN110782532A (zh) * 2019-10-23 2020-02-11 北京达佳互联信息技术有限公司 图像生成方法、生成装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022116281A1 (zh) 2022-06-09
CN112363629A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112363629B (zh) 一种新的非接触式人机交互方法及***
TWI690842B (zh) 基於手勢辨認的互動顯示方法和裝置
US6624833B1 (en) Gesture-based input interface system with shadow detection
Kollorz et al. Gesture recognition with a time-of-flight camera
Murthy et al. Hand gesture recognition using neural networks
EP1368788B1 (en) Object tracking system using multiple cameras
O'Hagan et al. Visual gesture interfaces for virtual environments
Katz et al. A multi-touch surface using multiple cameras
Chen et al. A particle filtering framework for joint video tracking and pose estimation
CN110751097A (zh) 一种半监督的三维点云手势关键点检测方法
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
Simion et al. Finger detection based on hand contour and colour information
Schlattmann et al. Markerless 4 gestures 6 DOF real‐time visual tracking of the human hand with automatic initialization
Cheng et al. Fingertip-based interactive projector–camera system
Varga et al. Survey and investigation of hand motion processing technologies for compliance with shape conceptualization
Gope et al. Interaction with Large Screen Display using Fingertip & Virtual Touch Screen
Kolaric et al. Direct 3D manipulation using vision-based recognition of uninstrumented hands
Wickeroth et al. Markerless gesture based interaction for design review scenarios
Haubner et al. Recognition of dynamic hand gestures with time-of-flight cameras
Jia et al. Tracking pointing gesture in 3d space for wearable visual interfaces
Ukita et al. Wearable Virtual Tablet: Fingertip Drawing Interface Using an Active-Infrared Camera.
Wensheng et al. Implementation of virtual mouse based on machine vision
Ma et al. Comparative Analysis on Few Typical Algorithms of Gesture Recognition for Human-robot Interaction
Xie et al. Natural Bare-Hand Interaction for Remote Operating Large Touch Screen.
Reddy et al. Virtual Mouse using Hand and Eye Gestures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210528