CN103268153A - 演示环境下基于计算机视觉的人机交互***及交互方法 - Google Patents
演示环境下基于计算机视觉的人机交互***及交互方法 Download PDFInfo
- Publication number
- CN103268153A CN103268153A CN2013102123622A CN201310212362A CN103268153A CN 103268153 A CN103268153 A CN 103268153A CN 2013102123622 A CN2013102123622 A CN 2013102123622A CN 201310212362 A CN201310212362 A CN 201310212362A CN 103268153 A CN103268153 A CN 103268153A
- Authority
- CN
- China
- Prior art keywords
- gesture
- human body
- effect display
- display module
- vision sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000000694 effects Effects 0.000 claims abstract description 97
- 230000033001 locomotion Effects 0.000 claims description 52
- 230000009471 action Effects 0.000 claims description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 17
- 230000003993 interaction Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 6
- 241000209094 Oryza Species 0.000 claims description 5
- 235000007164 Oryza sativa Nutrition 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 235000009566 rice Nutrition 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000007665 sagging Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种演示环境下基于计算机视觉的人机交互***，该人机交互***包括演示屏幕、计算机、视觉传感器和人体，人体和演示屏幕位于视觉传感器的视野范围内；人***于演示屏幕前方；人体背部或者人体侧部与演示屏幕相对；计算机中包含手势识别模块和效果显示模块。该人机交互***一方面可以让演讲者面向观众展现演示内容，另一方面显示内容间的切换效果和其他动画效果可以动态地由演讲者手势确定，减少了显示效果前期准备时间，提高了演讲者的工作效率。同时，本发明还公开了该交互***的交互方法，该方法简单，通过演讲者的手势动作控制演示内容的切换。
Description
技术领域
本发明属于人机交互领域，具体来说，涉及演示环境下的基于计算机视觉的人机交互***及交互方法。
背景技术
演示行为是指借助屏幕或投影显示演示内容，用演讲的形式的一种介绍行为。演示环境是指进行演示行为的环境。目前，随着各类视频捕捉设备的快速普及，基于视觉的用户行为分析与自然交互技术的重要性也越来越突出，并可广泛应用于智能电视、体感交互、教学演示等场合。一个典型的应用场景是：目前普遍使用的演示***通常要使用如键盘、鼠标以及无线遥控器等控制设备，但在人机交互的自然化，便捷性上仍存在诸多限制。如果能针对人机交互这一典型问题，开发一种更加自然的交互方式，显然是非常有吸引力和实用价值的。基于计算机视觉的人机交互可以解决以上问题，然后现有的此类交互一般都要求控制者面对屏幕，且身体不能靠近身后的物体。显然，这样的空间要求放在演示环境中的演讲者身上是不合适的。此外，为了避免手势误判，控制者在身上，尤其是手部，受到了很大的约束。
发明内容
技术问题：本发明所要解决的技术问题是：提供演示环境下基于计算机视觉的人机交互***，该人机交互***通过视觉手段识别演讲者的典型手势，并将其应用于***演示，从而从视觉识别角度，帮助演讲者与演示设备间自然交互，一方面可以让演讲者面向观众展现演示内容，另一方面显示内容间的切换效果和其他动画效果可以动态地由演讲者手势确定，减少了显示效果前期准备时间，提高了演讲者的工作效率；同时，还提供了该交互***的交互方法，该方法简单，通过演讲者的手势动作控制演示内容的切换。
技术方案：为解决上述技术问题，本发明采用的技术方案是：
一种演示环境下基于计算机视觉的人机交互***，该人机交互***包括演示屏幕、计算机、视觉传感器和人体，人体和演示屏幕位于视觉传感器的视野范围内；人***于演示屏幕前方；人体背部或者人体侧部与演示屏幕相对；计算机中包含手势识别模块和效果显示模块；
手势识别模块用于控制计算机与视觉传感器的连接和断开，从视觉传感器获得数据，并对接收的数据进行分析，产生相应的手势控制指令，将手势控制指令传递给与效果显示模块；
效果显示模块用于建立和绘制图形界面，读入或绘制用户进行演示的内容，提供用户选择的手势指令集合，接受手势识别模块发送的手势控制指令，并显示手势控制指令对应的演示内容；
计算机中的效果显示模块将演示内容绘制在展示给观众观看的演示屏幕上，视觉传感器捕获位于视觉传感器的视野范围内的信息作为视觉信息，视觉传感器将视觉信息传给计算机的手势识别模块，手势识别模块接受并分析该视觉信息，然后生成与该视觉信息相应的手势控制指令，手势识别模块将该手势控制指令传递给效果显示模块，效果显示模块根据接收到的手势控制指令，切换演示屏幕上的演示内容。
进一步，所述的效果显示模块还用于接受通过计算机辅件输入的控制指令，并显示该控制指令对应的演示内容。
上述的演示环境下基于计算机视觉的人机交互***的交互方法，该交互方法包括以下步骤：
第一步：设置人体手势控制动作的标准运动方式，然后将该标准运动方式及该标准运动方式对应的判别标准，存储在手势识别模块中；对每种手势控制动作的标准运动方式分配手势指令，将每种手势指令以及该手势指令对应的演示效果制成指令效果对照表，将该指令效果对照表存储在效果显示模块中；
第二步：安装***：安装视觉传感器，使人体和演示屏幕位于视觉传感器的视野范围内；视觉传感器的信号输出端与计算机的手势识别模块的信号输入端进行通信连接，手势识别模块的信号输出端和效果显示模块的信号输入端连接，效果显示模块的信号输出端和演示屏幕的信号输入端连接；演示屏幕显示演示内容及切换的动画效果；
第三步：人机交互：人体在演示屏幕前方作出手势动作，视觉传感器捕获位于视觉传感器的视野范围内的信息，并将信息传递给手势识别模块，手势识别模块持续对视觉传感器传递的信息进行分析，并判断该信息中包含的人体手势动作是否属于第一步中设置的人体手势控制动作的标准运动方式，如果是，则将该信息转化为手势指令后传递给效果显示模块，效果显示模块接收手势识别模块传递的信息，根据指令效果对照表，对演示屏幕上演示的内容做出相应的改变；如果不是，则手势识别模块记录或者不记录该计算结果，手势识别模块不与效果显示模块通信或者通知效果显示模块当前没有有效手势，效果显示模块对演示内容不产生操作。
有益效果：与现有技术相比，本发明具有以下有益效果：
（1）演讲显示内容间的切换效果和其他动画效果动态地由演讲者手势确定，减少了显示效果前期准备时间，提高了演讲者的工作效率。现有技术中演讲环境通常由演讲者、屏幕、计算机构成，演讲者在演讲过程中需要到计算机上切换演示内容，或者借助遥控器等额外配件来实现控制。而且所切换的内容及切换方式也是实现设置好的，不能根据演讲需要动态的改变。本发明的人机交互***包括演示屏幕、计算机、视觉传感器和人体。人体即演讲者。人***于演示屏幕前方，且人体背部或者人体侧部与演示屏幕相对。视觉传感器捕获位于视觉传感器的视野范围内的信息作为视觉信息，视觉传感器将视觉信息传给手势识别模块，手势识别模块接受并分析该视觉信息，然后生成与该视觉信息相应的手势控制指令，效果显示模块根据接收到的手势控制指令，切换演示屏幕上的演示内容。这样，人体在演讲的同时，通过自身的手势控制动作，实现了演示屏幕的内容切换。在此过程中，人体无需中止演讲，来进行演讲内容的切换。这样，本发明的交互***提高了演讲者的工作效率。
（2）有利于保持人体演讲的连贯性。在本发明的交互***中，人体在切换演讲内容时，无需中止演讲，只需通过手势控制动作，即可实现演示屏幕内容的切换。人体在一边演讲时，一边进行演讲内容的切换。这有利于保持人体演讲的连贯性。本发明的***中，人体与各设备间具有适合演示环境的空间关系。控制手势没有约束人体做正常演讲需要的肢体语言。考虑到了演示环境中观众的存在，本发明将演示内容的切换效果与手势动作保持一致性，让观众感受到演讲者切换内容的流畅，帮助演讲者取得更好的演讲展示效果。
（3）演讲者面向观众展现演示内容。现有技术的人机交互中，人体通常面向屏幕才能进行人机交互。而本发明中的人机交互***和方法中，人体在演讲时，面向观众，在进行演示内容切换时，仍然可以面向观众。本发明的人机交互，无需人体面向屏幕。现有的基于计算机视觉的人体交互***往往会因为不能完整的识别出整个人体而无法进行一些手势判断。本专利的技术方案允许人体与背景距离比较近。本发明的***中的手势可由用户将手掌平贴在屏幕上进行操作，相当于与背景的零距离接触。
附图说明
图1是本发明中交互方法的流程框图。
图2是本发明中实施例1的人体手势动作示意图。
图3是本发明中实施例2的人体手势动作示意图。
图4是本发明中实施例3的人体手势动作示意图。
具体实施方式
下面结合实施例，对本发明的技术方案进行详细的说明。
本发明的演示环境下基于计算机视觉的人机交互***，该人机交互***包括演示屏幕、计算机、视觉传感器和人体。视觉传感器优选带深度数据的视觉传感器，如微软公司的Kinect For Windows。视觉传感器的视野范围是以视觉传感器为顶点的圆锥形的区域，且该视野范围覆盖了全部或部分演示屏幕。人体和演示屏幕位于视觉传感器的视野范围内；人***于演示屏幕前方；人体背部或者人体侧部与演示屏幕相对；计算机中包含手势识别模块和效果显示模块。手势识别模块用于控制计算机与视觉传感器的连接和断开，从视觉传感器获得数据，并对接收的数据进行分析，产生相应的手势控制指令，将手势控制指令传递给与效果显示模块。效果显示模块用于建立和绘制图形界面，读入或绘制用户进行演示的内容，提供用户选择的手势指令集合，接受手势识别模块发送的手势控制指令，并显示手势控制指令对应的演示内容。效果显示模块用于绘制与显示手势控制指令对应的演示内容，根据控制指令操控其他演示软件，如微软公司的 PowerPoint，进而切换演示内容。
上述***的工作过程是：计算机中的效果显示模块将演示内容绘制在展示给观众观看的演示屏幕上，视觉传感器捕获位于视觉传感器的视野范围内的信息作为视觉信息，视觉传感器将视觉信息传给计算机的手势识别模块，手势识别模块接受并分析该视觉信息，然后生成与该视觉信息相应的手势控制指令，手势识别模块将该手势控制指令传递给效果显示模块，效果显示模块根据接收到的手势控制指令，切换演示屏幕上的演示内容。
在上述人机交互***还包括投影仪。演示屏幕是投影幕布。利用投影幕布和投影仪来实现演示内容的传输与显示。计算机的效果显示模块的信号输出端与投影仪的信号输入端连接，投影仪的信号输出端与投影幕布相对。
当然，演示屏幕可以仅仅是显示屏。该显示屏的信号输入端与计算机的效果显示模块的信号输出端连接。这里的显示屏类型可以包括LED、CRT、等离子。演示屏幕展示的演示内容为多媒体内容，包括文字、图片、视频和音乐中的一种或任意组合。
进一步，所述的效果显示模块还用于接受通过计算机辅件输入的控制指令，并显示该控制指令对应的演示内容。计算机辅件包括键盘、鼠标、指点杆、触摸板和遥控器中的一种或任意组合。这使得本发明的交互***中演示内容的切换不仅仅可以依靠人体手势来实现，而且通过计算机辅件输入的控制指令也可以实现。这样，有利于扩大演示内容切换的控制方式。
如图1所示，上述演示环境下基于计算机视觉的人机交互***的交互方法，包括以下步骤：
第一步：设置人体手势控制动作的标准运动方式，然后将该标准运动方式及该标准运动方式对应的判别标准，存储在手势识别模块中；对每种手势控制动作的标准运动方式分配手势指令，将每种手势指令以及该手势指令对应的演示效果制成指令效果对照表，将该指令效果对照表存储在效果显示模块中；
第二步：安装***：安装视觉传感器，使人体和演示屏幕位于视觉传感器的视野范围内；视觉传感器的信号输出端与计算机的手势识别模块的信号输入端进行通信连接，手势识别模块的信号输出端和效果显示模块的信号输入端连接，效果显示模块的信号输出端和演示屏幕的信号输入端连接；演示屏幕显示演示内容及切换的动画效果；
第三步：人机交互：人体在演示屏幕前方作出手势动作，视觉传感器捕获位于视觉传感器的视野范围内的信息，并将信息传递给手势识别模块，手势识别模块持续对视觉传感器传递的信息进行分析，并判断该信息中包含的人体手势动作是否属于第一步中设置的人体手势控制动作的运动方式，如果是，则将该信息转化为手势指令后传递给效果显示模块，效果显示模块接收手势识别模块传递的信息，根据指令效果对照表，对演示屏幕上演示的内容做出相应的改变；如果不是，则手势识别模块记录或者不记录该计算结果，手势识别模块不与效果显示模块通信或者通知效果显示模块当前没有有效手势，效果显示模块对演示内容不产生操作。
进一步，所述的第一步中，设置人体手势控制动作的运动方式可以有多种。但在本专利中优选，向左移动、向右移动、向上移动、向下移动四种运动方式。在设置该四种运动方式时，同时在演示屏幕前方设置手势判断区域，手势判断区域位于视觉传感器的视野范围中。这样，在第三步人机交互中，手势识别模块对视觉传感器传递的信息进行分析的过程包括以下步骤：
步骤101）根据计算机视觉算法,测算人体手部位置。
步骤102）分析人体手部的位置是否在手势判断区域内：设定演示屏幕前方n米以内的区域为手势判断区域，接着测算出人体的手部到演示屏幕的距离为h米，如果h≤n，则人体手部位于手势判断区域内，进入步骤103），如果h＞n，则人体手部位于手势判断区域外，该人体手部动作不属于第一步中设置的人体手势控制动作的标准运动方式。n优选为0.05—0.5。
步骤103）设定手部向上移动的阈值为D1、向下移动的阈值为D2、向左移动的阈值为D3、向右移动的阈值为D4，然后判断人体手部动作中包含的手势运动轨迹从起点到终点分别向上、下、左、右四个方向移动的距离是否达到相应方向的阈值，如果达到阈值，则该手部动作属于第一步中设置的人体手势控制动作的运动方式；如果没有达到阈值，则该手部动作不属于第一步中设置的人体手势控制动作的运动方式；如果两个或两个以上方向都达到阈值，则将最先达到的阈值对应的方向作为第一步中设置的人体手势控制动作的标准运动方式。作为优选，D1= D2= 0.15 H ，D3=D4=0.12 H，其中，H表示人体身高。
本专利中测算人体手部位置用计算机视觉算法。计算机视觉算法属于现有技术。例如论文《Real-time human pose recognition in parts from single depth images》（出处CVPR '11 Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition；Pages 1297-1304）公开的计算机视觉算法。下面介绍上述步骤101）中测算人体手部位置的一种方法：
（1011）利用计算机视觉中的算法以视觉传感器数据为输入作为计算，得出包含人体手部的人体各关节位置信息，取出其中的手部三维位置用于后续分析与计算。这里的算法可以是现有的计算机视觉算法，比如Kinect SDK for Windows中提供的。
（1012）若（1011）中算法无法针对当前数据计算出人体手部位置信息，或者得出的结果具有较低的置信度时，则丢弃（1011）中的计算结果，进入（1013），否则进入本专利的步骤102）中，分析人体手部的位置是否在判断区域内。
（1013）利用计算机视觉中的算法在视觉传感器数据的背景里分离出人***置。这里的算法可以是现有的计算机视觉算法，比如Kinect SDK for Windows中提供的。分析（1012）中得到的人体左右两边最旁侧的位置，即水平方向上剔除干扰点后的最边缘的左右两点作为手部位置（优先为左）。取该点的空间位置作为人体手部空间位置的近似，进入本专利的步骤102）中，分析人体手部的位置是否在判断区域内。
以上仅是一种具体的算法，本领域技术人员可以采用现有的其他算法，只要能测算出人体手部的位置即可。
现有技术的人机交互设备中，人体通常面向屏幕，才能进行人机交互。而在本发明中，人体背向屏幕或者人体侧部朝向屏幕。演讲过程中，演讲者通过手势控制演讲内容切换时，不需要面向屏幕。这样就方便了演讲者在演讲的同时，通过手势运动，控制屏幕上演示内容的切换。本发明的人机交互场景用于演示环境，演讲者在给一群观众做展示。演讲者在演讲的同时，用很多肢体语言来帮助说明，并且用手势动作控制演示屏幕上的演示内容的切换。
下面例举实施例。
实施例1：开窗
如图2所示，采用本发明的交互***和交互方法，进行开窗操作。开窗的人体手势控制动作的标准运动方式为：演讲者沿着与演示屏幕平行的方向，伸出双手，双手在竖直方向保持一定的间隔，双手距演示屏幕5-100厘米，然后双手分别向上和向下打开。
手势识别模块持续地对视觉传感器捕获的信息进行计算和分析。利用计算机视觉算法得出人体手部位置与躯干位置。设定手部在水平方向与躯干相差d米为伸出状态。d优选为1。当手势识别模块识别出：人体先伸出第一只手；再伸出第二只手，且第二只手与第一只手同方向伸出；双手上下打开这三个阶段后，手势识别模块向效果显示模块发送对应开窗动作的手势指令。效果显示模块接收手势识别模块传递的信息，根据指令效果对照表，控制演示屏幕的显示效果，即：当双手上下张开时，当前演示内容也在水平方向上被上下切开，分别向屏幕的上方与下方移动，此时演示屏幕显示接下来的演示内容，当之前被切开的演示内容完全移动至演示屏幕边缘时，切换结束。
实施例2：上、下、左、右推拉动作
针对播放演示***过程中的基础控制动作（包括上、下、左、右四个方向移动），其中上、下、左、右分别对应播放演示内容时，切换演示内容的移动方向。上和左表示切换到下一张演示内容，右和下表示切换到上一张演示内容。
如图3所示，采用本发明的交互***和交互方法，分别进行上、下、左、右推拉动作。演讲者在进行上、下、左、右推拉动作时，身体尽量与幕布平行，与幕布保持20cm以上的距离。要切换页面时，将手放入距离屏幕十厘米内的手势判断区域内，进行上、下、左、右推拉动作。
人体手势控制动作的标准运动方式为：上移：手部放入手势判断区域，人体手部向上移动，移动完毕后，手部移出手势判断区域；下移：手部放入手势判断区域，人体手部向下移动，移动完毕后，手部移出手势判断区域；左移：手部放入手势判断区域，人体手部向左移动，移动完毕后，手部移出手势判断区域；右移：手部放入手势判断区域，人体手部向右移动，移动完毕后，手部移出手势判断区域。
手势识别模块持续地对视觉传感器捕获的信息进行计算和分析。手势识别模块判断该信息中包含的人体手势动作属于提前设置的人体手势控制动作的运动方式后，将该手部动作对应的手势指令传递给效果显示模块，效果显示模块接收手势识别模块传递的手势指令，根据指令效果对照表，对演示屏幕的内容进行相应的切换操作。
演示屏幕的显示效果是：根据手部移动的方向(若手部斜着移动，则根据角度归入正上、正下、正左、正右四个方向中最接近的一个)，当前演示内容朝向手部方向的屏幕边缘移动，同时下一演示内容从相对的一侧开始移入，直至下一演示内容完全覆盖整个屏幕位置。当手部向上或向左推动时，演示屏幕的内容切换到下一张幻灯片。当手部向下或向右推动时，演示屏幕的内容切换到上一张图片。
人体手部放入屏幕前方的手势判断区域内时，如果是做向下动作时，应将手部在最高处时放入手势判断区域，而不应该先放入判断区，再将手部举起到最高处。在一个动作做完，页面切换完成后，才可进行下一个动作。
实施例3：音乐开启
如图4所示，采用本发明的交互***和交互方法，进行音乐开启操作。
音乐开启的人体手势控制动作的标准运动方式为：演示者立于视觉传感器正前方，双手自然下垂，人体双手从距离胸前至少10cm的位置，同时缓缓举起，直至肩部位置。
手势识别模块持续地对视觉传感器捕获的信息进行计算和分析。利用计算机视觉算法得出人体手部位置与躯干位置。设定手部在水平方向与躯干相差10cm为伸出状态。当发现人体先后经历双手自然下垂、胸前伸出并同时举起、双手的高度大于或等于肩膀的高度三个阶段后，则向效果显示模块发送对应音乐开启的手势指令。效果显示模块接受到指令后，根据指令效果对照表查阅为开启音乐的效果，对演示屏幕进行音乐开启操作。演示屏幕的显示效果是：播放预先定义的音频文件。
实施例4：音乐停止
音乐停止的人体手势控制动作的标准运动方式为：演示者立于视觉传感器正前方，双手高度大于或等于肩膀高度，双手从距离胸前至少10cm的位置，同时缓缓落下，直至双手自然下垂的位置。
手势识别模块持续地对视觉传感器捕获的信息进行计算和分析。利用计算机视觉算法得出人体手部位置与躯干位置。设定手部在水平方向与躯干相差10cm为伸出状态。当手势识别模块识别出人体先后经历双手的高度大于或等于肩膀的高度、胸前伸出并同时落下和双手自然下垂三个阶段后，则手势识别模块向效果显示模块发送对应的音乐关闭的手势指令。效果显示模块接受到手势指令后，根据指令效果对照表查阅为音乐停止的效果。效果显示模块对演示屏幕进行音乐停止操作。演示屏幕的显示效果是：若当前有音频正在播放，则结束播放。
Claims (10)
1.一种演示环境下基于计算机视觉的人机交互***，其特征在于，该人机交互***包括演示屏幕、计算机、视觉传感器和人体，人体和演示屏幕位于视觉传感器的视野范围内；人***于演示屏幕前方；人体背部或者人体侧部与演示屏幕相对；计算机中包含手势识别模块和效果显示模块；
手势识别模块用于控制计算机与视觉传感器的连接和断开，从视觉传感器获得数据，并对接收的数据进行分析，产生相应的手势控制指令，将手势控制指令传递给与效果显示模块；
效果显示模块用于建立和绘制图形界面，读入或绘制用户进行演示的内容，提供用户选择的手势指令集合，接受手势识别模块发送的手势控制指令，并显示手势控制指令对应的演示内容；
计算机中的效果显示模块将演示内容绘制在展示给观众观看的演示屏幕上，视觉传感器捕获位于视觉传感器的视野范围内的信息作为视觉信息，视觉传感器将视觉信息传给计算机的手势识别模块，手势识别模块接受并分析该视觉信息，然后生成与该视觉信息相应的手势控制指令，手势识别模块将该手势控制指令传递给效果显示模块，效果显示模块根据接收到的手势控制指令，切换演示屏幕上的演示内容。
2.按照权利要求1所述的演示环境下基于计算机视觉的人机交互***，其特征在于，还包括投影仪，所述的演示屏幕是投影幕布，计算机的效果显示模块的信号输出端与投影仪的信号输入端连接，投影仪的信号输出端与投影幕布相对。
3.按照权利要求1所述的演示环境下基于计算机视觉的人机交互***，其特征在于，所述的演示屏幕是显示屏，该显示屏的信号输入端与计算机的效果显示模块的信号输出端连接。
4.按照权利要求1所述的演示环境下基于计算机视觉的人机交互***，其特征在于，所述的效果显示模块还用于接受通过计算机辅件输入的控制指令，并显示该控制指令对应的演示内容。
5.按照权利要求4所述的演示环境下基于计算机视觉的人机交互***，其特征在于，所述的计算机辅件包括键盘、鼠标、指点杆、触摸板和遥控器中的一种或任意组合。
6.按照权利要求1所述的演示环境下基于计算机视觉的人机交互***，其特征在于，所述的视觉传感器是带深度数据的视觉传感器。
7.按照权利要求1所述的演示环境下基于计算机视觉的人机交互***，其特征在于，所述的演示内容包括文字、图片、视频和音乐中的一种或任意组合。
8.一种权利要求1所述的演示环境下基于计算机视觉的人机交互***的交互方法，其特征在于，该交互方法包括以下步骤：
第一步：设置人体手势控制动作的标准运动方式，然后将该标准运动方式及该标准运动方式对应的判别标准，存储在手势识别模块中；对每种手势控制动作的标准运动方式分配手势指令，将每种手势指令以及该手势指令对应的演示效果制成指令效果对照表，将该指令效果对照表存储在效果显示模块中；
第二步：安装***：安装视觉传感器，使人体和演示屏幕位于视觉传感器的视野范围内；视觉传感器的信号输出端与计算机的手势识别模块的信号输入端进行通信连接，手势识别模块的信号输出端和效果显示模块的信号输入端连接，效果显示模块的信号输出端和演示屏幕的信号输入端连接；演示屏幕显示演示内容及切换的动画效果；
第三步：人机交互：人体在演示屏幕前方作出手势动作，视觉传感器捕获位于视觉传感器的视野范围内的信息，并将信息传递给手势识别模块，手势识别模块持续对视觉传感器传递的信息进行分析，并判断该信息中包含的人体手势动作是否属于第一步中设置的人体手势控制动作的标准运动方式，如果是，则将该信息转化为手势指令后传递给效果显示模块，效果显示模块接收手势识别模块传递的信息，根据指令效果对照表，对演示屏幕上演示的内容做出相应的改变；如果不是，则手势识别模块记录或者不记录该计算结果，手势识别模块不与效果显示模块通信或者通知效果显示模块当前没有有效手势，效果显示模块对演示内容不产生操作。
9.按照权利要求8所述的演示环境下基于计算机视觉的人机交互***的交互方法，其特征在于，所述的第一步中，设置人体手势控制动作的运动方式为向左移动、向右移动、向上移动、向下移动，同时在演示屏幕前方设置手势判断区域，手势判断区域位于视觉传感器的视野范围中。
10.按照权利要求9所述的演示环境下基于计算机视觉的人机交互***的交互方法，其特征在于，所述的第三步中，手势识别模块对视觉传感器传递的信息进行分析的过程包括以下步骤：
步骤101）根据计算机视觉算法,测算人体手部位置；
步骤102）分析人体手部的位置是否在手势判断区域内：设定演示屏幕前方n米以内的区域为手势判断区域，接着测算出人体的手部到演示屏幕的距离为h米，如果h≤n，则人体手部位于手势判断区域内，进入步骤103），如果h＞n，则人体手部位于手势判断区域外，该人体手部动作不属于第一步中设置的人体手势控制动作的标准运动方式；
步骤103）设定手部向上移动的阈值为D1、向下移动的阈值为D2、向左移动的阈值为D3、向右移动的阈值为D4，然后判断人体手部动作中包含的手势运动轨迹从起点到终点分别向上、下、左、右四个方向移动的距离是否达到相应方向的阈值，如果达到阈值，则该手部动作属于第一步中设置的人体手势控制动作的运动方式；如果没有达到阈值，则该手部动作不属于第一步中设置的人体手势控制动作的运动方式；如果两个或两个以上方向都达到阈值，则将最先达到的阈值对应的方向作为第一步中设置的人体手势控制动作的标准运动方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310212362.2A CN103268153B (zh) | 2013-05-31 | 2013-05-31 | 演示环境下基于计算机视觉的人机交互***及交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310212362.2A CN103268153B (zh) | 2013-05-31 | 2013-05-31 | 演示环境下基于计算机视觉的人机交互***及交互方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103268153A true CN103268153A (zh) | 2013-08-28 |
| CN103268153B CN103268153B (zh) | 2016-07-06 |
Family
ID=49011788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310212362.2A Expired - Fee Related CN103268153B (zh) | 2013-05-31 | 2013-05-31 | 演示环境下基于计算机视觉的人机交互***及交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103268153B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103677992A (zh) * | 2013-12-20 | 2014-03-26 | 深圳泰山在线科技有限公司 | 体感方式的页面切换方法及*** |
| CN104460972A (zh) * | 2013-11-25 | 2015-03-25 | 安徽寰智信息科技股份有限公司 | 一种基于Kinect的人机交互*** |
| CN104461524A (zh) * | 2014-11-27 | 2015-03-25 | 沈阳工业大学 | 基于Kinect的点歌方法 |
| CN104834383A (zh) * | 2015-05-26 | 2015-08-12 | 联想(北京)有限公司 | 一种输入方法和电子设备 |
| CN104952289A (zh) * | 2015-06-16 | 2015-09-30 | 浙江师范大学 | 一种新型智能化体感教具及其使用方法 |
| CN105549747A (zh) * | 2016-01-29 | 2016-05-04 | 合肥工业大学 | 一种基于无线手势交互的异型颗粒性led显示*** |
| CN106125928A (zh) * | 2016-06-24 | 2016-11-16 | 同济大学 | 基于Kinect的PPT演示辅助*** |
| CN107766842A (zh) * | 2017-11-10 | 2018-03-06 | 济南大学 | 一种手势识别方法及其应用 |
| CN108241434A (zh) * | 2018-01-03 | 2018-07-03 | 广东欧珀移动通信有限公司 | 基于景深信息的人机交互方法、装置、介质及移动终端 |
| CN109739373A (zh) * | 2018-12-19 | 2019-05-10 | 重庆工业职业技术学院 | 一种基于运动轨迹的演示设备控制方法及*** |
| CN109857325A (zh) * | 2019-01-31 | 2019-06-07 | 北京字节跳动网络技术有限公司 | 显示界面切换方法、电子设备及计算机可读存储介质 |
| CN109947247A (zh) * | 2019-03-14 | 2019-06-28 | 海南师范大学 | 一种体感交互展示***及方法 |
| CN112261395A (zh) * | 2020-10-22 | 2021-01-22 | Nsi产品(香港)有限公司 | 一种图像替换方法、装置、智能终端及存储介质 |
| CN113719810A (zh) * | 2021-06-07 | 2021-11-30 | 西安理工大学 | 一种基于视觉识别及智能控制的人机交互灯光装置 |
| CN113768497A (zh) * | 2015-05-04 | 2021-12-10 | 原相科技股份有限公司 | 动作辨识***及其方法 |
| CN113986066A (zh) * | 2021-10-27 | 2022-01-28 | 深圳市华胜软件技术有限公司 | 智能移动终端、控制方法以及智能移动*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101943947A (zh) * | 2010-09-27 | 2011-01-12 | 鸿富锦精密工业（深圳）有限公司 | 交互显示*** |
| CN201945947U (zh) * | 2011-01-21 | 2011-08-24 | 中科芯集成电路股份有限公司 | 一种多功能手势互动*** |
| CN102854983A (zh) * | 2012-09-10 | 2013-01-02 | 中国电子科技集团公司第二十八研究所 | 一种基于手势识别的人机交互方法 |
| CN102945079A (zh) * | 2012-11-16 | 2013-02-27 | 武汉大学 | 一种基于智能识别与控制的立体投影***与方法 |
-
2013
- 2013-05-31 CN CN201310212362.2A patent/CN103268153B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101943947A (zh) * | 2010-09-27 | 2011-01-12 | 鸿富锦精密工业（深圳）有限公司 | 交互显示*** |
| CN201945947U (zh) * | 2011-01-21 | 2011-08-24 | 中科芯集成电路股份有限公司 | 一种多功能手势互动*** |
| CN102854983A (zh) * | 2012-09-10 | 2013-01-02 | 中国电子科技集团公司第二十八研究所 | 一种基于手势识别的人机交互方法 |
| CN102945079A (zh) * | 2012-11-16 | 2013-02-27 | 武汉大学 | 一种基于智能识别与控制的立体投影***与方法 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104460972A (zh) * | 2013-11-25 | 2015-03-25 | 安徽寰智信息科技股份有限公司 | 一种基于Kinect的人机交互*** |
| CN103677992A (zh) * | 2013-12-20 | 2014-03-26 | 深圳泰山在线科技有限公司 | 体感方式的页面切换方法及*** |
| CN103677992B (zh) * | 2013-12-20 | 2017-02-22 | 深圳泰山在线科技有限公司 | 体感方式的页面切换方法及*** |
| CN104461524A (zh) * | 2014-11-27 | 2015-03-25 | 沈阳工业大学 | 基于Kinect的点歌方法 |
| CN113768497A (zh) * | 2015-05-04 | 2021-12-10 | 原相科技股份有限公司 | 动作辨识***及其方法 |
| CN104834383A (zh) * | 2015-05-26 | 2015-08-12 | 联想(北京)有限公司 | 一种输入方法和电子设备 |
| CN104952289A (zh) * | 2015-06-16 | 2015-09-30 | 浙江师范大学 | 一种新型智能化体感教具及其使用方法 |
| CN105549747A (zh) * | 2016-01-29 | 2016-05-04 | 合肥工业大学 | 一种基于无线手势交互的异型颗粒性led显示*** |
| CN106125928A (zh) * | 2016-06-24 | 2016-11-16 | 同济大学 | 基于Kinect的PPT演示辅助*** |
| CN107766842A (zh) * | 2017-11-10 | 2018-03-06 | 济南大学 | 一种手势识别方法及其应用 |
| CN107766842B (zh) * | 2017-11-10 | 2020-07-28 | 济南大学 | 一种手势识别方法及其应用 |
| CN108241434A (zh) * | 2018-01-03 | 2018-07-03 | 广东欧珀移动通信有限公司 | 基于景深信息的人机交互方法、装置、介质及移动终端 |
| CN108241434B (zh) * | 2018-01-03 | 2020-01-14 | Oppo广东移动通信有限公司 | 基于景深信息的人机交互方法、装置、介质及移动终端 |
| CN109739373A (zh) * | 2018-12-19 | 2019-05-10 | 重庆工业职业技术学院 | 一种基于运动轨迹的演示设备控制方法及*** |
| CN109857325A (zh) * | 2019-01-31 | 2019-06-07 | 北京字节跳动网络技术有限公司 | 显示界面切换方法、电子设备及计算机可读存储介质 |
| CN109947247A (zh) * | 2019-03-14 | 2019-06-28 | 海南师范大学 | 一种体感交互展示***及方法 |
| CN109947247B (zh) * | 2019-03-14 | 2022-07-05 | 海南师范大学 | 一种体感交互展示***及方法 |
| CN112261395A (zh) * | 2020-10-22 | 2021-01-22 | Nsi产品(香港)有限公司 | 一种图像替换方法、装置、智能终端及存储介质 |
| CN112261395B (zh) * | 2020-10-22 | 2022-08-16 | Nsi产品(香港)有限公司 | 一种图像替换方法、装置、智能终端及存储介质 |
| CN113719810A (zh) * | 2021-06-07 | 2021-11-30 | 西安理工大学 | 一种基于视觉识别及智能控制的人机交互灯光装置 |
| CN113719810B (zh) * | 2021-06-07 | 2023-08-04 | 西安理工大学 | 一种基于视觉识别及智能控制的人机交互灯光装置 |
| CN113986066A (zh) * | 2021-10-27 | 2022-01-28 | 深圳市华胜软件技术有限公司 | 智能移动终端、控制方法以及智能移动*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103268153B (zh) | 2016-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103268153A (zh) | 演示环境下基于计算机视觉的人机交互***及交互方法 | |
| CN104410883B (zh) | 一种移动可穿戴非接触式交互***与方法 | |
| US10466798B2 (en) | System and method for inputting gestures in 3D scene | |
| Fukumoto et al. | “Finger-Pointer”: Pointing interface by image processing | |
| CN201535853U (zh) | 交互式沙盘*** | |
| RU2422878C1 (ru) | Способ управления телевизором с помощью мультимодального интерфейса | |
| US20150248167A1 (en) | Controlling a computing-based device using gestures | |
| CN106598226A (zh) | 一种基于双目视觉和深度学习的无人机人机交互方法 | |
| US20100315418A1 (en) | Tabletop, mobile augmented reality system for personalization and cooperation, and interaction method using augmented reality | |
| GB2474536A (en) | Computer vision gesture based control by hand shape recognition and object tracking | |
| CN106325517A (zh) | 一种基于虚拟现实的目标对象触发方法、***和穿戴设备 | |
| Sood et al. | AAWAAZ: A communication system for deaf and dumb | |
| CN1797284A (zh) | 基于玩家姿势和语音的电子游戏场景和角色控制方法 | |
| CN105094645A (zh) | 一种信息处理方法和电子设备 | |
| CN101847057A (zh) | 一种触摸板获取输入信息的方法 | |
| KR20140028096A (ko) | 가상 영상에 대한 촉감 제공 장치 및 방법 | |
| CN108646578B (zh) | 一种无介质浮空投影虚拟画面与现实交互方法 | |
| CN103049191A (zh) | 在拼接墙显示***上实现鼠标交互操作的方法及装置 | |
| KR101426378B1 (ko) | 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법 | |
| CN109116987B (zh) | 一种基于Kinect手势控制的全息展示*** | |
| CN104598138A (zh) | 电子地图控制方法及装置 | |
| CN107193384B (zh) | 基于Kinect彩色图像在鼠标和键盘模拟行为的切换方法 | |
| KR20110070514A (ko) | 헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스 상에서 3차원 공간 터치를 제어하는 방법 | |
| KR20100048747A (ko) | 안면 추적을 이용한 모바일 유저 인터페이스 장치 | |
| KR101525011B1 (ko) | Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160706 Termination date: 20180531 |