CN104375630A - 一种基于Kinect的公共信息终端 - Google Patents

一种基于Kinect的公共信息终端 Download PDF

Info

Publication number
CN104375630A
CN104375630A CN201310514369.XA CN201310514369A CN104375630A CN 104375630 A CN104375630 A CN 104375630A CN 201310514369 A CN201310514369 A CN 201310514369A CN 104375630 A CN104375630 A CN 104375630A
Authority
CN
China
Prior art keywords
human body
kinect
user
module
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310514369.XA
Other languages
English (en)
Inventor
陈拥权
张羽
李梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANHUI COSWIT INFORMATION TECHNOLOGY Co Ltd
Original Assignee
ANHUI COSWIT INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANHUI COSWIT INFORMATION TECHNOLOGY Co Ltd filed Critical ANHUI COSWIT INFORMATION TECHNOLOGY Co Ltd
Priority to CN201310514369.XA priority Critical patent/CN104375630A/zh
Publication of CN104375630A publication Critical patent/CN104375630A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种基于Kinect的公共信息终端，它涉及人机交互领域。Kinect感应设备和显示屏均与后台专用计算机连接，后台专用计算机内设置有交互***，所述Kinect感应设备将感应到的图像以及粗略的人体识别信息发送到交互***；所述后台专用计算机内安装有包含公共信息服务的交互***，该***包括人体识别模块、骨骼跟踪模块以及交互界面模块，人体识别模块与骨骼跟踪模块连接，骨骼跟踪模块与交互界面模块连接。Kinect感应设备可以识别6个人，解决了共享问题；Kinect感应设备采用非接触感应，很大程度上解决了卫生问题；Kinect感应设备非接触感应的机制也更不易出现故障，维护成本也相对较低。

Description

一种基于Kinect的公共信息终端
技术领域：
本发明涉及人机交互领域，具体涉及一种基于Kinect的公共信息终端。
背景技术：
在城市信息化建设的过程中，公共信息终端扮演着重要的角色，人们随时随地查询特定种类信息的需求，促成了公共信息终端的产生与发展。但是目前的公共信息终端还存在操作不便、容易损坏、共享性不好等问题。如能设计一种新的公共信息终端，有效解决此类问题，将对信息化建设起到重要作用。
最初的公共信息终端，采用特定配置的计算机来实现。这种公共信息终端直接使用计算机界面，与用户存在隔阂，不熟悉计算机操作的人使用上存在困难；并且查询不同的信息需要不同的软件，由于计算机软件的复杂性，软件故障率较高，时常会出现软件故障，需要专业人员介入维护。
随着触摸屏技术的发展与普及，出现了基于触摸屏的公共信息终端，并广泛应用。触摸屏公共信息终端与计算机终端相比，操作相对方便，并且由于软件的嵌入化、专业化，软件故障率也有所降低。但其不足之处是硬件故障率较高，触摸屏在过多或不适当的触摸，以及环境干扰下，容易出现灵敏度与准确度下降，或者划伤导致的硬件故障，从而仍然需要专业人员介入维护，维护成本较高。
并且，以上两种传统的公共信息终端都存在两个共同问题：一是共享性差，不便多人使用。二是此类接触式公共设备由不确定的人反复接触，卫生成为用户所担忧的问题之一，并且制约了这种设备在某些对卫生要求高的场合的应用。
发明内容：
本发明的目的是提供一种基于Kinect的公共信息终端，它解决基于触摸屏的公共信息终端共享性差、维护成本高、卫生条件差的问题。
为了解决背景技术所存在的问题，本发明是采用以下技术方案：它包括Kinect感应设备a、显示屏b和后台专用计算机c，Kinect感应设备a和显示屏b均与后台专用计算机c连接，后台专用计算机c内设置有交互***d。
所述Kinect感应设备a将感应到的图像以及粗略的人体识别信息发送到交互***d。
所述后台专用计算机c内安装有包含公共信息服务的交互***d，该***包括人体识别模块1、骨骼跟踪模块2以及交互界面模块3，人体识别模块1与骨骼跟踪模块2连接，骨骼跟踪模块2与交互界面模块3连接。
所述人体识别模块1处理Kinect感应设备a得到的粗略人体信息，判断是否有人与终端进行交互；所述骨骼跟踪模块2当用户处于交互状态时，识别与跟踪人体姿态；所述交互界面模块3接受骨骼跟踪模块2的交互信息，实现信息查询、切换等功能，并在显示屏b上显示。
本发明具有以下有益效果：Kinect感应设备可以识别6个人，解决了共享问题；Kinect感应设备采用非接触感应，很大程度上解决了卫生问题；Kinect感应设备非接触感应的机制也更不易出现故障，只要注意不要受强烈震动以及日常保洁即可，维护成本也相对较低。
附图说明：
图1为本发明的结构框图，
图2为本发明的流程图。
具体实施方式：
参照图1，本具体实施方式采用以下技术方案：它包括Kinect感应设备a、显示屏b和后台专用计算机c，Kinect感应设备a和显示屏b均与后台专用计算机c连接，后台专用计算机c内设置有交互***d。
所述Kinect感应设备a将感应到的图像以及粗略的人体识别信息发送到交互***d。
所述后台专用计算机c内安装有包含公共信息服务的交互***d，该***包括人体识别模块1、骨骼跟踪模块2以及交互界面模块3，人体识别模块1与骨骼跟踪模块2连接，骨骼跟踪模块2与交互界面模块3连接。
所述人体识别模块1处理Kinect感应设备a得到的粗略人体信息，判断是否有人与终端进行交互；所述骨骼跟踪模块2当用户处于交互状态时，识别与跟踪人体姿态；所述交互界面模块3接受骨骼跟踪模块2的交互信息，实现信息查询、切换等功能，并在显示屏b上显示。
参照图2，所述人体识别模块1分为以下步骤：
步骤A，读取Kinect感应设备a提供的带有粗略人体划分的深度图像；
步骤B，对人体深度信息进行去噪与统计；
步骤C，识别启动交互的人体，并将其传递到骨骼跟踪模块。
Kinect感应设备a提供的深度图像，本身已经经过了粗略的人体分割，每个像素都带有玩家索引信息。玩家索引为0表示该像素不是人体，1-6代表不同的人体。该人体分割是较为粗略的，会将人体边缘一些背景像素划分到人体范围中。在所述步骤A中，读取Kinect感应设备a的深度图像，并根据Kinect感应设备a的人体分割，将不同人体的深度图像分离。
在所述步骤B中，首先对每个人体深度图像进行形态学腐蚀操作，以去除边缘的错误划分像素。然后，统计每个人体像素的平均位置与平均深度值，以及最小深度值及其所处位置。
在所述步骤C中，根据步骤B中的统计信息，识别是否有人体处于启动交互状态。用户以惯用手向前伸出的姿态，表示开始与终端进行交互。为识别这一姿态，首先判断人体的最小深度值，与平均深度值之间的差值，如超过一定阈值，判断可能为手前伸姿态，进入下一步；然后判断最小深度值所处位置，如在人体平均位置的右侧偏上，则判断为右手向前伸出，将该人体传给骨骼跟踪模块，并保存交互手为右手；如在人体平均位置的左侧偏上，则判断为左手向前伸出，将该人体传给骨骼跟踪模块，并保存交互手为左手；如在其它位置，则判断不是手部向前伸出姿态，不传递该人体到骨骼跟踪模块。
所述骨骼跟踪模块2，分为以下步骤：
步骤I，提取用户双手的位置；
步骤II，将交互手的位置与状态在屏幕上显示；
步骤III，根据双手位置与用户姿态，调用交互界面模块执行相应动作。
在所述步骤I中，读取Kinect感应设备a获得的用户的骨骼数据，得到用户双手的物理位置。如用户的交互手已经持续处于不可见状态达到预设时间阀值，则判断用户退出交互。
在所述步骤II中，将用户的交耳手位置通过线性变换，映射到交互界面上的位置，并在交耳界面上显示手势光标。
在所述步骤III中，由用户的双手位置，可能还包括骨骼数据所确定的用户身体姿势，来判断用户的交互行为。
用户的非交互手位置，用于辅助交互界面操作。当非交互手向身体侧向伸出时，如交耳手指向界面上的一个有效按钮，则这一手势表示点击该按钮。使用该双手操作表示点击按钮，可以使点击按钮这一操作更有效，也更准确。
当捕捉到点击动作时，改变手势光标的颜色或形状以提供反馈，并将点击操作发送给交互界面模块，执行相应动作。当捕捉到交互手处于交互界面模块所设定的可触发交耳的位置时，或用户身体姿势符合交互界面模块所设定的交互姿势时，也将该信息发送给交互界面模块，并执行相应动作。
所述交互界面模块3使用现有的自然用户界面(NUI)设计技术，以菜单、按钮、姿势控制等界面元素，将信息终端所提供的信息服务组织起来。该模块的结构随应用领域不同而有不同，需要注意的是界面元素应该足够大，使用户的手方便准确操作。
本具体实施方式具有以下有益效果：Kinect感应设备可以识别6个人，解决了共享问题；Kinect感应设备采用非接触感应，很大程度上解决了卫生问题；Kinect感应设备非接触感应的机制也更不易出现故障，只要注意不要受强烈震动以及日常保洁即可，维护成本也相对较低。

Claims (5)

1.一种基于Kinect的公共信息终端，其特征在于它包括Kinect感应设备(a)、显示屏(b)和后台专用计算机(c)，Kinect感应设备(a)和显示屏(b)均与后台专用计算机(c)连接，后台专用计算机(c)内设置有交互***(d)，所述Kinect感应设备(a)将感应到的图像以及粗略的人体识别信息发送到交互***(d)；所述后台专用计算机(c)内安装有包含公共信息服务的交互***(d)，该***包括人体识别模块(1)、骨骼跟踪模块(2)以及交互界面模块(3)，人体识别模块(1)与骨骼跟踪模块(2)连接，骨骼跟踪模块(2)与交互界面模块(3)连接。
2.根据权利要求1所述的一种基于Kinect的公共信息终端，其特征在于所述人体识别模块(1)处理Kinect感应设备a得到的粗略人体信息，判断是否有人与终端进行交互：所述骨骼跟踪模块(2)当用户处于交互状态时，识别与跟踪人体姿态；所述交互界面模块(3)接受骨骼跟踪模块(2)的交互信息，实现信息查询、切换等功能，并在显示屏(b)上显示。
3.根据权利要求1所述的一种基于Kinect的公共信息终端，其特征在于所述人体识别模块(1)分为以下步骤：
步骤(A)，读取Kinect感应设备a提供的带有粗略人体划分的深度图像；
步骤(B)，对人体深度信息进行去噪与统计；
步骤(C)，识别启动交互的人体，并将其传递到骨骼跟踪模块；
Kinect感应设备(a)提供的深度图像，本身已经经过了粗略的人体分割，每个像素都带有玩家索引信息，玩家索引为0表示该像素不是人体，1-6代表不同的人体，该人体分割是较为粗略的，会将人体边缘一些背景像素划分到人体范围中，在所述步骤(A)中，读取Kinect感应设备(a)的深度图像，并根据Kinect感应设备(a)的人体分割，将不同人体的深度图像分离；
在所述步骤(B)中，首先对每个人体深度图像进行形态学腐蚀操作，以去除边缘的错误划分像素，然后，统计每个人体像素的平均位置与平均深度值，以及最小深度值及其所处位置；
在所述步骤(C)中，根据步骤(B)中的统计信息，识别是否有人体处于启动交互状态，用户以惯用手向前伸出的姿态，表示开始与终端进行交互，为识别这一姿态，首先判断人体的最小深度值，与平均深度值之间的差值，如超过一定阈值，判断可能为手前伸姿态，进入下一步；然后判断最小深度值所处位置，如在人体平均位置的右侧偏上，则判断为右手向前伸出，将该人体传给骨骼跟踪模块，并保存交互手为右手；如在人体平均位置的左侧偏上，则判断为左手向前伸出，将该人体传给骨骼跟踪模块，并保存交互手为左手；如在其它位置，则判断不是手部向前伸出姿态，不传递该人体到骨骼跟踪模块。
4.根据权利要求1所述的一种基于Kinect的公共信息终端，其特征在于所述骨骼跟踪模块(2)，分为以下步骤：
步骤(I)，提取用户双手的位置；
步骤(II)，将交互手的位置与状态在屏幕上显示；
步骤(III)，根据双手位置与用户姿态，调用交互界面模块执行相应动作；
在所述步骤(I)中，读取Kinect感应设备(a)获得的用户的骨骼数据，得到用户双手的物理位置，如用户的交互手已经持续处于不可见状态达到预设时间阈值，则判断用户退出交互；
在所述步骤(II)中，将用户的交互手位置通过线性变换，映射到交互界面上的位置，并在交互界面上显示手势光标；
在所述步骤(III)中，由用户的双手位置，可能还包括骨骼数据所确定的用户身体姿势，来判断用户的交互行为；
用户的非交互手位置，用于辅助交互界面操作，当非交互手向身体侧向伸出时，如交互手指向界面上的一个有效按钮，则这一手势表示点击该按钮，使用该双手操作表示点击按钮，可以使点击按钮这一操作更有效，也更准确；
当捕捉到点击动作时，改变手势光标的颜色或形状以提供反馈，并将点击操作发送给交互界面模块，执行相应动作，当捕捉到交互手处于交互界面模块所设定的可触发交互的位置时，或用户身体姿势符合交互界面模块所设定的交互姿势时，也将该信息发送给交互界面模块，并执行相应动作。
5.根据权利要求1所述的一种基于Kinect的公共信息终端，其特征在于所述交互界面模块(3)使用现有的自然用户界面设计技术，以菜单、按钮、姿势控制等界面元素，将信息终端所提供的信息服务组织起来。
CN201310514369.XA 2013-10-22 2013-10-22 一种基于Kinect的公共信息终端 Pending CN104375630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310514369.XA CN104375630A (zh) 2013-10-22 2013-10-22 一种基于Kinect的公共信息终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310514369.XA CN104375630A (zh) 2013-10-22 2013-10-22 一种基于Kinect的公共信息终端

Publications (1)

Publication Number Publication Date
CN104375630A true CN104375630A (zh) 2015-02-25

Family

ID=52554610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310514369.XA Pending CN104375630A (zh) 2013-10-22 2013-10-22 一种基于Kinect的公共信息终端

Country Status (1)

Country Link
CN (1) CN104375630A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866111A (zh) * 2015-06-12 2015-08-26 安徽朗坤物联网有限公司 一种基于Kinect的公共信息终端
CN105022483A (zh) * 2015-07-08 2015-11-04 安徽瑞宏信息科技有限公司 一种基于Kinect的公共信息终端
CN108241429A (zh) * 2016-12-23 2018-07-03 航天信息股份有限公司 一种操作税务自动终端机的方法及税务自助终端机
CN111147505A (zh) * 2019-01-02 2020-05-12 姜鹏飞 一种呼叫方法、装置、设备及计算机可读存储介质
CN111897430A (zh) * 2020-07-30 2020-11-06 深圳创维－Rgb电子有限公司 应用的控制方法、显示终端及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110289456A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Modifiers For Manipulating A User-Interface
CN102520793A (zh) * 2011-11-30 2012-06-27 苏州奇可思信息科技有限公司 基于手势识别的会议演示交互方法
CN102945079A (zh) * 2012-11-16 2013-02-27 武汉大学 一种基于智能识别与控制的立体投影***与方法
CN103258188A (zh) * 2013-04-19 2013-08-21 上海应用技术学院 基于跨平台计算机视觉库的移动目标物体检测跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110289456A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Modifiers For Manipulating A User-Interface
CN102520793A (zh) * 2011-11-30 2012-06-27 苏州奇可思信息科技有限公司 基于手势识别的会议演示交互方法
CN102945079A (zh) * 2012-11-16 2013-02-27 武汉大学 一种基于智能识别与控制的立体投影***与方法
CN103258188A (zh) * 2013-04-19 2013-08-21 上海应用技术学院 基于跨平台计算机视觉库的移动目标物体检测跟踪方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866111A (zh) * 2015-06-12 2015-08-26 安徽朗坤物联网有限公司 一种基于Kinect的公共信息终端
CN105022483A (zh) * 2015-07-08 2015-11-04 安徽瑞宏信息科技有限公司 一种基于Kinect的公共信息终端
CN108241429A (zh) * 2016-12-23 2018-07-03 航天信息股份有限公司 一种操作税务自动终端机的方法及税务自助终端机
CN111147505A (zh) * 2019-01-02 2020-05-12 姜鹏飞 一种呼叫方法、装置、设备及计算机可读存储介质
CN111897430A (zh) * 2020-07-30 2020-11-06 深圳创维－Rgb电子有限公司 应用的控制方法、显示终端及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11886667B2 (en) Always-available input through finger instrumentation
US10126858B2 (en) Touch display device and touch method thereof
CN104375630A (zh) 一种基于Kinect的公共信息终端
CN106598335A (zh) 一种移动终端的触摸屏控制方法、装置及移动终端
CN101609362B (zh) 以视讯为基础的游标控制装置及其控制方法
KR20130088104A (ko) 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법
CN104978133A (zh) 一种用于智能终端的截屏方法和装置
WO2019062243A1 (zh) 触摸操作的识别方法、装置及电子设备
CN107273009B (zh) 一种移动终端快速截屏的方法及***
EP2955619A1 (en) Mobile terminal and application control method therefor
US20150169134A1 (en) Methods circuits apparatuses systems and associated computer executable code for providing projection based human machine interfaces
CN103995623B (zh) 一种非接触式触屏控制装置
CN112068698A (zh) 一种交互方法、装置及电子设备、计算机存储介质
CN105224089A (zh) 手势操作方法及装置、移动终端
CN106598422B (zh) 混合操控方法及操控***和电子设备
CN105022483A (zh) 一种基于Kinect的公共信息终端
CN104820544A (zh) 菜单显示放大方法及装置
CN103558957A (zh) 一种移动终端屏幕操作的方法及装置
KR20100048747A (ko) 안면 추적을 이용한 모바일 유저 인터페이스 장치
CN112578987A (zh) 屏外交互式触摸一体机及其交互方法
CN104881125A (zh) 一种基于Kinect的公共信息终端
CN104866111A (zh) 一种基于Kinect的公共信息终端
CN204719733U (zh) 一种触控显示装置
CN112162689B (zh) 输入方法、装置及电子设备
Raheja et al. GUI system for elders/patients in intensive care

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150225

WD01 Invention patent application deemed withdrawn after publication