CN105578250A - 基于物理模型的人机交互方法、装置及智能电视 - Google Patents

基于物理模型的人机交互方法、装置及智能电视 Download PDF

Info

Publication number
CN105578250A
CN105578250A CN201410534670.1A CN201410534670A CN105578250A CN 105578250 A CN105578250 A CN 105578250A CN 201410534670 A CN201410534670 A CN 201410534670A CN 105578250 A CN105578250 A CN 105578250A
Authority
CN
China
Prior art keywords
destination object
emulated physics
depth information
operating position
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410534670.1A
Other languages
English (en)
Inventor
李钾滨
周路璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leshi Zhixin Electronic Technology Tianjin Co Ltd
Original Assignee
Leshi Zhixin Electronic Technology Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leshi Zhixin Electronic Technology Tianjin Co Ltd filed Critical Leshi Zhixin Electronic Technology Tianjin Co Ltd
Priority to CN201410534670.1A priority Critical patent/CN105578250A/zh
Publication of CN105578250A publication Critical patent/CN105578250A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于物理模型的人机交互方法、装置及智能电视,该方法包括:根据目标对象的空间位置,确定该目标对象的空间位置对应在显示平面上的操作位置;当所述目标对象的操作位置位于所述仿真物理对象上时,计算所述目标对象的深度信息;根据所述深度信息,识别所述目标对象对所述仿真物理对象的操作状态。当需要返回首页或需调用设置、菜单时,通过直接对仿真物理对象的操作,快速返回至首页或进入设置、菜单,简化了操作流程,方便用户快速完成操作,并且避免多个手势干扰造成用户的误操作,使得用户可以更加准确、便捷地进行操作。

Description

基于物理模型的人机交互方法、装置及智能电视
技术领域
本发明涉及智能电视技术领域,尤其涉及一种基于物理模型的人机交互方法、装置及智能电视。
背景技术
在个人计算机已经智能化、手机和平板电脑也已经大面积智能化的情况下,为顺应电视机“高清化”、“网络化”、“智能化”的趋势,智能电视也逐步进入人们的生活。
智能电视,也被称为联网电视或混合式电视,智能电视可以运行完整的操作***或移动操作***,并提供一个软件平台,可以供应用软件开发者开发他们自己的软件在智能电视之上运行。它将计算机的功能集成进电视。
随着智能电视的发展,与智能电视进行交互的技术也应运而生,触摸、体感、面部特征识别等。对于智能电视来说,通过体感识别技术对用户的手势或者肢体动作等进行识别实现的人与智能电视的交互方式更加方便、可靠。现有的智能电视通常包括多个用户界面及大量的应用程序,比如包括展示传统信号源的界面、展示智能电视服务器提供的视频资源的特定界面、展示可下载的应用程序的界面等,每一界面或应用程序均会包含多层级的界面,当进入到多级界面时,若要返回至首页、设置、菜单等控制全局的界面,往往需要多次体感操作才能返回,或者通过设定固定的手势定义一项功能,需要用户学习记忆,当功能项太多时,往往不易记住;另若定义多个手势,往往容易与其他操作手势形成干扰,增加误操作的几率,给体感操作带来不便,影响用户体验效果。
发明内容
为解决智能电视操作繁琐、容易误操作等问题,本发明实施例提供了一种基于物理模型的人机交互方法、装置及智能电视,用以在使用智能电视的过程中,当需要返回首页或需调用设置、菜单时,简化了操作流程,方便用户快速完成操作,并且避免多个手势干扰造成用户的误操作,使得用户可以更加准确、便捷地进行操作。
本发明实施例提供的一种基于物理模型的人机交互方法,包括:
根据目标对象的空间位置,确定该目标对象的空间位置对应在显示平面上的操作位置;
当所述目标对象的操作位置位于所述仿真物理对象上时,计算所述目标对象的深度信息;
根据所述深度信息,识别所述目标对象对所述仿真物理对象的操作状态。
进一步地,所述目标对象的空间位置为所述目标对象的坐标信息(x,y,z)。
进一步地,当所述目标对象的操作位置位于预设激活区域内时,创建一操作浮层,在操作浮层上绘制仿真物理对象;
通过将该操作浮层的显示状态设置为可见状态,将所述绘制有仿真物理对象的操作浮层输出显示到显示平面上。
进一步地,所述计算所述目标对象的深度信息,包括:解析所述目标对象的z坐标信息以获得z坐标差值,将所述z坐标的差值作为目标对象的深度信息。
进一步地,根据所述深度信息生成所述仿真物理对象的视觉反馈以响应所述目标对象对所述仿真物理对象的操作状态,其中,所述视觉反馈为所述仿真物理对象的大小变化。
进一步地,当所述目标对象的操作位置不位于操控浮层内时,将所述操作浮层的显示状态设置为隐藏状态,停止将所述绘制有仿真物理对象的操作浮层输出显示到显示平面上。
进一步地,所述仿真物理对象为物理按键。
本发明实施例提供的基于物理模型的人机交互装置,包括:
目标对象操作位置确定单元,用于根据目标对象的空间位置,确定该目标对象的空间位置对应在显示平面上的操作位置;
深度信息计算单元,用于当所述目标对象的操作位置位于所述仿真物理对象上时,计算所述目标对象的深度信息;
操作状态识别单元,用于根据所述深度信息,识别所述目标对象对所述仿真物理对象的操作状态。
进一步地,所述装置还包括:仿真物理对象生成单元,用于当所述目标对象的操作位置位于预设激活区域内时,创建一操作浮层,在操作浮层上绘制仿真物理对象;
操作浮层控制单元,通过将该操作浮层的显示状态设置为可见状态,将所述绘制有仿真物理对象的操作浮层输出显示到显示平面上。
进一步地,所述装置还包括:,所述目标对象操作位置确定单元用于解析获取的目标对象的空间位置为所述目标对象的坐标信息(x,y,z);
所述深度信息计算单元还用于解析所述目标对象的z坐标信息以获得z坐标差值,将所述z坐标的差值作为目标对象的深度信息。
进一步地,所述装置还包括:视觉反馈单元,用于根据所述深度信息生成所述仿真物理对象的视觉反馈以响应所述目标对象对所述仿真物理对象的操作状态,其中,所述视觉反馈为所述仿真物理对象的大小变化。
进一步地,所述操作浮层控制单元还用于当所述目标对象的操作位置不位于操控浮层内时,将所述操作浮层的显示状态设置为隐藏状态,停止将所述绘制有仿真物理对象的操作浮层输出显示到显示平面上。
本发明实施例提供的一种智能电视,包括上述任一所述装置,使得用户在使用智能电视的过程中,当需要返回首页或需调用设置、菜单时,通过直接对仿真物理对象的操作,快速返回至首页或进入设置、菜单,简化了操作流程,方便用户快速完成操作,并且避免多个手势干扰造成用户的误操作,使得用户可以更加准确、便捷地进行操作。
附图说明
图1为本发明实施例一提供的基于物理模型的人机交互方法的流程示意图;
图2为本发明实施例二提供的基于物理模型的人机交互方法的流程示意图;
图3为本发明实施例三提供的基于物理模型的人机交互方法的流程示意图;
图4为本发明实施例一提供的基于物理模型的人机交互装置的结构示意图;
图5为本发明实施例二提供的基于物理模型的人机交互装置的结构示意图;
图6为本发明实施例三提供的基于物理模型的人机交互装置的结构示意图;
图7为本发明实施例提供的一种智能电视的结构示意图。
具体实施方式
下面结合本发明附图进一步说明本发明具体实现。
本发明提供一种基于物理模型的人机交互方法,应用于智能设备,如智能电视等。该智能设备连接一捕获装置,如PrimeSense体感摄像头,用于捕获目标对象的位置信息。该智能设备和该捕获装置可以通过USB连接。
该捕获装置可以通过将捕获的图像数据进行识别,当识别到目标对象的时候,分析目标对象的位置信息,并将所述位置信息发送给智能设备,智能设备获取目标对象的空间位置。当然,所述捕获装置也可以将捕获的图像数据直接发送给智能设备,由智能设备对图像数据进行识别,获取目标对象的空间位置。另所述捕获装置还可以通过红外感应获取目标对象的位置信息。
为了更好的反映目标对象所在的位置,本发明在捕获装置所在位置建立一三维坐标系,本发明所述空间位置为所述目标对象在该三维坐标系中的坐标信息(x,y,z)。
本发明对捕获的图像进行识别亦采用已有的图像识别算法来对图像中的目标对象进行识别获取其三维位置信息,比如采用现有的kinect以及PrimeSense方法,获取目标对象在三维坐标系中的坐标信息,故在此不再赘述。
具体地,该目标对象为手部、头部或者其他肢体,甚至某特定操作装置,如游戏杆、感应手套等。
参见图1,本发明实施例一提供一种基于物理模型的人机交互方法,包括以下步骤:
S1、根据目标对象的空间位置,确定该目标对象的空间位置对应在显示平面上的操作位置;
对于上述捕获装置获取的空间位置进行解析,通过一些算法计算出该空间位置对应在显示平面的操作位置,即该空间位置投影在显示平面的操作位置,为了用户使用直观、方便,可在投射的操作位置处绘制一操控标识符,其中,所述的操控标识符,例如是手型的标识符,或者箭头状的标识符,用于反映用户在显示平面上的操作位置。
S2、当所述目标对象的操作位置位于所述仿真物理对象上时,计算所述目标对象的深度信息;
捕获装置实时捕获目标对象的空间位置并投射至显示平面的操作位置,当目标对象的操作位置位于所述仿真物理对象上时,即当目标对象的操作位置的x、y坐标信息与仿真物理对象的x、y坐标信息相符合时,解析所述目标对象的z坐标信息以获得z坐标差值,将所述z坐标的差值作为目标对象的深度信息。具体为:按预设周期获取所述目标对象的多个空间位置,将该多个空间位置按获取的时间顺序保存至一队列,所述队列可以为一固定长度队列,可保存一定数量的空间位置,计算队列中当前位置与起始位置的z坐标的差值,将所述z坐标的差值作为目标对象的深度信息。
其中,该预设周期由本领域技术人员根据需求或智能设备的配置进行设置,所述预设周期可以设置为2ms。所述预设周期设置的越短,则本发明位置信息识别的精度越高,但相应的所占用的智能设备的内存资源和CPU资源越多。
该队列的长度可由本领域普通技术人员根据对目标对象进行识别的时效进行设定。当队列存满空间位置时,清空该队列,重新保存获取的空间位置。这样,既可以避免保存过多的位置信息占用内存资源,也避免起始位置信息超出对目标对象进行识别的时效。
S3、根据所述深度信息,识别所述目标对象对所述仿真物理对象的操作状态。
所述深度信息为当前位置与起始位置的z坐标的差值,如当前位置的z坐标小于队列中所保存的起始位置的z坐标,且两者的z坐标的差值超过预设的第一阈值,则识别所述目标对象产生向前(push)操作状态;如识别所述目标对象产生向前(push)操作状态后,获取的当前位置与起始位置的z坐标差值继续减小,且超过预设的第二阈值,则识别所述目标对象产生按下(press)操作状态。其中,所述第二阈值大于所述第一阈值;如识别所述目标对象产生按下(press)操作状态后,则清空所述队列中的空间位置,并以产生按下(press)操作状态时的空间位置为队列起始位置重新获取空间位置保存至队列中,如当前位置信息的z坐标大于产生按下(press)操作状态时的位置信息的z坐标,且两者的z坐标差值超过预设的第三阈值,则识别所述目标对象产生回收(pull)操作状态。
本发明实施例一提供的基于物理模型的人机交互方法,通过直接对仿真物理对象的操作,快速返回至首页或进入设置、菜单,简化了操作流程,方便用户快速完成操作,并且避免多个手势干扰造成用户的误操作,使得用户可以更加准确、便捷地进行操作。
参见图2,本发明实施例二提供的基于物理模型的人机交互方法,在上述实施例一的基础上,还包括:
S4、当所述目标对象的操作位置位于预设激活区域内时,生成仿真物理对象;
预先在显示平面上设定一激活区域,可设置在显示平面的四角位置,也可设置在显示平面的上、或下、或左、或右边缘,为方便用户操作且不遮挡显示平面的主要显示区域、不易造成误操作,优选地,该激活区域设置在显示平面的右上角。当目标对象的操作位置到达显示平面的预设激活区域内,即目标对象的x,y坐标位于激活区域内,例如当操作位置对应的操控标识符(手型)手型到达显示平面的右上角位置处,创建一操作浮层,在该操作浮层上绘制仿真物理对象,通过将该操作浮层的显示状态设置为可见状态,将所述绘制有仿真物理对象的操作浮层输出显示到显示平面上。其中,所述仿真物理对象可以为多个,根据用户需要设定,可以为模拟的物理按键。
进一步地,当所述目标对象的操作位置不位于操控浮层内时,将所述操作浮层的显示状态设置为隐藏状态,停止将所述绘制有仿真物理对象的操作浮层输出显示到显示平面上。
较佳地,本发明实施例中的激活区域是不可见的,当然,也可以是可见的。
本发明实施例二提供的基于物理模型的人机交互方法,通过设置一激活区域激活绘制有仿真物理对象的操作浮层,当不需要操作仿真物理对象时,隐藏该操作浮层,避免了绘制有仿真物理对象的操作浮层遮挡显示平面,使得用户可以更加准确、便捷地进行操作。
参见图3,本发明实施例三提供的基于物理模型的人机交互方法,在上述实施例一和实施例二的基础上,还包括:
S5、根据所述深度信息生成所述仿真物理对象的视觉反馈以响应所述目标对象对所述仿真物理对象的操作状态。
随着目标对象的移动,所述深度信息发生变化,随着所述深度信息的变化生成所述仿真物理对象的视觉反馈,其中,所述视觉反馈为所述仿真物理对象的大小变化,也可以为所述仿真物理对象的高度变化。如当目标对象向前移动时,所述深度信息即z坐标差值逐渐增大,当超过预设的第一阈值时,产识别所述目标对象产生向前(push)操作状态,随着深度信息的逐渐增大,所述仿真物理对象逐渐变大、或变小、或高度变矮或变高,当超过预设的第二阈值时,识别所述目标对象产生按下(press)操作状态,此时所述仿真物理对象变化至最大、或最小,或高度变化到最矮或最高。当识别目标对象产生按下(press)操作状态后,所述深度信息开始变小且超过预设的第三阈值,则识别所述目标对象产生回收(pull)操作状态,该仿真物理对象的视觉反馈与产生向前(push)操作状态时相反。
本发明实施例三提供的基于物理模型的人机交互方法,通过生成仿真物理对象的视觉反馈,将目标对象对仿真物理对象的操作状态直观、实时地反馈给用户,使得用户可以更加准确、便捷地进行操作。
与上述方法相对应地,参见图4,本发明实施例一提供的基于物理模型的人机交互装置,包括:
目标对象操作位置确定单元401,用于根据目标对象的空间位置,确定该目标对象的空间位置对应在显示平面上的操作位置;
目标对象操作位置确定单元401将捕获装置获取的空间位置解析为坐标信息(x,y,z),通过一些算法计算出该坐标信息(x,y,z)对应在显示平面的操作位置,即该空间位置投射在显示平面的操作位置。为了用户使用直观、方便,可在投射的操作位置处绘制一操控标识符,其中,所述操控标识符可以是手型的标识符,或者箭头状的标识符,用于反映用户在显示平面上的操作位置。
深度信息计算单元402,用于当所述目标对象的操作位置位于所述仿真物理对象上时,计算所述目标对象的深度信息;
捕获装置实时捕获目标对象的空间位置并经目标对象操作位置确定单元401解析后投射至显示平面的操作位置,当目标对象的操作位置位于所述仿真物理对象上时,即当目标对象的操作位置的x、y坐标信息与仿真物理对象的x、y坐标信息相符合时,深度信息计算单元402解析所述目标对象的z坐标信息以获得z坐标差值,将所述z坐标的差值作为目标对象的深度信息。具体为:捕获装置按预设周期获取所述目标对象的多个空间位置,将该多个空间位置按获取的时间顺序保存至一队列,所述队列可以为一固定长度队列,可保存一定数量的空间位置,深度信息计算单元402计算队列中当前位置与起始位置的z坐标的差值,将所述z坐标的差值作为目标对象的深度信息。
其中,该预设周期由本领域技术人员根据需求或智能设备的配置进行设置,所述预设周期可以设置为2ms。所述预设周期设置的越短,则本发明位置信息识别的精度越高,但相应的所占用的智能设备的内存资源和CPU资源越多。
该队列的长度可由本领域普通技术人员根据对目标对象进行识别的时效进行设定。当队列存满空间位置时,清空该队列,重新保存获取的空间位置。这样,既可以避免保存过多的位置信息占用内存资源,也避免起始位置信息超出对目标对象进行识别的时效。
操作状态识别单元403,用于根据所述深度信息,识别所述目标对象对所述仿真物理对象的操作状态。
所述深度信息为深度信息计算单元402解析所述目标对象的当前位置与起始位置的z坐标信息以获得的z坐标差值,如当前位置的z坐标小于队列中所保存的起始位置的z坐标,且两者的z坐标的差值超过预设的第一阈值,则操作状态识别单元403识别所述目标对象产生向前(push)操作状态;如识别所述目标对象产生向前(push)操作状态后,获取的当前位置与起始位置的z坐标差值继续减小,且超过预设的第二阈值,操作状态识别单元403则识别所述目标对象产生按下(press)操作状态。其中,所述第二阈值大于所述第一阈值;如识别所述目标对象产生按下(press)操作状态后,则清空所述队列中的空间位置,并以产生按下(press)操作状态时的空间位置为队列起始位置重新获取空间位置保存至队列中,如当前位置信息的z坐标大于产生按下(press)操作状态时的位置信息的z坐标,且两者的z坐标差值超过预设的第三阈值,操作状态识别单元403则识别所述目标对象产生回收(pull)操作状态。
参见图5,本发明实施例二提供的基于物理模型的人机交互装置,在上述实施例一的基础上,所述装置还包括:
仿真物理对象生成单元501,用于当所述目标对象的操作位置位于预设激活区域内时,创建一操作浮层,在操作浮层上绘制仿真物理对象;
具体地,预先在显示平面上设定一激活区域,可设置在显示平面的四角位置,也可设置在显示平面的上、或下、或左、或右边缘,为方便用户操作且不遮挡显示平面的主要显示区域、不易造成误操作,优选地,该激活区域设置在显示平面的右上角。当目标对象的操作位置到达显示平面的预设激活区域内,即目标对象的x,y坐标位于激活区域内,例如当操作位置对应的操控标识符(手型)手型到达显示平面的右上角位置处,仿真物理对象生成单元501创建一操作浮层,并在该操作浮层上绘制仿真物理对象,其中,所述仿真物理对象可以为多个,根据用户需要设定,可以为模拟的物理按键。
操作浮层控制单元502,用于通过将该操作浮层的显示状态设置为可见状态,将所述绘制有仿真物理对象的操作浮层输出显示到显示平面上。
或当所述目标对象的操作位置不位于操控浮层内时,将所述操作浮层的显示状态设置为隐藏状态,停止将所述绘制有仿真物理对象的操作浮层输出显示到显示平面上。
参见图6,本发明实施例三提供的基于物理模型的人机交互装置,在上述实施例一和实施例二的基础上,还包括:
视觉反馈单元601,用于根据所述深度信息生成所述仿真物理对象的视觉反馈以响应所述目标对象对所述仿真物理对象的操作状态。
随着目标对象的移动,所述深度信息发生变化,随着所述深度信息的变化所述视觉反馈单元生成所述仿真物理对象的视觉反馈,其中,所述视觉反馈为所述仿真物理对象的大小变化,也可以为所述仿真物理对象的高度变化。如当目标对象向前移动时,所述深度信息即z坐标差值逐渐增大,当超过预设的第一阈值时,操作状态识别单元403识别所述目标对象产生向前(push)操作状态,随着深度信息的逐渐增大,所述仿真物理对象逐渐变大、或变小、或高度变矮或变高,当超过预设的第二阈值时,操作状态识别单元403识别所述目标对象产生按下(press)操作状态,此时所述仿真物理对象变化至最大、或最小,或高度变化到最矮或最高。当操作状态识别单元403识别目标对象产生按下(press)操作状态后,所述深度信息开始变小且超过预设的第三阈值,则操作状态识别单元403识别所述目标对象产生回收(pull)操作状态,该仿真物理对象的视觉反馈与产生向前(push)操作状态时相反。
本发明实施例还提供了一种智能电视,包括获取装置、CPU、存储器、显示屏以及本发明实施例中实施例一、实施例二、实施例三提供的任一装置,参见图7,捕获装置按预设周期捕获目标对象的多个空间位置,并将该多个空间位置发送至智能电视,智能电视的CPU指示存储器将获取的空间位置保存至存储器,该多个空间位置按获取的时间顺序以队列的形式保存,所述队列可以为一固定长度队列,可保存一定数量的空间位置;当所述目标对象的操作位置位于预设激活区域内时,仿真物理对象生成单元501创建一操作浮层,并在操作浮层上绘制仿真物理对象;操作浮层控制单元502通过将该操作浮层的显示状态设置为可见状态或隐藏状态,将所述绘制有仿真物理对象的操作浮层输出显示到显示屏上;当操作浮层输出显示在显示屏时,仿真物理对象生成单元501获取仿真物理对象对应在显示屏上的坐标信息。目标对象操作位置确定单元401将存储器上的空间位置解析为坐标信息(x,y,z),通过一些算法计算出该坐标信息(x,y,z)对应在显示平面的操作位置,当目标对象的操作位置位于所述仿真物理对象上时,即当目标对象的操作位置的x、y坐标信息与仿真物理对象的x、y坐标信息相符合时,深度信息计算单元402解析所述目标对象的z坐标信息以获得z坐标差值,将所述z坐标的差值作为目标对象的深度信息。操作状态识别单元403根据深度信息计算单元402解析的深度信息识别所述目标对象产生的操作状态,视觉反馈单元601根据所述目标对象对所述仿真物理对象的操作状态产生视觉反馈以输出显示到显示屏上。
用户在使用智能电视的过程中,当需要返回首页或需调用设置、菜单时,通过创建操作浮层并在该操作浮层上绘制仿真物理对象,并通过体感对仿真物理对象进行直接操作,以快速返回至首页或进入设置、菜单,简化了操作流程,方便用户快速完成操作,并且避免多个手势干扰造成用户的误操作,使得用户可以更加准确、便捷地进行操作。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种基于物理模型的人机交互方法,其特征在于,该方法包括:
根据目标对象的空间位置,确定该目标对象的空间位置对应在显示平面上的操作位置;
当所述目标对象的操作位置位于所述仿真物理对象上时,计算所述目标对象的深度信息;
根据所述深度信息,识别所述目标对象对所述仿真物理对象的操作状态。
2.根据权利要求1所述的方法,其特征在于,所述目标对象的空间位置为所述目标对象的坐标信息(x,y,z)。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:当所述目标对象的操作位置位于预设激活区域内时,创建一操作浮层,在操作浮层上绘制仿真物理对象;
通过将该操作浮层的显示状态设置为可见状态,将所述绘制有仿真物理对象的操作浮层输出显示到显示平面上。
4.根据权利要求1所述的方法,其特征在于,所述计算所述目标对象的深度信息,包括:
解析所述目标对象的z坐标信息以获得z坐标差值,将所述z坐标的差值作为目标对象的深度信息。
5.根据权利要求1所述的方法,其特征在于,根据所述深度信息生成所述仿真物理对象的视觉反馈以响应所述目标对象对所述仿真物理对象的操作状态。
6.根据权利要求1所述的方法,其特征在于,当所述目标对象的操作位置不位于操控浮层内时,将所述操作浮层的显示状态设置为隐藏状态,停止将所述绘制有仿真物理对象的操作浮层输出显示到显示平面上。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述仿真物理对象为物理按键。
8.一种基于物理模型的人机交互装置,其特征在于,该装置包括:
目标对象操作位置确定单元,用于根据目标对象的空间位置,确定该目标对象的空间位置对应在显示平面上的操作位置;
深度信息计算单元,用于当所述目标对象的操作位置位于所述仿真物理对象上时,计算所述目标对象的深度信息;
操作状态识别单元,用于根据所述深度信息,识别所述目标对象对所述仿真物理对象的操作状态。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
仿真物理对象生成单元,用于当所述目标对象的操作位置位于预设激活区域内时,创建一操作浮层,在操作浮层上绘制仿真物理对象;
操作浮层控制单元,通过将该操作浮层的显示状态设置为可见状态,将所述绘制有仿真物理对象的操作浮层输出显示到显示平面上。
10.根据权利要求8所述的装置,其特征在于,所述目标对象操作位置确定单元用于解析获取的目标对象的空间位置为所述目标对象的坐标信息(x,y,z);
所述深度信息计算单元还用于解析所述目标对象的z坐标信息以获得z坐标差值,将所述z坐标的差值作为目标对象的深度信息。
11.根据权利要求8所述的装置,其特征在于,所述装置还包括:视觉反馈单元,用于根据所述深度信息生成所述仿真物理对象的视觉反馈以响应所述目标对象对所述仿真物理对象的操作状态。
12.根据权利要求8所述的装置,其特征在于,所述操作浮层控制单元还用于当所述目标对象的操作位置不位于操控浮层内时,将所述操作浮层的显示状态设置为隐藏状态,停止将所述绘制有仿真物理对象的操作浮层输出显示到显示平面上。
13.一种智能电视,其特征在于,包括权利要求8-12任一权项所述的装置。
CN201410534670.1A 2014-10-11 2014-10-11 基于物理模型的人机交互方法、装置及智能电视 Pending CN105578250A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410534670.1A CN105578250A (zh) 2014-10-11 2014-10-11 基于物理模型的人机交互方法、装置及智能电视

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410534670.1A CN105578250A (zh) 2014-10-11 2014-10-11 基于物理模型的人机交互方法、装置及智能电视

Publications (1)

Publication Number Publication Date
CN105578250A true CN105578250A (zh) 2016-05-11

Family

ID=55887840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410534670.1A Pending CN105578250A (zh) 2014-10-11 2014-10-11 基于物理模型的人机交互方法、装置及智能电视

Country Status (1)

Country Link
CN (1) CN105578250A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018018857A1 (zh) * 2016-07-26 2018-02-01 华为技术有限公司 一种应用于vr设备的手势操控方法与装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102769802A (zh) * 2012-06-11 2012-11-07 西安交通大学 一种智能电视机的人机交互***及其交互方法
CN103246351A (zh) * 2013-05-23 2013-08-14 刘广松 一种用户交互***和方法
CN103399637A (zh) * 2013-07-31 2013-11-20 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
TW201351202A (zh) * 2012-06-07 2013-12-16 Univ Yuan Ze 虛擬互動溝通方法
CN103941866A (zh) * 2014-04-08 2014-07-23 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201351202A (zh) * 2012-06-07 2013-12-16 Univ Yuan Ze 虛擬互動溝通方法
CN102769802A (zh) * 2012-06-11 2012-11-07 西安交通大学 一种智能电视机的人机交互***及其交互方法
CN103246351A (zh) * 2013-05-23 2013-08-14 刘广松 一种用户交互***和方法
CN103399637A (zh) * 2013-07-31 2013-11-20 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN103941866A (zh) * 2014-04-08 2014-07-23 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MICROSOFT GAME STUDIOS: "《Kinect大冒险说明书》", 《KINECT ADVENTURES》 *
马建荣: "《基于体感技术的亲子互动游戏设计与实现》", 《中国电化教育》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018018857A1 (zh) * 2016-07-26 2018-02-01 华为技术有限公司 一种应用于vr设备的手势操控方法与装置
US11507190B2 (en) 2016-07-26 2022-11-22 Huawei Technologies Co., Ltd. Gesture control method applied to VR device, and apparatus

Similar Documents

Publication Publication Date Title
US11323658B2 (en) Display apparatus and control methods thereof
US9766711B2 (en) Information processing apparatus, information processing method and program to recognize an object from a captured image
CN103261997B (zh) 用于控制显示的信息的用户输入的装置和方法
EP2846231B1 (en) Apparatus and method for controlling a user interface using an input image
US20230273431A1 (en) Methods and apparatuses for providing input for head-worn image display devices
EP2755112A2 (en) Method and portable terminal for providing a haptic effect
US20130307765A1 (en) Contactless Gesture-Based Control Method and Apparatus
US9696882B2 (en) Operation processing method, operation processing device, and control method
JP2012174265A5 (zh)
KR20180020725A (ko) 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
US20140285507A1 (en) Display control device, display control method, and computer-readable storage medium
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
US20160078679A1 (en) Creating a virtual environment for touchless interaction
CN106464749A (zh) 用户界面的交互方法
US20210287330A1 (en) Information processing system, method of information processing, and program
US9525906B2 (en) Display device and method of controlling the display device
US10423249B2 (en) Information processing method and electronic device
CN106383583A (zh) 用于隔空人机交互的控制虚拟物体精确定位的方法与***
GB2590207A (en) Scenario control method and device, and electronic device
CN105988686A (zh) 播放界面的显示方法、装置及终端
CN105578250A (zh) 基于物理模型的人机交互方法、装置及智能电视
KR102480568B1 (ko) 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
WO2018042923A1 (ja) 情報処理システム、情報処理方法、およびプログラム
CN114756162B (zh) 触控***及方法、电子设备及计算机可读存储介质
CN104951211A (zh) 一种信息处理方法和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160511

WD01 Invention patent application deemed withdrawn after publication