CN106569716B - 单手操控方法及操控*** - Google Patents

单手操控方法及操控*** Download PDF

Info

Publication number
CN106569716B
CN106569716B CN201610942444.6A CN201610942444A CN106569716B CN 106569716 B CN106569716 B CN 106569716B CN 201610942444 A CN201610942444 A CN 201610942444A CN 106569716 B CN106569716 B CN 106569716B
Authority
CN
China
Prior art keywords
touch
display screen
control
finger
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610942444.6A
Other languages
English (en)
Other versions
CN106569716A (zh
Inventor
黄源浩
刘龙
肖振中
许星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201610942444.6A priority Critical patent/CN106569716B/zh
Publication of CN106569716A publication Critical patent/CN106569716A/zh
Priority to PCT/CN2017/089027 priority patent/WO2018076720A1/zh
Application granted granted Critical
Publication of CN106569716B publication Critical patent/CN106569716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种单手操控方法及操控***,所述单手操控方法包括以下步骤:S1:获取操控面和该操控面上的操控物体的深度图像;S2:通过深度图像获取操控物体在操控面上的第一位置;S3:根据操控物体在操控面上的第一位置定位出位于显示屏的第二位置;S4:根据操控物体的形状和动作确定的预定操控动作,进行识别并转化成需要执行的触控指令;S5:根据所述触控指令在第二位置处执行触控操作。本发明通过操控面,可很好的实现对大屏电子设备的单手操控,避免触控冲突。

Description

单手操控方法及操控***
技术领域
本发明涉及电子技术领域,特别是涉及一种单手操控方法及操控***。
背景技术
随着移动互联网的普及以及人们对手机等智能设备的功能要求越来越高,同时兼备通讯、上网以及视频播放等功能是目前电子设备最为基本的配置。目前像手机等设备的尺寸几乎进入了大屏时代,单手操作已经遥不可及,尽管如此,兼顾较大屏幕以及单手操作依然是目前用户对手机的诉求。
以手机为例,在手机背后增加功能键是一种解决单手操作的方案,但是无疑会影响手机背面的美观,因而这种方案一直没有被用户接受。另一种方案是在手机背面增加额外的触摸屏,这种方案通过在背面利用手指的操控实现对手机屏幕无法单手操作区域的控制。但是这种方案成本较高,因而无法成为主流的单手操作方案。
同时,目前利用深度图像进行触控操作,操控物体与显示屏之间并不能实现对区域外的显示屏进行触控,操控物体在显示屏上的位置直接映射对应于所获取的深度图像上像素的坐标,即操控物体在显示屏上的位置就是该操控物体在深度图像中的像素坐标映射而来,这种直接通过像素坐标映射而得到显示屏上位置的方法不能对操控物体触控不到的区域进行触控操作,所以只能简单的实现一些例如翻页的功能,不能很好的解决大屏的单手操控问题。
再者,现有的利用深度图像进行触控的方案多通过在显示屏一侧设置深度相机,通过获取显示屏的深度图像来获得操控物体在显示屏上的位置,最好的方式在操控物体接触显示屏时进行获取,这种方法适用于不具备触摸功能的显示屏,对于自身具备触摸功能的触摸屏而言,手指触摸显示屏会被认定对屏幕产生触控,若在利用此时操控对象的位置信息对显示屏其他区域进行触控,由于现有产生了两个触控指令,便造成了触控冲突,这样便不能再对显示屏的其他区域进行触控,在对其他区域进行触控时,只能要求触控物体不与显示屏接触,这样使得通过深度图像获取操控物体在显示屏上的位置时的映射关系比较复杂,体验大大减弱。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明目的在于提出一种单手操控方法及操控***,以解决上述现有技术存在的不能很好的实现单手操控、对本身具备触摸功能的显示屏进行触控易产生触控冲突的技术问题。
为此,本发明提出一种单手操控方法,显示屏与用于触控操作的操控面处在不同的平面上,包括以下步骤:S1:获取操控面和该操控面上的操控物体的深度图像;S2:通过深度图像获取操控物体在操控面上的第一位置;S3:根据操控物体在操控面上的第一位置定位出位于显示屏的第二位置;S4:根据操控物体的形状和动作确定的预定操控动作,进行识别并转化成需要执行的触控指令;S5:根据所述触控指令在第二位置处执行触控操作。
优选地,本发明的操控方法还可以具有如下技术特征:
所述操控面包括至少一个操控区域,至少一个的所述操控区域通过获取的深度图像和获得的所述操控物体在所述操控面上的位置进行自动划定。
自动划定的所述操控区域的大小为操控物体单手操作时在所述操控面上容易到达的。
所述显示屏包括用于操控物体容易触控到的近触控区和除近触控区外不容易触控到的远触控区,所述操控物体在近触控区利用显示屏自身的触控功能进行单手触控,在远触控区用定位得到的第二位置进行触控。
所述近触控区和远触控区根据所述操控物体在显示屏的位置进行自动划定。
所述深度图像的获取步骤包括:S11:获取包含操控面且不含操控物体的第一深度图像;S12:获取含有操控面和操控物体的第二深度图像;S13:通过所述第二深度图像和所述第一深度图像获得所述操控物体的第三深度图像。
获取所述第一位置包括如下步骤:S21:根据第二深度图像判断所述操控物体是否与所述操控面接触,若接触,则执行下一步;S22:根据第三深度图像得到所述操控物体在所述显示屏所在坐标系的空间位置信息,取所述操控物体顶点坐标作为第一位置。
所述第二位置的获取包括以下步骤:S31:建立操控面与所述显示屏的映射关系;S32:由所述映射关系和所述第一位置得到显示屏的第二位置。
根据所述操控面和所述显示屏的横、纵向尺寸建立线性映射关系。
另外,本发明还提出了一种单手操控***,用于执行上述的触控方法,包括图像获取单元、处理器、操控面和显示屏,所述操控面和显示屏处在不同的平面上;
所述图像获取单元用于获取操控面以及操控物体的深度图像和操控物体的深度信息;
所述处理器包括识别模块、定位模块、转化模块和执行模块,所述识别模块用于根据所述深度图像获取操控物体在操控面上的第一位置,以及识别出操控物体的预定的操控动作;所述定位模块用于根据所述第一位置定位需要操控的显示屏上的第二位置;所述转化模块根据预定义的操控动作转化生成对应的触控指令;所述执行模块用于在所述第二位置处执行触控指令在显示屏上完成触控操作。
本发明与现有技术对比的有益效果包括:
本发明是利用深度图像来实现触控操作并且是一种单手操控方法,该操控方法中。用于操控的操控面与显示屏设置在不同的平面上,操控对象在操控面上完成触控操作,利用深度图像获取操控物体在操控面上的第一位置,通过第一位置进一步得到显示屏上的第二位置,结合预定的操控动作,在第二位置处执行触控操作,这样当用户在对大屏的电子设备进行触控时,若要对具备触摸功能的显示屏进行触控时,可在操控面上完成操控,已完成操控物体在显示屏上位置的确定,避免了现有的操控与触摸之间发生触控冲突的问题。
同时,对于显示屏上难以触摸到的区域,只需在操控面上简单地完成预定的操控动作,就能对另一平面的显示屏进行触控,在操控面上,操控物体可以时刻与操控面接触,以方便操控物体在操控面上的位置的准确快速获取。
相比于现有技术而言,本发明不仅可以对不具备触摸功能的显示屏实现翻页、回退等一些简单的手势操作,还能很好的实现单手触控,对单手触摸不到的对象可通过操控面进行相应触控操作,并能实现精确触控。
优选方案中,操控面包括至少一个以上的操控区域,以解决操控物体不同的触摸习惯下深度图像的获取以及操控,如左右手,操控区域根据深度图像进行自动划定,一般而言,操控区域为预先设定的操控面上某一区域,利用操控物体在操控物体上的位置和深度图像进行自动划定,无需要求操控物体一定要在某一区域进行操控才能进行触控操作,提高了操控的体验,特别的,该操控区域的大小为操控物体单手操作时在所述操控面上容易达到的,以最优化操控区域划定的形状,不限于矩形,可根据操控物体在操控面上最容易触摸的区域形状进行确定,一般为不规则的扇形。
在基于上述的操控方法的基础上,对于显示屏本身具备触控功能而言,实行一种既利用其本身的触控功能又利用指向型的操控方法进行混合操控的模式,如:所述操控物体在近触控区利用显示屏自身的触控功能进行单手触控,在远触控区用定位得到的第二位置进行触控。这种混合操控方法可以弥补由于操控物体移动的随机性大造成的精度低的问题,为用户提供一种更好的体验方案。上述近触控区和远触控区也是根据用户的触控习惯进行自动划定,以适应用户操控时的习惯和最优化近触控区及远触控区的形状。
对获取的深度图像根据第一深度图像和第二深度图像进行获取操控物体的第三深度图像,然后根据第三深度图像来获取第一位置,这样由于所获得第三深度图像仅仅包括操控物体的深度图像,所以在对第一位置进行获取时,可以降低处理过程的计算量,提高运算速度,提高***的响应速度。
通过对处在不同平面的操控面和显示屏之间建立映射关系,可快速的通过第一位置得到显示屏上的第二位置,采用线性映射关系可以对操控面或操控区域为矩形等较为规则的形状,根据横纵尺寸快速建立映射关系。
附图说明
图1是本发明具体实施方式一的操控***的结构示意图;
图2是本发明具体实施方式一的处理器的结构示意图。
图3是本发明具体实施方式三的电子设备的结构示意图。
图4是本发明具体实施方式三和四的单手操控手机时的背面示意图。
图5是本发明具体实施方式三和四的单手操控手机时的侧面示意图。
图6是本发明具体实施方式二和五的混合操控的示意图。
图7是本发明具体实施方式四的操控流程图一。
图8是本发明具体实施方式四的操控流程图二。
具体实施方式
下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是,下述说明仅仅是示例性的,而不是为了限制本发明的范围及其应用。
参照以下附图,将描述非限制性和非排他性的实施例,其中相同的附图标记表示相同的部件,除非另外特别说明。
实施例一:
本实施例提出了一种单手操控***,如图1所示,包括图像获取单元1、处理器2、操控面3和显示屏4;
所述图像获取单元1用于获取操控面3以及操控物体的深度图像和操控物体的深度信息,所述操控面3和显示屏4处在不同的平面上;
如图2所示,所述处理器2包括识别模块21、定位模块22、转化模块23和执行模块24,所述识别模块21用于根据所述深度图像获取操控物体在操控面3上的第一位置,以及识别出操控物体的预定的操控动作;所述定位模块22用于根据所述第一位置定位需要操控的显示屏4上的第二位置;所述转化模块23用于根据预定义的操控动作转化生成对应的触控指令;所述执行模块24用于在在所述第二位置处执行触控指令在显示屏4上完成触控操作;
本***可以通过图像获取单元获取操控面3的深度图像,同时也可获取与显示屏4接触的操控物体的深度图像,根据该深度图像可以识别出操控物体在操控面3的位置以及动作,从而转化成显示屏4上相应的位置以及指令,如此便可以实现对设备的操控,本实施例中,比如电子书阅读器的显示屏,考虑到在显示屏上进行触摸操控会影响显示效果,比如在电子书上不断地用手指翻页时手部势必会遮挡部分屏幕,从而影响阅读体验。而利用操控对象在操控面上进行操控则会减轻这一问题,提升用户的使用体验。
这里的图像获取单元1为基于结构光或者TOF原理的深度相机,一般包含有接收单元以及发射单元组成。
使用操控面可以有效的避免触控冲突的问题。同时,对于显示屏上难以触摸到的区域,只需在操控面上简单地完成预定的操控动作,就能对另一平面的显示屏进行触控,在操控面上,操控物体可以时刻与操控面接触,以方便操控物体在操控面上的位置的准确快速获取。
实施例二:
相较于实施例一,区别在于本实施例的显示屏结合操控面3和显示屏4一起完成触控操作,所述显示屏4为触摸屏。如图6所示,所述触摸屏包括近触控区①和远触控区②,所述操控物体16在所述近触控区①内依照所述触摸屏自身的触控功能完成触控,在所述远触控区②由操控面16指向完成触控操作。
具体为:单手能够到达的近触控区域①以及单手不能够到达的远触控区域②,在近触控区①依然采用触摸操控以保证有更好的精度,而在远触控区②则采用操控面3的第一位置并依据触控物体的形状以及动作来执行操控,本实施例特别适用于目前由于大屏幕导致单手无法完全操控的手机等具备触摸功能的设备。
实施例三:
本实施例提出了一种电子设备,电子设备可以是手机、平板,包括用于数据传输的总线5,如图3所示,所述总线4分为数据总线、地址总线和控制总线,分别用来传输数据、数据地址和控制信号。与所述总线4相连的有CPU6、显示器7、IMU8(惯性测量装置)、存储器9、摄像头11、声音装置12、网络接口13以及鼠标/键盘14,对于一些具备触摸功能的电子设备而言,其鼠标键盘被显示器7所取代,IMU设备用于定位、跟踪等功能实现。存储器9用于存储操作***、应用程序等,也可以用于存储运行过程中的临时数据。
本电子设备上设置的操控***中的图像获取单元1对应于摄像头11,处理器2对应于CPU8,也可以是单独的处理器,显示屏4对应于显示器7,操控面设置在手机的背面,与显示屏处于不同的平面。
如图4所示,摄像头11一般被固定在电子设备上。在本实施例中,与已有设备的摄像头相比,摄像方向有较大的区别。已有的摄像头一般为前置或后置,这样的配置无法获取设备本身的图像。在本实施例中摄像头11的配置可以有多种情况,一种是借助于旋转轴,即通过旋转将摄像头旋转90度后达到对自己拍摄的目的;还有一种是摄像头外置的形式,将摄像头作为一个整体通过一定的固定措施并以USB等接口与设备连接。本领域的技术人员可以根据实际情况对摄像头设置在电子设备上的形式自行选择,不做限制。
此时,与现有的摄像头而言,本实施例的摄像头11为深度相机,用于获取目标区域的深度图像。
图4所示是单手操控手机时的背面示意图。在手机顶部配置有摄像头11,摄像头11采集方向沿着手机自顶向下,这样就可以获取手机背面上的操控面以及手指(操控物体)的图像,图5所示是单手操控手机时的侧面示意图,17为操控面上的第一位置,16为操控物体。
电子设备的显示器7可以是具备触摸功能的也可以是不具备触摸功能的,当不具备触摸功能时,可以仅通过操控面进行操控,当具备触摸功能,可以在操控物体能触摸到的显示屏区域进行操控,对触摸不到的区域执行操控面操控。
本实施例中的摄像头11还可以为普通RGB摄像头,用于拍摄RGB图像;摄像头11也可以为红外摄像头,用于拍摄红外图像;也可以为深度相机,如基于结构光原理或者基于TOF原理的深度相机等。
利用深度相机获取的深度图像不会受到暗光影响,即使在黑夜里也能进行测量,另外,利用深度图像进行定位和动作识别较之于RGB图像会更加准确。因而以后面的说明中,将以深度相机以及深度图像来进行阐述。但本发明不应限定于深度相机。
实施例四:
一种单手操控方法,结合图4-5和图7所示,包括以下步骤:
S1:获取操控面3和该操控面3上的操控物体16的深度图像;
S2:通过深度图像获取操控物体16在操控面3上的第一位置17;
S3:根据操控物体16在操控面3上的第一位置17定位出位于显示屏4的第二位置;
S4:根据操控物体16的形状和动作确定的预定操控动作,进行识别并转化成需要执行的触控指令;
S5:根据所述触控指令在第二位置处执行触控操作。
所述操控面3包括至少一个操控区域15,至少一个的所述操控区域15通过获取的深度图像和获得的所述操控物体16在所述操控面3上的位置进行自动划定。自动划定的所述操控区域15的大小为操控物体16单手操作时在所述操控面3上容易到达的。自动划定的过程中,可根据操控对象与操控面3接触时的接触点进行确定,在执行触控操作是,认定本次操作中与触控面接触的所有点作为操控区域15。
操控面3包括至少一个以上的操控区域15,以解决操控物体16不同的触摸习惯下深度图像的获取以及操控,如左右手,操控区域15根据深度图像进行自动划定,一般而言,操控区域15为预先设定的操控面3上某一区域,利用操控物体16在操控物体16上的位置和深度图像进行自动划定,无需要求操控物体16一定要在某一区域进行操控才能进行触控操作,提高了操控的体验,特别的,该操控区域15的大小为操控物体16单手操作时在所述操控面3上容易达到的,以最优化操控区域15划定的形状,不限于矩形,可根据操控物体16在操控面3上最容易触摸的区域形状进行确定,一般为不规则的扇形。
获取的深度图像中除了包含操控面3、手指以外还包含其他无关部分,此时则可以通过对深度相机的测量范围进行限制,即设定一定的阈值,对超过阈值的深度信息予以去除,通过这种方式获取的深度图像将仅含有手机背面以及手指的信息,可减小识别的计算量。为了进一步提高***运行速度,降低运算量,在获取深度图像时利用图像分割法来获取,其中一种方法是,包括如下步骤:
S11:获取包含操控面3且不含操控物体16的第一深度图像;
S12:获取含有操控面3和操控物体16的第二深度图像;
S13:通过所述第二深度图像和所述第一深度图像获得所述操控物体16的第三深度图像。
本实施例的操控物体16是手指,上述步骤通过背景分割法获取的手指前端部位的深度图像,可以降低建模时的计算量,提高计算速度。
如图8所示,获取所述第一位置17包括如下步骤:
S21:根据第二深度图像判断所述操控物体16是否与所述操控面3接触,若接触,则执行下一步;
S22:根据第三深度图像得到所述操控物体16在所述显示屏4所在坐标系的空间位置信息,取所述操控物体16顶点坐标作为第一位置17。
所述第二位置的获取包括以下步骤:
S31:建立操控面3与所述显示屏4的映射关系;
S32:由所述映射关系和所述第一位置17得到显示屏4的第二位置。
根据所述操控面3和所述显示屏4的横、纵向尺寸建立线性映射关系。
通过对处在不同平面的操控面3和显示屏4之间建立映射关系,可快速的通过第一位置17得到显示屏4上的第二位置,采用线性映射关系可以对操控面3或操控区域15为矩形等较为规则的形状,根据横纵尺寸快速建立映射关系。
已有触摸技术中,定位与触摸是同时完成的,然而这在看不见的背部是不可行的。因而需要先定位再进行操作,操控动作可以是手指形状的改变,比如手指与显示屏4之间角度的改变,也可以是手指的动作,比如点击动作等等。对手指的形状以及动作识别为已有技术,在这里不予详细说明。
当然也不排除一些无需定位的操作,比如翻页、回退等操作。对于这类操作,可以仅识别手指的形状或动作就可以了。
本实施例中,当手指触摸到背面时,并且减小手指的倾斜角度,则完成一次点击动作。手指的形状与动作所对应的操控指令需要预先设定。当识别到某个手指形状和动作时,处理器则将其转化成对应的操控指令。
实施例五:
考虑到手指移动的随机性,其精度难以达到触摸的程度。因而对于一些具备触摸功能手机类设备的单手操控,在单手可以到达的区域依然选择触摸操作,而在单手无法到达的区域实施非接触操控是一种有更好体验的方案。所以本实施例显示屏4为自身具备触控功能的触摸屏,如图6所示,所述显示屏4包括用于操控物体16容易触控到的近触控区①和除近触控区外不容易触控到的远触控区,所述操控物体16在近触控区利用显示屏4自身的触控功能进行单手触控,在远触控区用定位得到的第二位置进行触控。
由于不同用户的手部大小、左右手习惯等都不相同,因而对于触控区①与指向区②的区分可以由***自动识别和划定。即:当显示屏4侧的手指与触摸显示屏4接触时,则处理器处理由触摸显示屏4反馈的信号并执行相应的触控指令,而当显示屏4侧的手指与触摸显示屏4不接触时,深度相机识别出该不接触动作后,反馈给处理器,处理器则对深度相机获取的深度图像进行处理,通过第二位置进行触控操作。
在基于上述的操控方法的基础上,对于显示屏4本身具备触控功能而言,实行一种既利用其本身的触控功能又利用指向型的操控方法进行混合操控的模式,如:所述操控物体16在近触控区利用显示屏4自身的触控功能进行单手触控,在远触控区用定位得到的第二位置进行触控。这种混合操控方法可以弥补由于操控物体16移动的随机性大造成的精度低的问题,为用户提供一种更好的体验方案。上述近触控区和远触控区也是根据用户的触控习惯进行自动划定,以适应用户操控时的习惯和最优化近触控区及远触控区的形状。
本领域技术人员将认识到,对以上描述做出众多变通是可能的,所以实施例仅是用来描述一个或多个特定实施方式。
尽管已经描述和叙述了被看作本发明的示范实施例,本领域技术人员将会明白,可以对其作出各种改变和替换,而不会脱离本发明的精神。另外,可以做出许多修改以将特定情况适配到本发明的教义,而不会脱离在此描述的本发明中心概念。所以,本发明不受限于在此披露的特定实施例,但本发明可能还包括属于本发明范围的所有实施例及其等同物。

Claims (8)

1.一种单手混合操控方法,其特征在于,电子设备的显示屏与用于触控操作的操控面分别处在所述电子设备的正面和背面,所述电子设备设有拍摄设备本身的图像的深度相机,所述显示屏包括用于手指容易触控到的近触控区和除近触控区外不容易触控到的远触控区,所述手指在近触控区利用显示屏自身的触控功能进行单手触控,在远触控区利用定位得到的第二位置进行触控,其中对于近触控区与远触控区的区分由***自动识别和划定,当显示屏侧的手指与触摸显示屏接触时,则处理器处理由触摸显示屏反馈的信号并执行相应的触控指令,而当显示屏侧的手指与触摸显示屏不接触时,深度相机识别出不与触摸显示屏接触的操控面侧的手指动作后,反馈给处理器,处理器对深度相机获取的深度图像进行处理,通过第二位置进行触控操作,包括以下步骤:
S1:获取操控面和该操控面上的手指的深度图像,其中所述操控面包括至少一个操控区域,至少一个的所述操控区域通过获取的深度图像和获得的所述手指在所述操控面上的位置进行自动划定;
S2:通过深度图像获取手指在操控面上的第一位置;
S3:根据手指在操控面上的第一位置定位出位于显示屏的第二位置;
S4:根据手指的形状和动作确定的预定操控动作,进行识别并转化成需要执行的触控指令;
S5:根据所述触控指令在第二位置处执行触控操作。
2.如权利要求1所述的混合操控方法,其特征在于,自动划定的所述操控区域的大小为手指单手操作时在所述操控面上容易到达的。
3.如权利要求1所述的混合操控方法,其特征在于,所述近触控区和远触控区根据所述手指在显示屏的位置进行自动划定。
4.如权利要求1所述的混合操控方法,其特征在于,所述深度图像的获取步骤包括:
S11:获取包含操控面且不含手指的第一深度图像;
S12:获取含有操控面和手指的第二深度图像;
S13:通过所述第二深度图像和所述第一深度图像获得所述手指的第三深度图像。
5.如权利要求4所述的混合操控方法,其特征在于,获取所述第一位置包括如下步骤:
S21:根据第二深度图像判断所述手指是否与所述操控面接触,若接触,则执行下一步;
S22:根据第三深度图像得到所述手指在所述显示屏所在坐标系的空间位置信息,取所述手指顶点坐标作为第一位置。
6.如权利要求1所述的混合操控方法,其特征在于,所述第二位置的获取包括以下步骤:
S31:建立操控面与所述显示屏的映射关系;
S32:由所述映射关系和所述第一位置得到显示屏的第二位置。
7.如权利要求6所述的混合操控方法,其特征在于,根据所述操控面和所述显示屏的横、纵向尺寸建立线性映射关系。
8.一种单手混合操控***,其特征在于:用于在电子设备上执行权利要求1-7任一项所述的混合操控方法,所述电子设备包括图像获取单元、处理器、操控面和显示屏,所述显示屏与用于触控操作的所述操控面分别处在所述电子设备的正面和背面;
所述图像获取单元用于获取操控面以及手指的深度图像和手指的深度信息;其中所述操控面包括至少一个操控区域,至少一个的所述操控区域通过获取的深度图像和获得的所述手指在所述操控面上的位置进行自动划定;
所述处理器包括识别模块、定位模块、转化模块和执行模块,所述识别模块用于根据所述深度图像获取手指在操控面上的第一位置,以及识别出手指的预定的操控动作;所述定位模块用于根据所述第一位置定位需要操控的显示屏上的第二位置;所述转化模块根据预定义的操控动作转化生成对应的触控指令;所述执行模块用于在所述第二位置处执行触控指令在显示屏上完成触控操作;
所述显示屏包括用于手指容易触控到的近触控区和除近触控区外不容易触控到的远触控区,所述手指在近触控区利用显示屏自身的触控功能进行单手触控,在远触控区利用定位得到的第二位置进行触控,其中对于近触控区与远触控区的区分由***自动识别和划定,当显示屏侧的手指与触摸显示屏接触时,则处理器处理由触摸显示屏反馈的信号并执行相应的触控指令,而当显示屏侧的手指与触摸显示屏不接触时,深度相机识别出不与触摸显示屏接触的操控面侧的手指动作后,反馈给处理器,处理器对深度相机获取的深度图像进行处理,通过第二位置进行触控操作。
CN201610942444.6A 2016-10-25 2016-10-25 单手操控方法及操控*** Active CN106569716B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610942444.6A CN106569716B (zh) 2016-10-25 2016-10-25 单手操控方法及操控***
PCT/CN2017/089027 WO2018076720A1 (zh) 2016-10-25 2017-06-19 单手操控方法及操控***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610942444.6A CN106569716B (zh) 2016-10-25 2016-10-25 单手操控方法及操控***

Publications (2)

Publication Number Publication Date
CN106569716A CN106569716A (zh) 2017-04-19
CN106569716B true CN106569716B (zh) 2020-07-24

Family

ID=58536395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610942444.6A Active CN106569716B (zh) 2016-10-25 2016-10-25 单手操控方法及操控***

Country Status (2)

Country Link
CN (1) CN106569716B (zh)
WO (1) WO2018076720A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569716B (zh) * 2016-10-25 2020-07-24 深圳奥比中光科技有限公司 单手操控方法及操控***
CN107613094A (zh) * 2017-08-17 2018-01-19 珠海格力电器股份有限公司 一种单手操作移动终端的方法和移动终端
WO2020042157A1 (zh) * 2018-08-31 2020-03-05 深圳市柔宇科技有限公司 输入控制方法及电子装置
WO2023220983A1 (zh) * 2022-05-18 2023-11-23 北京小米移动软件有限公司 一种切换单手模式的控制方法、装置、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9423876B2 (en) * 2011-09-30 2016-08-23 Microsoft Technology Licensing, Llc Omni-spatial gesture input
US10216286B2 (en) * 2012-03-06 2019-02-26 Todd E. Chornenky On-screen diagonal keyboard
CN102789568B (zh) * 2012-07-13 2015-03-25 浙江捷尚视觉科技股份有限公司 一种基于深度信息的手势识别方法
CN102937822A (zh) * 2012-12-06 2013-02-20 广州视声电子科技有限公司 一种移动设备的背面操控结构及方法
CN103176605A (zh) * 2013-03-27 2013-06-26 刘仁俊 一种手势识别控制装置及控制方法
CN103440033B (zh) * 2013-08-19 2016-12-28 中国科学院深圳先进技术研究院 一种基于徒手和单目摄像头实现人机交互的方法和装置
CN103777701A (zh) * 2014-01-23 2014-05-07 深圳市国华光电研究所 大屏幕触屏电子设备
CN104331182B (zh) * 2014-03-06 2017-08-25 广州三星通信技术研究有限公司 具有辅助触摸屏的便携式终端
CN104750188A (zh) * 2015-03-26 2015-07-01 小米科技有限责任公司 移动终端
CN105824553A (zh) * 2015-08-31 2016-08-03 维沃移动通信有限公司 一种触控方法及移动终端
CN106569716B (zh) * 2016-10-25 2020-07-24 深圳奥比中光科技有限公司 单手操控方法及操控***

Also Published As

Publication number Publication date
WO2018076720A1 (zh) 2018-05-03
CN106569716A (zh) 2017-04-19

Similar Documents

Publication Publication Date Title
US10043308B2 (en) Image processing method and apparatus for three-dimensional reconstruction
CN106502570B (zh) 一种手势识别的方法、装置及车载***
US9069386B2 (en) Gesture recognition device, method, program, and computer-readable medium upon which program is stored
US9389779B2 (en) Depth-based user interface gesture control
EP2790089A1 (en) Portable device and method for providing non-contact interface
CN106569716B (zh) 单手操控方法及操控***
EP2846308A2 (en) Pointing direction detecting device and its method, program and computer readable-medium
US20130120250A1 (en) Gesture recognition system and method
CN106598422B (zh) 混合操控方法及操控***和电子设备
CN110489027B (zh) 手持输入设备及其指示图标的显示位置控制方法和装置
US20150169134A1 (en) Methods circuits apparatuses systems and associated computer executable code for providing projection based human machine interfaces
CN114138121B (zh) 用户手势识别方法、装置、***、存储介质及计算设备
US9525906B2 (en) Display device and method of controlling the display device
WO2021004413A1 (zh) 一种手持输入设备及其指示图标的消隐控制方法和装置
US20150205360A1 (en) Table top gestures for mimicking mouse control
US9870061B2 (en) Input apparatus, input method and computer-executable program
CN104169858A (zh) 一种终端设备识别用户手势的方法和设备
JP6555958B2 (ja) 情報処理装置、その制御方法、プログラム、および記憶媒体
CN109358755B (zh) 用于移动终端的手势检测方法、装置和移动终端
JP2022525326A (ja) 2次元カメラを利用して客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
WO2019100547A1 (zh) 投影控制方法、装置、投影交互***及存储介质
TW201419087A (zh) 微體感偵測模組及其微體感偵測方法
CN105528059B (zh) 一种三维空间手势操作方法及***
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
US9116573B2 (en) Virtual control device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant