CN114690976B - 基于弹性波的***首页界面交互操作方法及装置 - Google Patents

基于弹性波的***首页界面交互操作方法及装置 Download PDF

Info

Publication number
CN114690976B
CN114690976B CN202110435281.3A CN202110435281A CN114690976B CN 114690976 B CN114690976 B CN 114690976B CN 202110435281 A CN202110435281 A CN 202110435281A CN 114690976 B CN114690976 B CN 114690976B
Authority
CN
China
Prior art keywords
application
touch
elastic wave
trigger information
touch operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110435281.3A
Other languages
English (en)
Other versions
CN114690976A (zh
Inventor
陈玉香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Chuangzhi Technology Co ltd
Original Assignee
Guangzhou Chuangzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Chuangzhi Technology Co ltd filed Critical Guangzhou Chuangzhi Technology Co ltd
Priority to CN202110435281.3A priority Critical patent/CN114690976B/zh
Publication of CN114690976A publication Critical patent/CN114690976A/zh
Application granted granted Critical
Publication of CN114690976B publication Critical patent/CN114690976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04162Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种基于弹性波的***首页界面交互操作方法及装置。本申请实施例提供的技术方案,根据第一弹性波信号确定触摸物的介质类型,并根据第一触控操作的手势特征和介质类型查询预存的映射关系,映射关系存储有手势特征、介质类型以及对应的应用触发信息,应用触发信息用于触发开启首页界面对应的应用功能;确定对应的应用触发信息后,响应于第一触控操作,基于应用触发信息控制开启对应的应用功能。采用上述技术手段,通过触摸物弹性波信号的快速检测与匹配,可以实现首页界面对应应用功能的触发开启,简化首页界面各类应用功能的开启操作流程,提升应用功能启动控制的操作效率。

Description

基于弹性波的***首页界面交互操作方法及装置
技术领域
本申请实施例涉及人机交互技术领域,尤其涉及一种基于弹性波的***首页界面交互操作方法及装置。
背景技术
目前,交互平板的交互方式主要基于红外式触摸传感器和压敏电阻压力传感器进行手势检测,通过监听触控屏返回的点击坐标、点击时长、触控面积等信息来实现点击、滑动、长按等手势交互操作。为了方便相关应用功能的使用,会在***首页界面设置相关应用的快捷方式,以供用户快速点击使用。
但是,单纯通过点击坐标、点击时长、触控面积定义交互平板的交互方式相对较为单一,在需要使用某一个应用功能时,需要点击应用图标进入应用界面,进而在应用界面点击相应的功能选项,相关交互过程相对较为繁杂,用户操作体验欠佳。
发明内容
本申请实施例提供一种基于弹性波的***首页界面交互操作方法及装置,能够简化首页应用功能的开启操作,解决首页应用功能开启流程繁琐的技术问题。
在第一方面,本申请实施例提供了一种基于弹性波的***首页界面交互操作方法,用于交互平板,所述交互平板包括显示屏和红外触摸框,所述红外触摸框设置于所述显示屏的边框,所述交互平板还包括弹性波检测装置,所述方法包括:
所述红外触摸框检测到触摸物在显示屏上对应图标的第一触控操作;所述弹性波检测装置检测到第一弹性波信号,所述第一弹性波信号由所述触摸物进行所述第一触控操作时,所述触摸物接触所述显示屏时产生;
根据所述第一弹性波信号确定所述触摸物的介质类型,并根据所述第一触控操作的手势特征和所述介质类型查询预存的映射关系,所述映射关系存储有手势特征、介质类型以及对应的应用触发信息,所述应用触发信息用于触发开启首页界面对应的应用功能;
确定对应的所述应用触发信息后,响应于所述第一触控操作,基于所述应用触发信息控制开启对应的所述应用功能。
在第二方面,本申请实施例提供了一种基于弹性波的***首页界面交互操作装置,用于交互平板,所述交互平板包括显示屏和红外触摸框,所述红外触摸框设置于所述显示屏的边框,所述交互平板还包括弹性波检测装置,所述基于弹性波的***首页界面交互操作装置包括:
检测模块,用于通过所述红外触摸框检测到触摸物在显示屏上对应图标的第一触控操作;通过所述弹性波检测装置检测到第一弹性波信号,所述第一弹性波信号由所述触摸物进行所述第一触控操作时,所述触摸物接触所述显示屏时产生;
查询模块,用于根据所述第一弹性波信号确定所述触摸物的介质类型,并根据所述第一触控操作的手势特征和所述介质类型查询预存的映射关系,所述映射关系存储有手势特征、介质类型以及对应的应用触发信息,所述应用触发信息用于触发开启首页界面对应的应用功能;
响应模块,用于在确定对应的所述应用触发信息后,响应于所述第一触控操作,基于所述应用触发信息控制开启对应的所述应用功能。
在第三方面,本申请实施例提供了一种交互平板,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的基于弹性波的***首页界面交互操作方法。
在第四方面,本申请实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于弹性波的***首页界面交互操作方法。
本申请实施例通过红外触摸框检测到触摸物在显示屏上对应图标的第一触控操作;通过弹性波检测装置检测到第一弹性波信号,第一弹性波信号由触摸物进行第一触控操作时,触摸物接触显示屏时产生;根据第一弹性波信号确定触摸物的介质类型,并根据第一触控操作的手势特征和介质类型查询预存的映射关系,映射关系存储有手势特征、介质类型以及对应的应用触发信息,应用触发信息用于触发开启首页界面对应的应用功能;确定对应的应用触发信息后,响应于第一触控操作,基于应用触发信息控制开启对应的应用功能。采用上述技术手段,通过触摸物弹性波信号的快速检测与匹配,可以实现首页界面对应应用功能的触发开启,简化首页界面各类应用功能的开启操作流程,提升应用功能启动控制的操作效率,优化用户的操作体验。
此外,本申请实施例还通过映射关系的绑定和自定义修改以使用户使用各类触摸物触发应用功能,满足用户不同情况的下的触控操作需求,更进一步优化用户的操作体验。
附图说明
图1是本申请实施例一提供的一种基于弹性波的***首页界面交互操作方法的流程图;
图2是本申请实施例一中红外触摸框检测示意图;
图3是本申请实施例一中的弹性波检测的示意图;
图4是本申请实施例一中***首页界面的初始示意图;
图5是本申请实施例一中首页界面图标返回触控示意图;
图6是本申请实施例一中首页界面的主题切换示意图;
图7是本申请实施例一中首页界面应用删除示意图;
图8是本申请实施例一中首页界面应用快捷菜单显示示意图;
图9是本申请实施例一中输入通道切换示意图;
图10是本申请实施例一中映射关系构建流程图;
图11是本申请实施例一中的映射关系绑定示意图;
图12是本申请实施例一中的映射关系重建示意图;
图13是本申请实施例二提供的一种基于弹性波的***首页界面交互操作装置的结构示意图;
图14是本申请实施例三提供的一种交互平板的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的一种基于弹性波的***首页界面交互操作方法,旨在通过弹性波的检测与匹配触发对应应用功能的开启操作,以此来实现应用功能的快速启动,简化应用功能的启动流程,简化用户交互操作,进而提升用户操作效率和体验。相对于传统的交互平板,其在***首页界面进行交互操作时,启动某一个应用功能需要用户点击工具栏或者应用列表,从中找到对应应用程序,并点击进入该应用程序,基于应用程序界面的相关交互操作实现对应的应用功能。其整个操作过程相对较为繁杂,对于一些常用的功能,如此繁琐的交互操作势必会影响用户的操作效率,导致人机交互体验相对欠佳。基于此,提供本申请实施例的一种基于弹性波的***首页界面交互操作方法,以解决现有首页应用功能开启流程繁琐的技术问题。
实施例一:
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
需要说明的是,在本申请中,诸如第一和第二之类的关系术语仅仅用来将一个实体或操作或对象与另一个实体或操作或对象区分开来,而不一定要求或者暗示这些实体或操作或对象之前存在任何这种实际的关系或顺序。例如,第一触控操作和第二触控操作的“第一”和“第二”用来区分两个不同时间触摸显示屏盖板的交互操作。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例中提供的基于弹性波的***首页界面交互操作方法可以由基于弹性波的***首页界面交互操作设备执行,该基于弹性波的***首页界面交互操作设备可以通过软件和/或硬件的方式实现,该基于弹性波的***首页界面交互操作设备可以是两个或多个物理实体构成,也可以是一个物理实体构成。例如,基于弹性波的***首页界面交互操作设备可以是带有触控功能的电脑、平板或交互平板等智能设备。
为了便于理解,实施例中以交互平板为基于弹性波的***首页界面交互操作设备进行示例性描述。其中,交互平板可以是通过触控技术对显示在显示平板上的内容进行操作和实现人机交互操作的一体化设备,其集成了投影机、电子白板、幕布、音响、电视机以及视频会议终端等一种或多种功能。在实际应用中,交互平板的硬件部分由显示屏和智能处理***等部分所构成,由整体结构件结合到一起,同时也由专用的软件***作为支撑,其中显示屏具有触控功能。实施例中,显示屏显示电子白板,用户可通过手指或触控笔对显示屏进行触控操作,智能处理***根据用户输入的触控操作执行相应的交互操作。典型的,交互平板安装有至少一类操作***,其中,操作***包括但不限定于安卓***、Linux***及Windows***,通过操作***对显示屏接收到的触控操作进行处理,以实现相应的人机交互操作。
图1给出了本申请实施例一提供的一种基于弹性波的***首页界面交互操作方法的流程图,参照图1,该基于弹性波的***首页界面交互操作方法用于交互平板,交互平板包括显示屏和红外触摸框,红外触摸框设置于显示屏的边框,交互平板还包括弹性波检测装置,该基于弹性波的***首页界面交互操作方法具体包括:
S110、所述红外触摸框检测到触摸物在显示屏上对应图标的第一触控操作;所述弹性波检测装置检测到第一弹性波信号,所述第一弹性波信号由所述触摸物进行所述第一触控操作时,所述触摸物接触所述显示屏时产生。
在本方案中,交互平板对触控操作的检测不止有触控操作手势特征的检测,同时还有触控操作时介质(即触摸物)与交互平板的显示界面接触时发生振动的信号的检测,即弹性波信号的获取。其中,音频以下的机械振动,音频范围的声音,超过音频的超声波,这些都是气体、液体、固体等介质的波动现象,相对于光和电磁波来说,这种波动现象叫做弹性波。
对于触控操作的检测,以如图2所示基于红外光的红外触摸框10为例。图3所示的红外触摸框10包括两组红外发射器101和两组红外接收器102,每组红外接收器102分别与一组红外发射器101相对设置,并使得红外接收器102与红外发射器101按顺序一一对应排列。红外发射器101用于发射红外光信号,红外接收器102用于接收红外光信号,利用不同方向上密布的红外光信号形成横竖交叉的光束栅格来完成触摸位置的检测,获得触控操作的触控特征信息。具体来说,当触摸物体遮挡了红外光,对应的红外接收器102的光测量值发生变化,从而可以判断出触摸物体在触控检测区域中的位置。可以理解的是,当触控位置与显示屏上显示的图标位置对应时,则确定当前触控操作的触控对象为对应图标。
当不同的触摸物体触碰或接近显示屏时,触摸物体会完全或部分遮挡一个或多个垂直与水平方向的红外光。水平设置的红外发射器(共M个)和垂直设置的红外发射器(共N个)以一定的频率扫描,另一侧对应设置的红外接收器则以一定频率接收对侧发送的红外光。当全部垂直和水平的红外光扫描结束后,可以得到一张M*N的红外光强像素图。首先找到大于第一接触阈值I1的位置,该阈值代表一个真实有效的触碰,而非噪声或者物体接近而未完全触碰时半遮挡红外光路;按照顺序标记触碰位置(Xn,Yn),其中,X与Y代表该位置的坐标,下标中的n代表第几个真实有效的触碰区。从该位置开始,查看临近区域大于第二接触阈值I2的位置,该阈值代表一个大于噪声值的位置,可以作为真实触碰区的延伸,整个区域被标记为一个有效的触摸区域。通过触摸区域的大小,可以将触摸区域的几何形状Sn记录下来,可以为原始数据的几何边界,也可以为拟合后得到的几何图形,如椭圆的长短轴及旋转角度,或矩形的两个边长及旋转角度。
当触碰的物体远离显示屏盖板时,物体对于红外光的遮挡会变小,如果M*N的红外光强像素图中,上一帧被标记为有效触碰n的原本位置或邻近位置,均没有超过脱离阈值I3的像素,则该有效触摸n变为脱离触碰。对于同一个有效的触摸,内存会连续记录该触摸点的位置和触摸区域信息。通过上述信息,可以进而得出该有效触摸的速度vn、加速度an、角速度αn、角加速度βn等信息。
本申请的交互平板的边框为矩形,图2所示的红外触摸框安装于边框,通过边框内的电路板与交互平板内部实现信息传递。当然,沿矩形边框设置的红外触摸框10只是适应于矩形的交互平板的设计,在实际产品实现过程中,根据应用场景和使用需求的不同,交互平板的形状也有所不同,如还可以是六边形、圆形等,边框的形状也对应可以是六边形、圆形等,针对不同形状的边框,各个红外触摸框10中红外发射器101和红外接收器102的设置也有所不同,但是整体上仍保持红外发射器101与红外接收器102一一对应设置通过横竖交叉的光束栅格完成触摸位置的检测的布置原则。
在本方案的实施过程中,如图3所示,对于弹性波信号的检测,通过弹性波传感器103完成,弹性波传感器103具体安装在可以传递显示屏发生的振动的位置,从而实现对显示屏上触摸物体触碰到显示屏的事件的检测,而不一定安装在发生振动的位置。如图3所示可以在显示屏的4个角布置弹性波传感器103,当然也可以有其它的布置方式,例如矩形边框每条边的中点设置,数量也可以是其它数量,例如2个、5个,只要弹性波传感器103能够检测到触控操作过程中触摸物体与交互界面接触时的振动,具体布置的数量可以根据显示屏的尺寸和检测精度进行针对性设置,一般来说,显示屏的尺寸越大,检测精度要求越高,弹性波传感器103设置的数量越多。弹性波传感器103可以直接安装在显示屏的表面,例如直接安装在显示屏的上表面或者显示屏的下表面,从而接收由显示屏传递的振动,提高触碰检测的精确度。弹性波传感器103还可以安装在显示屏的边框内,减少对内部机构的影响,同时减少来自显示屏的共模噪声干扰。当然,弹性波传感器103也可以安装在与显示屏相接触的其他部件上,通过其他部件的传递接收发生在显示屏的振动。
弹性波传感器可以是全部被动检测弹性波,也可以是其中的一个或多个可以主动向外激发弹性波,激发的弹性波能被所有的弹性波传感器检测到,当显示屏的盖板上有外部触碰发生时,会另外产生弹性波被所有弹性波传感器检测到,***可以根据多个弹性波的综合作用产生的信号判断外部触碰对应的触碰物的介质类型。
当物体在显示屏的盖板上触碰(包括点触、滑动)时,会产生具有特征的弹性波,该弹性波从接触点开始,沿着盖板向四周传播,或者向盖板内部传播。位于显示屏边框处或盖板内部的弹性波传感器根据检测方式的不同可以将振动信号转化为电压、电流或磁通量信号,这些信号传输到含有温度补偿的处理器中,进行放大处理,并转为数字的弹性波传感信号。
以电压信号为例,物体与显示屏的盖板接触过程中弹性波传感器得到的电压信号会以一定频率f被扫描,当电压值大于第一电压阈值V1时,该电压值会被记录为一个高于噪声的有效的压电值,反之则记录为零电压。在具体的判断过程中,第一电压阈值V1可以随着温度有相应的变化,原因是电路噪声会随着温度有变化,且压电材料的耦合系数亦会随着温度发生相应的改变。连续记录的K个电压信号,即为一个弹性波信号片段,该片段的时长为T0=K/f。在该片段中,如果在该片段的K个信号均没有大于第一电压阈值V2,则信号的强度没有达到有效的触碰强度,将其舍弃;反之,则记录为一个有效的触碰信号。
根据红外触摸框的信息,可以知道在时间为ti的时刻,触摸物体的中心位置及接触形状。根据温度信息,可以得出不同弹性波在盖板中传播的速度,如表面波的波速为va(T),这是一个关于温度T的函数,该波速可能是各向异性的(例如盖板材料的各向异性,或者内应力的不同导致的各向异性)。根据位置信息,可以得出该触摸物体离一个弹性波传感器的距离为Sk,则触摸物体的弹性波信号,于(ti+Sk/va)时刻到达该弹性波传感器;并且该弹性波的强度会随着距离衰减,到达该弹性波传感器的信号强度与原信号强度的比值为~1/(Sk^2)。具体衰减速率与显示屏的盖板温度以及弹性波本身的频率也有关系,整体而言,盖板温度越高,衰减速率越快;频率越高,衰减速度越快。同理可以得出,其他弹性波传感器的信号接收时间与信号强度关系。
弹性波传感器得到的所有弹性波信号,可以根据信号的时间、频率等特征量的不同,可以去除一些噪声信号。首先是来自于触碰行为之外的振动信号:如外部的振动、内部的扬声器或框架均会产生一些振动,而在红外触摸框检测到的信息的帮助下,可以判断出有效信号出现的时间段,在其他时间段的弹性波信号均为非触碰导致的信号。将不同时间段的压电传感器中的非有效触碰信号去除,有利于后续步骤对于物体的识别和判断。其次是来自于触碰行为但是触摸物体的特征在先没有记录的。对于用于交互的触摸手势或者其他物体触碰,均有已知的特征频率分布,如***支持的手指与手写笔、橡皮擦点触或滑动时,特征频率在1kHz到20kHz之间,而其他频率的信号均为噪声或者不支持的信号;故对于电压信号可以做快速傅里叶变化,将不支持的频率区间过滤出信号区间。
需要说明的是,在同一个位置的弹性波传感器可以有一个或多个极化方向的传感器组合而成。例如两个为+/-Z方向的极化方向,可以用差分电路求两个压电信号的差值,可以放大信号并且减少因为温度等原因引起的压电系数变化。又例如一个或多个XY平面内极化方向的压电传感器,可以感应到多一个维度的弹性波信号,可以检测不同的弹性波的传播,可以增加信息量(便于多点的识别与判断),且可以增加防水(利用水的切变模量较低,检测切向波的特征信号)或者其他污渍的功能。
至此,弹性波传感器结合之前的红外触摸框可以输出一段有效的弹性波信号,这段信息以对应的电压信号的方式记录,其中可以确认振幅、频率和相位等信息。
从弹性波产生的源头而言,包括交互平板内各种产生噪声的元件(如马达、喇叭、风扇等)和交互平板外部产生噪声的设备(如室内空调、电视等),这些元件在使用的过程中,会导致交互平板产生非用户控制本意的弹性波。通过元件的类别,可以确认该元件产生噪声的方式,例如,喇叭所产生的噪声主要来自于其发出声音时所导致的交互平板整体介质中产生弹性波,对于弹性波传感器而言,可以随时检测到各种弹性波信号,但是其中有很多并不是来自于触控操作本身。
针对这些元件或设备,可以预先采集不同驱动电压下在预设的时间周期内、该元件或设备产生的弹性波信号,并将该弹性波信号对应转换得到的电信号作为噪声信号。在将弹性波传感器检测到的所有信号进行噪声滤除,排除噪声干扰之后,即可得到有效的弹性波信号。在滤除噪声的过程中,考到噪声信号产生的干扰并不相同,可以参照噪声信号自适应地对触控操作本身产生的信号进行放大或缩小,以凸显噪声信号与触碰操作本身产生的信号的差别。
考虑到喇叭等噪源产生噪声较为轻微时,触摸物触碰时产生的弹性波信号明显会高于喇叭等噪源产生的弹性波信号(即噪声信号),此时,两者之间区别并不明显,通过设定电压范围限定电压的阈值,可更为容易确认噪声所产生的弹性波波段并予以去除,以此降低计算量的情况,有效提高滤除噪声的效率,快速得到触控操作本身对应的信号,即弹性波信号。具体来说,在电压的阈值组成的范围内,将所有检测到的弹性波信号和噪声信号进行相位比对,去除其中与噪声信号相位一致的信号数据,降低实际计算时不必要的计算量,例如,当喇叭等噪源产生的噪声较为轻微时,用户操作触碰时产生的触碰信号明显会高于喇叭等噪源产生的噪声信号,此时,将两者相对比,其区别并不明显,而通过限定电压的阈值的方式,则可更为容易确认噪声所产生的波段并予以去除,以此有效提高噪声去除的效率。在滤除过程中,可将所有的弹性波信号和噪声信号进行相位比对,如果弹性波信号中与噪声信号相位一致,将弹性波信号中与噪声信号相位一致的信号数据予以删除,如果弹性波信号中与噪声信号相位相反,将弹性波信号中与噪声信号相位相反的信号数据予以保留,以此避免在噪声信号的波段与弹性波信号的波段相反的情况下直接相减带来的误差,保留弹性波信号中真实源自触控操作的信号。
触控传感信息除了以上所述的触控操作和弹性波信号,还可以包括由压力传感器检测得到的压力信息。压力传感器的原理是压力可以引起电阻变化,如果给压力传感器施加恒定的电压,则可以检测输出的电流值,进而可以得出压敏电阻的变化,实现压力传感器的压力变化检测。多个压力传感器设置于显示屏的下方,具体可以设置在边缘或靠近中心的位置,由于力的可叠加性,多个压力传感器可感知不同位置的压力信息,结合红外触摸框,可以计算出每个触摸点的压力。
基于压力传感器检测到的压力信息之后,对于在交互平板的触控检测区域发生的触控操作对应的触控传感信息,还可以进一步进行过滤。在触摸物体从靠近显示屏、接触显示屏到离开显示屏的过程中,可能会检测到触控操作,但是从实际接触状态和触控目标上,这些触控操作并不能作为有效的触控传感信息,例如红外显示屏中触摸物体在接触之前会有一段很小距离实际并没有接触到,但是红外显示屏能检测到触摸物体;当然,离开的过程中也会有相同的状态,此时可以根据所述压力信息与预设压力阈值的比较结果对所述触控传感信息进行过滤,即如果某个时段的压力信息小于预设压力阈值,则将该时段对应的触控传感信息进行过滤,该时段内检测到的触控操作和弹性波信号都忽略不予响应。
基于上述触控操作和弹性波信号的检测方案,即可在触摸物触控交互平板显示屏上的对应图标时,检测出对应的触控操作和弹性波信号,基于检测到的触控操作和弹性波信号执行相应的人机交互操作。
具体的,交互平板在使用过程中,用户通过触控交互平板的显示屏实现人机交互。交互平板通过检测对当前显示屏显示的对应图标的触控操作及对应的弹性波信号,基于触控操作及对应弹性波信号的检测与响应来实现相关交互操作。本申请实施例为了通过相关触摸物触控对应图标以触发对应的应用功能,采用弹性波信号检测匹配的方式,将不同触摸物的手势特征、介质类型与对应应用功能绑定,当检测到到对应触摸物触摸图标的手势特征和弹性波信号时,通过该弹性波信号确定该触摸物的介质类型,基于介质类型和手势特征即可确定预先绑定的应用触发信息,利用应用触发信息开启对应的应用功能。其中,在红外触摸框检测到触摸物与交互平板显示屏显示的对应图标接触产生的触控操作后,定义这一触控操作为第一触控操作。同时弹性波检测装置检测该第一触控操作所对应产生的弹性波信号,即第一弹性波信号。
S120、根据所述第一弹性波信号确定所述触摸物的介质类型,并根据所述第一触控操作的手势特征和所述介质类型查询预存的映射关系,所述映射关系存储有手势特征、介质类型以及对应的应用触发信息,所述应用触发信息用于触发开启首页界面对应的应用功能。
在本方案中,对于有效的触控传感信息的响应,除了基于对触控操作的手势特征进行判断,还有基于对触碰介质(即触摸物体)的判断。对手势特征的判断具体通过触控操作触控对应图标实现,例如触控时长、触控轨迹特征、触控操作(如单击双击等)和/或触控面积等。对触碰介质的判断主要通过将弹性波信号与预存的触碰介质特征进行比对,与预存的触碰介质特征匹配的则确认为对应的触碰介质类型;另外是基于不同触碰介质类型的若干样本的弹性波信息预先训练得到分类模型,将触控传感信息整体输入或将其中的弹性波信号输入到该分类模型中完成触碰介质类型的识别。具体而言,触碰介质类型的识别通过如下的两种方式实现:
将所述弹性波信号与预存的触碰介质分类信息进行比对,确认所述弹性波信号对应的触碰介质类型;或,
将所述弹性波信号输入预先训练得到的分类模型,根据所述分类模型输出的分类函数值,确认所述弹性波信号对应的触碰介质类型。
对于通过与预存的触碰介质分类信息进行比对的方式,直接对设定的一种或几种属性信息进行比对,例如通过对振幅、频率和相位中的一个或多个进行比对,当比对的属性信息匹配度达到设定阈值,则确认该弹性波信号为对应的触碰介质类型,一种弹性波信号和多种弹性波信号的比对方式相同,即均逐个与预存的触碰介质分类信息进行比对,直至匹配成功或者全部比对完均不匹配。
对于通过分类模型进行分类的方式,如果一个触摸点的情况,通过红外触摸框推得各个压电传感器接收到信号的时间,在不同的时段的电压信号,找出特征频率的强度、相位等信息。这些信息结合该触摸点的压力信息作为输入项,通过机器学习或/和深度学习的模型,输出分类函数值0,1,2,3,4...其中,0代表非支持的物体,1表示手指指腹,2表示书写笔A,3表示书写笔B,4表示橡皮擦,以此类推。分类函数值的具体设定情况可以根据实际模型任意设定格式活数值,例如本实施例中0,1,2,3,4..也可以设置为000,001,010,011,100..格式,或者设置为10,11,12,13,14..等其它数值。分类模型除了输出明确的分类结果,还可以进一步给出对各个分类的可能性大小,例如某次触控操作过程中检测到的弹性波信号进行触碰介质类型判断得到书写笔A的可能性85%,书写笔B的可能性13%,手指指腹的可能性为2%,从而处理过程,根据可能性的高低,可以确定触碰介质类型为书写笔A。
对于多个触摸点的情况,通过红外触摸框计算各个弹性波传感器接收到信号的时间,在不同的时段的电压信号,通过快速傅里叶变换,找出特征频率的强度、相位等信息。这些从弹性波获得的信息,结合红外触摸框在该触摸点检测到的信息(包括位置坐标、接触面积、速度与加速度等信息),以及该触摸点的压力信息作为一个信息包Infoi,将所有的信息包作为输入项通过机器学习或深度学习的模型,对于每一个触摸点i,分别输出分类函数值0,1,2,3,4...其中,各个分类函数值表示不同的触碰介质类型,例如0代表非支持的物体,1表示手指指腹,2表示书写笔A,3表示书写笔B,4表示橡皮擦,以此类推,当然,分类函数值与触碰介质类型也可以有其他不同的对应方式。
需要说明的是,预先训练的分类模型并不是固定不变,其可以在交互平板的使用过程中根据用户的使用数据进行自我训练、自我强化和自我优化,从而使得分类判断结果更准确、更贴合用户的使用习惯。
基于上述触碰介质类型的识别方式,即可确定该第一弹性波信号所对应的介质类型,即为当前触摸物所对应的介质类型。
进一步的,交互平板基于检测到的介质类型与手势特征查询预存的映射关系。在此之前,交互平板预先存储触摸物的介质类型信息以及对应的手势特征,触摸物根据实际使用需求,可以是触控笔、手指指腹、手指关节等不同材质的物体,这些触摸物的材质不同,其触控显示屏时产生的弹性波信号也不同,则对应的,交互平板检测到的介质类型也不同。手势特征和介质类型对应应用触发信息存储为对应的映射关系,应用触发信息用于触发开启对应的应用功能。则通过该介质类型和相应的手势特征,即可确定相映射的应用触发信息,进而触发相应的应用功能。
具体的,当检测到的手势特征和介质类型与预存映射关系中的手势特征和介质类型相匹配时,则可以确定当前显示屏的触摸物体的介质类型和手势特征为预存映射关系对应的介质类型和手势特征。可以理解的是,若通过映射关系查询确定该手势特征和介质类型与对应映射关系匹配,则可以触发开启使用相应的应用功能。
需要说明的是,根据应用功能的触控开启需求,若需要利用弹性波信号的检测与匹配触发开启多种不同的应用功能,则可以预先构建多种触摸物的介质类型与多个应用触发信息的映射关系。后续用户通过不同介质类型的触摸物触控显示屏,即可基于不同映射关系触发开启对应的应用功能。同样的,还可以预先构建多种手势特征及同一介质类型与多个应用触发信息的映射关系。以此来满足同一触摸物触发多种应用功能的操作需求。
基于上述映射关系的预先构建存储,后续通过映射关系查询,即可确定当前检测到的第一弹性波信号是否与预存的介质类型和手势特征匹配。进而根据映射关系查询,即可确定当前第一弹性波信号所要使用的应用触发信息。
S130、确定对应的所述应用触发信息后,响应于所述第一触控操作,基于所述应用触发信息控制开启对应的所述应用功能。
基于上述映射关系的查询结果,确定对应的应用触发消息后,即可通过应用触发消息控制开启对应的应用功能,以此完成本申请实施例基于弹性波信号检测与匹配的***首页界面交互操作流程。可以理解的是,整个过程用户只需要使用触摸物触控在显示屏上显示的对应图标,即可实现对应应用功能的触发操作。
示例性的,用户在交互平板的显示屏进行人机交互时,通过将特定触摸物的弹性波信号设置为介质类型特征,并将指定的手势特征、该介质类型特征与指定的应用触发信息绑定。后续在首页界面进行人机交互时,若需要使用某一个应用功能,则基于预存的映射关系,使用对应介质类型的触摸物触摸对应应用功能的图标,并产生相应的手势特征。对应的,交互平板检测到该触控操作对应的介质类型和手势特征与预测映射关系匹配后,则使用对应映射关系的应用触发信息触发对应的应用功能,使对应应用功能实现一键触发的控制效果。
上述,通过红外触摸框检测到触摸物在显示屏上对应图标的第一触控操作;通过弹性波检测装置检测到第一弹性波信号,第一弹性波信号由触摸物进行第一触控操作时,触摸物接触显示屏时产生;根据第一弹性波信号确定触摸物的介质类型,并根据第一触控操作的手势特征和介质类型查询预存的映射关系,映射关系存储有手势特征、介质类型以及对应的应用触发信息,应用触发信息用于触发开启首页界面对应的应用功能;确定对应的应用触发信息后,响应于第一触控操作,基于应用触发信息控制开启对应的应用功能。采用上述技术手段,通过触摸物弹性波信号的快速检测与匹配,可以实现首页界面对应应用功能的触发开启,简化首页界面各类应用功能的开启操作流程,提升应用功能启动控制的操作效率,优化用户的操作体验。
在上述实施例的基础上,提供本申请实施例基于弹性波的***首页界面交互操作方法的具体实施方式。其中,所述映射关系包括第一映射关系和第二映射关系,所述第一映射关系包含首页界面对应主题或输入通道的所述应用触发信息,所述第二映射关系包含应用程序图标对应的所述应用触发信息。可以理解的是,通过对应一个触摸物的介质类型构建不同的映射关系,可以使触摸物触控首页界面的不同图标而触发不同的应用功能。由于应用功能的应用触发信息与对应材质触摸物的介质类型和手势特征绑定,以使该触摸物触控对应图标时触发该应用功能。则要实现多种应用功能的触发,需要使用多种触摸物的介质类型和手势特征与其应用触发消息绑定构建映射关系。而通过对应一个触摸物的同一介质类型和手势特征构建上述第一映射关系和第二映射关系,可以减小触摸物的使用数量,使应用功能的触发操作更为便利。
基于预先构建的第一映射关系和第二映射关系,在使用一个触摸物触控显示屏上的不同图标时,根据其第一触控操作的触控的不同图标触发不同的应用功能。
具体的,根据所述第一触控操作的手势特征和所述介质类型查询预存的映射关系,包括:
确定所述第一触控操作所触控的图标为首页界面的返回图标或输入通道的设置图标;
基于所述第一触控操作的手势特征和所述介质类型查询所述第一映射关系,确定首页界面对应主题或者输入通道的应用触发信息。
本申请实施例中,对应主题和输入通道的应用功能触发,通过预先构建该第一映射关系进行触发。当红外触摸框检测到第一触控操作的触控位置落在首页界面的返回图标或输入通道的设置图标的检测范围时,则确定当前第一触控操作的触控对象为首页界面的返回图标或输入通道的设置图标。此时根据触控操作的手势特征和介质类型比对预存映射关系,若确定存在相匹配的映射关系,则对应提取该映射关系的应用触发信息,利用该应用触发信息触发首页界面对应主题或者输入通道的应用功能。
其中,交互平板在确定首页界面对应主题或者输入通道的所述应用触发信息后,响应于所述第一触控操作,基于对应的所述应用触发信息设置当前***的主题或者输入通道。可以理解的是,一个应用触发信息即包含了一种***主题或者输入通道的设置信息。以此,当需要设置某一***主题或者输入通道时,只需要使用对应介质类型的触摸物执行相应的触控操作,交互平板通过手势特征和介质类型检测即可确定对应的应用触发信息,进而通过触控操作响应进行***主题或者输入通道的个性化设置。
另一方面,所述根据所述第一触控操作的手势特征和所述介质类型查询预存的映射关系,还包括:
确定所述第一触控操作所触控的图标为首页界面的应用程序图标;
基于所述第一触控操作的手势特征和所述介质类型查询所述第二映射关系,确定所述应用程序图标对应应用快捷菜单、应用开启、应用删除或者应用升级的应用触发信息。
本申请实施例中,对应应用快捷菜单、应用开启、应用删除或者应用升级等应用功能触发,通过预先构建该第二映射关系进行触发。当红外触摸框检测到第一触控操作的触控位置落在首页界面对应应用程序图标的检测范围时,则确定当前第一触控操作的触控对象为首页界面的对应应用程序图标。此时根据触控操作的手势特征和介质类型比对预存映射关系,若确定存在相匹配的映射关系,则对应提取该映射关系的应用触发信息,利用该应用触发信息触发首页界面对应应用程序的应用快捷菜单、应用开启、应用删除或者应用升级等应用功能。
其中,交互平板在确定所述应用程序图标对应应用快捷菜单、应用开启、应用删除或者应用升级的应用触发信息后,响应于所述第一触控操作,基于对应的所述应用触发信息显示对应的应用快捷菜单,或者触发对应应用程序的删除、开启或者升级操作。可以理解的是,一个应用触发信息即包含了一个应用快捷菜单、应用开启、应用删除或者应用升级等应用功能的设置信息。以此,当需要触发应用程序的某一应用功能时,只需要使用对应介质类型的触摸物执行相应的触控操作,交互平板通过手势特征和介质类型检测即可确定对应的应用触发信息,进而通过触控操作响应进行应用快捷菜单、应用开启、应用删除或者应用升级等应用功能的执行。
示例性的,参照图4,提供本申请实施例***首页界面的初始显示示意图。如图4所示,此时交互平板的首页界面使用主题为“清风”,输入通道为“PC”。在进行主题或者输入通道的设置时,则通过指定触摸物配合相应的手势特征来触控对应的图标,以此来触发主题或者输入通道的设置。
举例而言,如图5所示,以触控笔作为触摸物,预先确定触控笔12触控显示屏11产生的触控操作的弹性波信号,将这一弹性波信号设置为介质类型特征。进一步采集触摸物单击首页界面返回按钮的触控操作,确定该触控操作的手势特征。将该介质类型特征、手势特征与“静谧”主题的应用触发信息绑定构建第一映射关系。当用户使用触控笔12单击交互平板的显示屏11显示的首页界面返回按钮,此时交互平板通过检测触控笔12的触控操作,基于上述步骤S110~S130对该触控操作的弹性波信号进行检测与匹配,进而对该触控操作进行响应,基于预存储的第一映射关系确定“静谧”主题的应用触发信息。如图6所示,使用该应用触发消息将当前***使用的“清风”主题切换为“静谧”主题,当***返回首页界面时,***同步切换主题,以此完成“静谧”主题设置的应用功能触发操作。同样的,通过将不同材质触摸物的介质类型和指定手势特征绑定不同主题的应用触发信息,即可通过不同触摸物和对应手势特征触发不同的***主题应用。
此外,在一个实施例中,触控笔12的介质类型和指定手势特征还可以直接与“主题切换”的应用触发信息绑定构建第一映射关系,后续用户通过触控笔12点击显示屏11显示的首页界面返回按钮时,交互平板响应于该触控操作,基于第一映射关系使用“主题切换”的应用触发信息触发主题切换功能,以此来实现***的主题切换。
另一方面,如图7所示,以触控笔作为触摸物,预先确定触控笔12触控显示屏11产生的触控操作的弹性波信号,将这一弹性波信号设置为介质类型特征。进一步采集触摸物长按应用程序图标的触控操作,确定该触控操作的手势特征。将该介质类型特征、手势特征与“应用删除”的应用触发信息绑定构建第二映射关系。当用户使用触控笔12触控交互平板的显示屏11显示的首页界面的应用程序图标时,此时交互平板通过检测触控笔12的触控操作,基于上述步骤S110~S130对该触控操作的弹性波信号进行检测与匹配,进而对该触控操作进行响应,基于预存储的第二映射关系确定“应用删除”的应用触发信息,使用该应用触发消息将当前用户选择的应用程序图标所对应的应用程序删除功能,以此完成应用程序删除功能的触发操作。
同样的,如图8所示,通过预先将触控笔12的弹性波信号设置为介质类型特征。进一步采集触摸物双击应用程序图标的触控操作,确定该触控操作的手势特征。将该介质类型特征、手势特征与“应用快捷菜单显示”的应用触发信息绑定构建第二映射关系。当用户使用触控笔12触控交互平板的显示屏11显示的首页界面的应用程序图标时,此时交互平板通过检测触控笔12的触控操作,基于上述步骤S110~S130对该触控操作的弹性波信号进行检测与匹配,进而对该触控操作进行响应,基于预存储的第二映射关系确定“应用快捷菜单显示”的应用触发信息,使用该应用触发消息触发当前用户选择的应用程序图标的应用快捷菜单显示,以此完成应用快捷菜单显示功能的触发操作。除此之外,通过手指指腹、手指关节配合单击、双击、长按等触控操作的手势特征,交互平板还可以实现首页界面上诸如应用程序开启、应用程序升级等多种不同应用功能的一键触发。
如图9所示,以手指13作为触摸物,预先确定手指13触控显示屏11上通道设置图标产生的触控操作的弹性波信号,将这一弹性波信号设置为介质类型特征。进一步采集触摸物单击通道设置图标的触控操作,确定该触控操作的手势特征。将该介质类型特征、手势特征与“输入通道设置”的应用触发信息绑定构建第一映射关系。当用户使用手指13触控交互平板的显示屏11显示的“输入通道”图标时(即该通道设置图标),此时交互平板通过检测手指13的触控操作,基于上述步骤S110~S130对该触控操作的弹性波信号进行检测与匹配,进而对该触控操作进行响应,基于预存储的第一映射关系确定“输入通道设置”的应用触发信息,使用该应用触发消息将当前***使用的“PC”输入通道切换为“HDMI”输入通道,以此完成“HDMI”输入通道设置的应用功能触发操作,实现不同触摸物触发不同输入通道设置的交互操作效果。可以理解的是,通过使用各类不同材质的触摸物,利用其介质类型和指定手势特征绑定各类应用触发信息构建映射关系,即可实现多种应用功能的“一键”触发。
上述,通过触摸物的弹性波信号和手势特征绑定首页主题设置信息、输入通道设置信息、应用程序开启信息、应用程序删除信息和应用快捷菜单开启信息等应用触发信息构建映射关系,可以实现触摸物的一次触发操作实现主题设置、输入通道设置、应用删除、开启以及应用快捷菜单显示等应用功能的触发,较大程度地简化应用功能的触发操作,提升主题、输入通道及应用程序的应用功能操作效率,更进一步优化用户的操作体验。
在上述实施例的基础上,本申请实施例还提供映射关系绑定存储的具体实施方式,其中,参照图10,提供映射关系的绑定流程图,所述映射关系存储有手势特征、介质类型以及对应的应用触发信息,包括:
S1101、接收相应的交互操作,显示对应映射关系的设置界面;
S1102、基于触摸物的触控操作检测对应的手势特征和介质类型,将对应的所述应用触发信息与检测到的手势特征和介质类型绑定构建映射关系。
具体的,在交互平板预先构建映射关系时,通过相关的人机交互操作调出映射关系设置界面。具体的,在调出映射关系设置界面时,用户通过点击“映射关系设置”图标,进入映射关系设置列表。映射关系设置列表显示了各类应用功能对应的映射关系。根据需要设置的映射关系,用户从映射关系设置列表中选择点击对应的选项,进入该映射关系的设置界面。进而通过触摸物触控显示屏采集介质类型特征和对应的手势特征,将其与对应应用触发信息绑定,完成映射关系的构建。
示例性的,如图11所示,在进行应用触发信息的绑定时,通过相关交互操作调出映射关系的设置界面。此时用户使用触控笔12触控显示屏11,交互平板检测并采集触控笔12的弹性波信号,将其作为介质类型特征,将其与检测到的手势特征及对应应用触发信息绑定,以此完成映射关系的构建。
进一步的,将对应的所述应用触发信息与所述介质类型特征绑定构建映射关系之后,还包括:
接收对所述设置界面的第二触控操作,检测所述第二触控操作对应的手势特征和介质类型,并将检测到的手势特征和介质类型与对应的所述应用触发信息绑定重建所述映射关系。
示例性的,参照图12,当用户需要对应更换应用触发信息所绑定的触摸物时,通过交互操作调出绑定界面,进一步使用替换工具13触控显示屏11以重新采集介质类型特征和手势特征。如图12所示,通过重新采集替换工具13的弹性波信号作为介质类型特征,并与对应的手势特征和应用触发信息绑定,以此完成映射关系的更改。
上述,通过映射关系的构建和适应性更改,可以便于用户使用各类触摸物并基于弹性波的识别与匹配触发对应的应用功能,减少应用功能触发的操作流程,并实现映射关系的自定义构建与更改,提供更便利、快捷的操作方式,进而提升用户的工作效率及操作体验。
在上述实施例的基础上,对应一个应用程序的开启、删除和应用快捷菜单显示功能,可以通过一个触摸物的不同手势特征进行操作触发。例如,将触摸物的介质类型特征、单击手势特征一并与“应用开启”的应用触发信息绑定构建第二映射关系。则后续通过触摸物单击应用程序图标,即可触发对应应用程序的开启功能;将触摸物的介质类型特征、长按手势特征一并与“应用删除”的应用触发信息绑定构建第二映射关系。则后续通过触摸物长按应用程序图标,即可触发对应应用程序的删除功能;将触摸物的介质类型特征、双击手势特征一并与“应用快捷菜单显示”的应用触发信息绑定构建第二映射关系。则后续通过触摸物双击应用程序图标,即可触发对应应用程序的快捷菜单显示功能。基于上述预先绑定的多个映射关系,即可通过一个触摸物的不同触控操作触发不同的应用功能。上述,通过同一介质类型特征、不同手势特征与不同应用触发信息绑定构建不同的映射关系,以此可以使一个触摸物集成多种应用功能的一键触发功能,更进一步提升应用功能的触发操作效率,提升用户的操作体验。
实施例二:
在上述实施例的基础上,图13为本申请实施例二提供的一种基于弹性波的***首页界面交互操作装置的结构示意图。参考图13,本实施例提供的基于弹性波的***首页界面交互操作装置用于交互平板,交互平板包括显示屏和红外触摸框,红外触摸框设置于显示屏的边框,交互平板还包括弹性波检测装置,基于弹性波的***首页界面交互操作装置具体包括:检测模块21、查询模块22和响应模块23。
其中,检测模块21用于通过所述红外触摸框检测到触摸物在显示屏上对应图标的第一触控操作;通过所述弹性波检测装置检测到第一弹性波信号,所述第一弹性波信号由所述触摸物进行所述第一触控操作时,所述触摸物接触所述显示屏时产生;
查询模块22用于根据所述第一弹性波信号确定所述触摸物的介质类型,并根据所述第一触控操作的手势特征和所述介质类型查询预存的映射关系,所述映射关系存储有手势特征、介质类型以及对应的应用触发信息,所述应用触发信息用于触发开启首页界面对应的应用功能;
响应模块23用于在确定对应的所述应用触发信息后,响应于所述第一触控操作,基于所述应用触发信息控制开启对应的所述应用功能。
在上述实施例的基础上,所述映射关系包括第一映射关系和第二映射关系,所述第一映射关系包含首页界面对应主题或输入通道的所述应用触发信息,所述第二映射关系包含应用程序图标对应的所述应用触发信息。
在上述实施例的基础上,查询模块22包括:包括:
确定所述第一触控操作所触控的图标为首页界面的返回图标或输入通道的设置图标;
基于所述第一触控操作的手势特征和所述介质类型查询所述第一映射关系,确定首页界面对应主题或者输入通道的应用触发信息。
对应的,所述确定对应的所述应用触发信息后,响应于所述第一触控操作,基于所述应用触发信息控制开启对应的所述应用功能,包括:
确定首页界面对应主题或者输入通道的所述应用触发信息后,响应于所述第一触控操作,基于对应的所述应用触发信息设置当前***的主题或者输入通道。
在上述实施例的基础上,查询模块22还包括:
确定所述第一触控操作所触控的图标为首页界面的应用程序图标;
基于所述第一触控操作的手势特征和所述介质类型查询所述第二映射关系,确定所述应用程序图标对应应用快捷菜单、应用开启、应用删除或者应用升级的应用触发信息。
对应的,所述确定对应的所述应用触发信息后,响应于所述第一触控操作,基于所述应用触发信息控制开启对应的所述应用功能,还包括:
确定所述应用程序图标对应应用快捷菜单、应用开启、应用删除或者应用升级的应用触发信息后,响应于所述第一触控操作,基于对应的所述应用触发信息显示对应的应用快捷菜单,或者触发对应应用程序的删除、开启或者升级操作。
在上述实施例的基础上,查询模块22还包括:
接收单元,用于接收相应的交互操作,显示对应映射关系的设置界面;
构建单元,用于基于触摸物的触控操作检测对应的手势特征和介质类型,将对应的所述应用触发信息与检测到的手势特征和介质类型绑定构建映射关系。
重建单元,用于接收对所述设置界面的第二触控操作,检测所述第二触控操作对应的手势特征和介质类型,并将检测到的手势特征和介质类型与对应的所述应用触发信息绑定重建所述映射关系。
上述,通过红外触摸框检测到触摸物在显示屏上对应图标的第一触控操作;通过弹性波检测装置检测到第一弹性波信号,第一弹性波信号由触摸物进行第一触控操作时,触摸物接触显示屏时产生;根据第一弹性波信号确定触摸物的介质类型,并根据第一触控操作的手势特征和介质类型查询预存的映射关系,映射关系存储有手势特征、介质类型以及对应的应用触发信息,应用触发信息用于触发开启首页界面对应的应用功能;确定对应的应用触发信息后,响应于第一触控操作,基于应用触发信息控制开启对应的应用功能。采用上述技术手段,通过触摸物弹性波信号的快速检测与匹配,可以实现首页界面对应应用功能的触发开启,简化首页界面各类应用功能的开启操作流程,提升应用功能启动控制的操作效率,优化用户的操作体验。
此外,本申请实施例还通过映射关系的绑定和自定义修改以使用户使用各类触摸物触发应用功能,满足用户不同情况的下的触控操作需求,更进一步优化用户的操作体验。
本申请实施例二提供的基于弹性波的***首页界面交互操作装置可以用于执行上述实施例一提供的基于弹性波的***首页界面交互操作方法,具备相应的功能和有益效果。
实施例三:
本申请实施例三提供了一种交互平板,参照图14,该交互平板包括:处理器31、存储器32、通信模块33、输入装置34及输出装置35。该交互平板中处理器31的数量可以是一个或者多个,该交互平板中的存储器32的数量可以是一个或者多个。该交互平板的处理器31、存储器32、通信模块33、输入装置34及输出装置35可以通过总线或者其他方式连接。
存储器32作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请任意实施例所述的基于弹性波的***首页界面交互操作方法对应的程序指令/模块(例如,基于弹性波的***首页界面交互操作装置中的检测模块、查询模块和响应模块)。存储器32可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器32可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器32可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块33用于进行数据传输。
处理器31通过运行存储在存储器中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的基于弹性波的***首页界面交互操作方法。
输入装置34可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
上述提供的交互平板可用于执行上述实施例一提供的基于弹性波的***首页界面交互操作方法,具备相应的功能和有益效果。
实施例四:
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种基于弹性波的***首页界面交互操作方法,用于交互平板,所述交互平板包括显示屏和红外触摸框,所述红外触摸框设置于所述显示屏的边框,所述交互平板还包括弹性波检测装置,所述方法包括:所述红外触摸框检测到触摸物在显示屏上对应图标的第一触控操作;所述弹性波检测装置检测到第一弹性波信号,所述第一弹性波信号由所述触摸物进行所述第一触控操作时,所述触摸物接触所述显示屏时产生;根据所述第一弹性波信号确定所述触摸物的介质类型,并根据所述第一触控操作的手势特征和所述介质类型查询预存的映射关系,所述映射关系存储有手势特征、介质类型以及对应的应用触发信息,所述应用触发信息用于触发开启首页界面对应的应用功能;确定对应的所述应用触发信息后,响应于所述第一触控操作,基于所述应用触发信息控制开启对应的所述应用功能。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机***存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机***中,或者可以位于不同的第二计算机***中,第二计算机***通过网络(诸如因特网)连接到第一计算机***。第二计算机***可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机***中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的基于弹性波的***首页界面交互操作方法,还可以执行本申请任意实施例所提供的基于弹性波的***首页界面交互操作方法中的相关操作。
上述实施例中提供的基于弹性波的***首页界面交互操作装置、存储介质及交互平板可执行本申请任意实施例所提供的基于弹性波的***首页界面交互操作方法,未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的基于弹性波的***首页界面交互操作方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种基于弹性波的***首页界面交互操作方法,用于交互平板,所述交互平板包括显示屏和红外触摸框,所述红外触摸框设置于所述显示屏的边框,其特征在于,所述交互平板还包括弹性波检测装置,所述方法包括:
所述红外触摸框检测到触摸物在显示屏上对应图标的第一触控操作;
所述弹性波检测装置检测到第一弹性波信号,所述第一弹性波信号由所述触摸物进行所述第一触控操作时,所述触摸物接触所述显示屏时产生;根据所述第一触控操作的触控时间段、设定的弹性波信号特征频率以及噪声信号相位对所述第一弹性波信号进行噪声滤除;
根据所述第一弹性波信号确定所述触摸物的介质类型,并根据所述第一触控操作的手势特征和所述介质类型查询预存的映射关系,所述映射关系存储有手势特征、介质类型以及对应的应用触发信息,所述应用触发信息用于触发开启首页界面对应的应用功能;
确定对应的所述应用触发信息后,响应于所述第一触控操作,基于所述应用触发信息控制开启对应的所述应用功能;
所述根据所述第一弹性波信号确定所述触摸物的介质类型,包括:
将所述第一弹性波信号与预存的触碰介质分类信息进行比对,确认所述第一弹性波信号对应的介质类型;或,
将所述第一弹性波信号输入预先训练得到的分类模型,根据所述分类模型输出的分类函数值,确认所述第一弹性波信号对应的介质类型。
2.根据权利要求1所述的基于弹性波的***首页界面交互操作方法,其特征在于,所述映射关系包括第一映射关系和第二映射关系,所述第一映射关系包含首页界面对应主题或输入通道的所述应用触发信息,所述第二映射关系包含应用程序图标对应的所述应用触发信息。
3.根据权利要求2所述的基于弹性波的***首页界面交互操作方法,其特征在于,所述根据所述第一触控操作的手势特征和所述介质类型查询预存的映射关系,包括:
确定所述第一触控操作所触控的图标为首页界面的返回图标或输入通道的设置图标;
基于所述第一触控操作的手势特征和所述介质类型查询所述第一映射关系,确定首页界面对应主题或者输入通道的应用触发信息。
4.根据权利要求3所述的基于弹性波的***首页界面交互操作方法,其特征在于,所述确定对应的所述应用触发信息后,响应于所述第一触控操作,基于所述应用触发信息控制开启对应的所述应用功能,包括:
确定首页界面对应主题或者输入通道的所述应用触发信息后,响应于所述第一触控操作,基于对应的所述应用触发信息设置当前***的主题或者输入通道。
5.根据权利要求2所述的基于弹性波的***首页界面交互操作方法,其特征在于,所述根据所述第一触控操作的手势特征和所述介质类型查询预存的映射关系,还包括:
确定所述第一触控操作所触控的图标为首页界面的应用程序图标;
基于所述第一触控操作的手势特征和所述介质类型查询所述第二映射关系,确定所述应用程序图标对应应用快捷菜单、应用开启、应用删除或者应用升级的应用触发信息。
6.根据权利要求5所述的基于弹性波的***首页界面交互操作方法,其特征在于,所述确定对应的所述应用触发信息后,响应于所述第一触控操作,基于所述应用触发信息控制开启对应的所述应用功能,还包括:
确定所述应用程序图标对应应用快捷菜单、应用开启、应用删除或者应用升级的应用触发信息后,响应于所述第一触控操作,基于对应的所述应用触发信息显示对应的应用快捷菜单,或者触发对应应用程序的删除、开启或者升级操作。
7.根据权利要求1所述的基于弹性波的***首页界面交互操作方法,其特征在于,所述映射关系存储有手势特征、介质类型以及对应的应用触发信息,包括:
接收相应的交互操作,显示对应映射关系的设置界面;
基于触摸物的触控操作检测对应的手势特征和介质类型,将对应的所述应用触发信息与检测到的手势特征和介质类型绑定构建映射关系。
8.根据权利要求7所述的基于弹性波的***首页界面交互操作方法,其特征在于,在将对应的所述应用触发信息与检测到的手势特征和介质类型绑定构建映射关系之后,还包括:
接收对所述设置界面的第二触控操作,检测所述第二触控操作对应的手势特征和介质类型,并将检测到的手势特征和介质类型与对应的所述应用触发信息绑定重建所述映射关系。
9.一种基于弹性波的***首页界面交互操作装置,用于交互平板,所述交互平板包括显示屏和红外触摸框,所述红外触摸框设置于所述显示屏的边框,其特征在于,所述交互平板还包括弹性波检测装置,所述基于弹性波的***首页界面交互操作装置包括:
检测模块,用于通过所述红外触摸框检测到触摸物在显示屏上对应图标的第一触控操作;通过所述弹性波检测装置检测到第一弹性波信号,所述第一弹性波信号由所述触摸物进行所述第一触控操作时,所述触摸物接触所述显示屏时产生;根据所述第一触控操作的触控时间段、设定的弹性波信号特征频率以及噪声信号相位对所述第一弹性波信号进行噪声滤除;
查询模块,用于根据所述第一弹性波信号确定所述触摸物的介质类型,并根据所述第一触控操作的手势特征和所述介质类型查询预存的映射关系,所述映射关系存储有手势特征、介质类型以及对应的应用触发信息,所述应用触发信息用于触发开启首页界面对应的应用功能;
响应模块,用于在确定对应的所述应用触发信息后,响应于所述第一触控操作,基于所述应用触发信息控制开启对应的所述应用功能;
所述根据所述第一弹性波信号确定所述触摸物的介质类型,包括:
将所述第一弹性波信号与预存的触碰介质分类信息进行比对,确认所述第一弹性波信号对应的介质类型;或,
将所述第一弹性波信号输入预先训练得到的分类模型,根据所述分类模型输出的分类函数值,确认所述第一弹性波信号对应的介质类型。
10.一种交互平板,其特征在于,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8任一所述的基于弹性波的***首页界面交互操作方法。
CN202110435281.3A 2021-04-22 2021-04-22 基于弹性波的***首页界面交互操作方法及装置 Active CN114690976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110435281.3A CN114690976B (zh) 2021-04-22 2021-04-22 基于弹性波的***首页界面交互操作方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110435281.3A CN114690976B (zh) 2021-04-22 2021-04-22 基于弹性波的***首页界面交互操作方法及装置

Publications (2)

Publication Number Publication Date
CN114690976A CN114690976A (zh) 2022-07-01
CN114690976B true CN114690976B (zh) 2024-06-18

Family

ID=82135374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110435281.3A Active CN114690976B (zh) 2021-04-22 2021-04-22 基于弹性波的***首页界面交互操作方法及装置

Country Status (1)

Country Link
CN (1) CN114690976B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915136A (zh) * 2014-03-14 2015-09-16 Lg电子株式会社 移动终端及其控制方法
CN110413188A (zh) * 2018-04-28 2019-11-05 北京钛方科技有限责任公司 智能设备控制方法及装置
CN112558852A (zh) * 2019-09-26 2021-03-26 北京钛方科技有限责任公司 车载设备的控制方法及***、车辆、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5382815B2 (ja) * 2010-10-28 2014-01-08 シャープ株式会社 リモコンおよびリモコン用プログラム
CN102298462A (zh) * 2011-05-31 2011-12-28 汉王科技股份有限公司 基于振动感应的电子装置及其控制方法
JP5772773B2 (ja) * 2012-09-19 2015-09-02 コニカミノルタ株式会社 画像処理装置、操作標準化方法および操作標準化プログラム
US9588591B2 (en) * 2013-10-10 2017-03-07 Google Technology Holdings, LLC Primary device that interfaces with a secondary device based on gesture commands
US20160162178A1 (en) * 2014-12-04 2016-06-09 Konica Minolta, Inc. Handwriting input device, non-transitory recording medium storing computer readable contact body determination program, and contact body determination method
CN105824553A (zh) * 2015-08-31 2016-08-03 维沃移动通信有限公司 一种触控方法及移动终端
CN205247404U (zh) * 2015-11-13 2016-05-18 钰太芯微电子科技(上海)有限公司 基于远红外的手势判断***
CN105615160A (zh) * 2016-03-15 2016-06-01 华南理工大学 一种基于红外手势识别的事务追踪智能手环及方法
CN107291277B (zh) * 2017-08-14 2019-09-03 广州视源电子科技股份有限公司 一种防误触的方法、装置、设备及存储介质
CN110119208B (zh) * 2019-05-15 2021-04-30 京东方科技集团股份有限公司 悬浮显示成像装置及悬浮显示触控方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915136A (zh) * 2014-03-14 2015-09-16 Lg电子株式会社 移动终端及其控制方法
CN110413188A (zh) * 2018-04-28 2019-11-05 北京钛方科技有限责任公司 智能设备控制方法及装置
CN112558852A (zh) * 2019-09-26 2021-03-26 北京钛方科技有限责任公司 车载设备的控制方法及***、车辆、电子设备及存储介质

Also Published As

Publication number Publication date
CN114690976A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
US8289292B2 (en) Electronic device with touch input function and touch input method thereof
US20190033994A1 (en) Method of executing functions of a terminal including pen recognition panel and terminal supporting the method
CN106998393B (zh) 视频播放控制方法、移动终端及计算机可读存储介质
CN102221957B (zh) 电子设备的操作控制的方法及电子设备
KR20130058752A (ko) 근접 기반 입력을 위한 장치 및 방법
CN114690853B (zh) 交互方法和交互平板
CN113791700A (zh) 基于弹性波的交互方法、装置、交互平板和存储介质
CN111208917B (zh) 触摸数据处理方法、装置、智能设备和存储介质
CN106415472A (zh) 一种手势控制方法、装置、终端设备和存储介质
CN103176633B (zh) 一种触摸屏防误操作方法、装置和***
CN111475098A (zh) 智能交互大屏的窗口化操作方法及装置
CN107463290A (zh) 触摸操作的响应控制方法、装置、存储介质及移动终端
CN106909256A (zh) 屏幕控制方法及装置
CN114690930A (zh) 一种书写笔迹处理方法、装置、交互平板及存储介质
CN103197790A (zh) 可携式电子装置及触控感测方法
CN114690976B (zh) 基于弹性波的***首页界面交互操作方法及装置
CN105224448A (zh) 记录测试场景的方法和装置
CN113608661A (zh) 一种人机交互方法及其交互平板、存储介质
CN113608662A (zh) 触控响应方法、装置、终端设备和存储介质
CN114690931A (zh) 基于触点跟踪的防误触方法、装置、交互平板和存储介质
CN114690933A (zh) 一种虚拟笔应用控制方法、装置、交互平板及存储介质
CN113805725B (zh) 一种交互平板的显示控制方法及装置
EP3547091A1 (en) Floating touch control sensing method, floating touch control sensing system and floating touch control electronic device
CN104238725A (zh) 触觉反馈方法及应用该方法的电子装置
CN114690967A (zh) 一种触摸操作处理方法、装置、交互平板及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant