CN113961106A - 预测控制方法、输入***及计算机可读取记录媒体 - Google Patents
预测控制方法、输入***及计算机可读取记录媒体 Download PDFInfo
- Publication number
- CN113961106A CN113961106A CN202010640461.0A CN202010640461A CN113961106A CN 113961106 A CN113961106 A CN 113961106A CN 202010640461 A CN202010640461 A CN 202010640461A CN 113961106 A CN113961106 A CN 113961106A
- Authority
- CN
- China
- Prior art keywords
- display
- coordinates
- input
- signal
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Electrophonic Musical Instruments (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
一种预测控制方法、输入***及计算机可读取记录媒体。预测控制方法适用于一显示器显示一输入移动信号,包括:重合该输入移动信号所对应的坐标与该显示器的特定坐标;以及预测该输入移动信号,使该显示器显示该输入移动信号所预测的坐标。本发明可以达到节省使用者移动指针信号的时间,更提升了在大显示器上操控指针信号的精确度。
Description
技术领域
本发明涉及一种预测方法,特别涉及一种适用于一显示器的预测控制方法、输入***及计算机可读取记录媒体。
背景技术
在笔记本型计算机普及的今天,输入设备有鼠标、触控输入、触控笔等。近年来,显示器能制作的尺寸越来越大,也可以由多个大型显示器拼接成显示墙,这些大型显示器通常放置于银行、医院或商场,可能具有触控功能,除了显示信息外,有些可让使用者点选想阅读的信息,一般而言,这些大型显示器通常设置于墙面上,无法让一般使用者通过外接计算机接到大型显示器进行操控。
然而,当使用者想要使用输入设备,实现在大型显示器上大范围移动,现有输入设备的功能存在局限,无论是手指、眼球追踪输入技术、鼠标、触控笔或目前的其他输入设备,都难以快速且精准的在大型显示器上大范围移动,例如手指、眼球追踪输入技术、鼠标、触控笔或目前的其他输入设备,都难以将显示于大型显示器右下角的文件精准且快速的拖曳到左上角的特定位置。
因此,如何快速、准确且大幅度地在大型显示器上移动指针信号,已成为本领域待解决的问题之一。
发明内容
为了解决上述的问题,本揭露内容的一实施例提供了一种预测控制方法。预测控制方法包括:接收一指针信号;以及判断是否指针信号从一初始位置往一方向移动;当判断指针信号往方向移动时,将初始位置的坐标与一显示器中心的坐标叠合,并在指针信号移动到一预测点并停止移动后,依据显示器中心的坐标与预测点的坐标推算一目标点的坐标,指针信号移动到目标点。
为了解决上述的问题,本揭露内容的一实施例还提供了一种预测控制方法,适用于一显示器显示一输入移动信号,该预测控制方法包括:重合该输入移动信号所对应的坐标与该显示器的特定坐标;以及预测该输入移动信号,使该显示器显示该输入移动信号所预测的坐标。
为了解决上述的问题,本揭露内容的一态样提供了一种输入***。输入***包括一输入及输出接口以及一预测装置。输入及输出接口用以接收一指针信号。预测装置包括一建模装置、一显示器分块装置、一指针定位装置、一计算预测装置以及一移动输出装置。建模装置用以判断是否指针信号从一初始位置往一方向移动。显示器分块装置,用以定义一显示器中心。指针定位装置当建模装置判断指针信号往方向移动时,指针定位装置将初始位置的坐标与显示器中心的坐标叠合。计算预测装置用以在指针信号移动到一预测点并停止移动后,依据显示器中心的坐标与预测点的坐标推算一目标点的坐标,指针信号移动到目标点。移动输出装置用以于一显示器上显示移动到目标点的指针信号。
为了解决上述的问题,本揭露内容的一态样还提供了一种输入***。一种输入***,适用于一显示器显示一输入移动信号,该输入***包括:一指针定位装置,该指针定位装置用以重合该输入移动信号所对应的坐标与该显示器的特定坐标;以及一计算预测装置,该计算预测装置用以预测该输入移动信号,使该显示器显示该移动信号所预测的坐标。
为了解决上述的问题,本揭露内容的一实施例提供了一种计算机可读取记录媒体,用以执行一种预测控制方法,该预测控制方法包括:接收一指针信号;以及判断是否指针信号从一初始位置往一方向移动;当判断指针信号往方向移动时,将初始位置的坐标与一显示器中心的坐标叠合,并在指针信号移动到一预测点并停止移动后,依据显示器中心的坐标与预测点的坐标推算一目标点的坐标,指针信号移动到目标点。
为了解决上述的问题,本揭露内容的一实施例还提供了一种计算机可读取记录媒体,用以执行一种预测控制方法,该预测控制方法包括:重合该输入移动信号所对应的坐标与一显示器的特定坐标;以及预测该输入移动信号,使该显示器显示该移动信号所预测的坐标。
本发明所示的预测控制方法、输入***及计算机可读取记录媒体能够在显示器较大的情况下,如广场上大型显示器、大型墙面光学触摸板、虚拟现实***的显示画面、显示器墙面等等,使用者可以通过大型显示器的一部分区块,例如较低可触及的区块,应用非连续式移动指针信号,以控制其他区块,通过预测指针信号,也可以更快速的将指针信号移动到目标点。藉此达到节省使用者移动指针信号的时间,更提升了在大显示器上操控指针信号的精确度。
附图说明
图1是依照本发明一实施例绘示一种输入***的框图。
图2是依照本发明一实施例绘示一种预测控制方法的流程图。
图3是依照本发明一实施例绘示一种显示器中心的示意图。
图4是依照本发明一实施例绘示一种初始位置的坐标与显示器中心的坐标的示意图。
图5是依照本发明一实施例绘示一种长短期记忆的循环神经网络的时间序列预测方法的示意图。
图6是依照本发明一实施例绘示一种图4的区块A的放大图的示意图。
图7是依照本发明一实施例绘示一种光学触控应用场景的示意图。
图8A~图8C是依照本发明一实施例绘示一种光学触控应用场景的示意图。
图9是依照本发明一实施例绘示一种预测控制方法的流程图。
主要组件符号说明:
100 输入***
SIG 指针信号
10 电子装置
11 输入及输出接口
12 处理器
13 储存装置
20 预测装置
21 建模装置
22 显示器分块装置
23 指针定位装置
24 计算预测装置
25 移动输出装置
30 显示器
200、900 预测控制方法
210~250、910~920 步骤
L 长度
W 宽度
A~D 区块
O 显示器中心
V’ 预测点
v’、v 方向
V 停顿点
P 初始位置
A’ 长短期记忆的循环神经网络
G 目标点
rt-1、rt 目标区域半径
FL0、FL1 文件
FL2 应用程序
R 目标区域
R’ 修正区域
ht-1~ht+n 长短期记忆的循环神经网络的输出
Xt-1~Xt+n 坐标
Aa 小型显示器区块
Pa、Pb 位置
O(0,0) 显示器中心的坐标
P(xp,yp) 初始位置的坐标
V’(xv’,yv’) 预测点的坐标
V(xv,yv) 停顿点的坐标
具体实施方式
以下说明是为完成发明的较佳实现方式,其目的在于描述本发明的基本精神,但并不用以限定本发明。实际的发明内容必须参考所附的权利要求范围。
请参照图1及图2,图1是依照本发明一实施例绘示一种输入***100的框图。图2是依照本发明一实施例绘示一种预测控制方法200的流程图。
在一实施例中,本案的输入***适用于一显示器30显示一输入移动信号(例如为指针信号SIG),输入***包含一指针定位装置23以及一计算预测装置24。指针定位装置23用以预测输入移动信号(例如为指针信号SIG),使显示器30显示移动信号所预测的坐标。
以下更进一步以图1及图2说明本案的细部技术特征。
在一实施例中,如图1所示,输入***100包含一电子装置10及一预测装置20。在一实施例中,电子装置10例如是主机、服务器、平板、笔电、手机或其他可接收信号进行运算与储存的装置。在一实施例中,电子装置10包含输入及输出接口11、处理器12及储存装置13。在一实施例中,输入及输出接口11例如为鼠标信号接收器、触控面板,或其他可用于接收信号的接口。在一实施例中,储存装置13可被实作为只读存储器、闪存、软盘、硬盘、光盘、随身碟、磁带、可由网络存取的数据库或技术人员可轻易思及具有相同功能的储存媒体。储存装置13可用来储存每个时点的关于指针信号SIG的信息,例如坐标信息。
在一实施例中,预测装置20包含一建模装置21、一显示器分块装置22、一指针定位装置23、一计算预测装置24及一移动输出装置25。
在一实施例中,建模装置21、显示器分块装置22、指针定位装置23、计算预测装置24及移动输出装置25可一并或各别由体积电路如微控制单元(micro controller)、微处理器(microprocessor)、数字信号处理器(digital signal processor)、特殊应用集成电路(application specific integrated circuit,ASIC)或一逻辑电路来实施。
在一实施例中,建模装置21、显示器分块装置22、指针定位装置23、计算预测装置24及移动输出装置25各自所做的运算或达成的功能可以由软件或固件实现,处理器12用以执行此些运算。
在一实施例中,在运算量较小的情况下,处理器12可以执行建模装置21、显示器分块装置22、指针定位装置23、计算预测装置24及移动输出装置25各自所做的运算。
在一实施例中,指针信号SIG例如为鼠标光标信号、手指触控信号、触控笔触控信号,通常会在显示器30上显示物理位置(例如鼠标实际在桌面上滑动的位置)对应的显示器位置(例如鼠标光标在显示器上的位置)。物理位置对应到显示器位置的方法为已知技术,故此处不赘述。
在一实施例中,输入***100中的显示器30可以是大型显示器。在一实施例中,输入***100可以包含多个显示器30。在一实施例中,大型显示器例如为拼接式显示墙、大型互动触控显示器(例如86英寸)、互动触控电子显示广告牌等等。
以下叙述预测控制方法200,预测控制方法200可以由输入***100实现。在一实施例中,预测控制方法200可以由固件、程序代码或软件以实现,并将程序代码或软件储存于计算机可读取记录媒体,计算机可读取记录媒体中的处理器可执行此些固件、程序代码或软件。
在一实施例中,通过手指或触控笔按下显示器30超过三秒,则开启指针信号预测功能。在一实施例中,当处理器12接收到鼠标的左键与右键同时按两次的信号,则处理器12开启指针信号预测功能。在一实施例中,预测控制方法200可以一执行文件实现,输入***100安装此执行文件后,计算机中的设置(Settings)会多出现一个超范围移动功能(out ofrange movement)的选项,当超范围移动功能的选项被点选后,处理器12启动预测控制方法200。
在一实施例中,当超范围移动功能的选项被点选后,可以事先设定以自动或***提示等软件驱动或硬件驱动方式,将指针信号SIG投影到不同显示屏幕。
在步骤210中,输入及输出接口11用以接收一指针信号SIG。
例如,输入及输出接口11用以接收鼠标光标信号,并将鼠标光标信号视为指针信号SIG。
在步骤220中,建模装置21或处理器12用以判断是否指针信号SIG从一初始位置往一方向移动。
在一实施例中,此方向可以是任何方向,换言之,建模装置21只要检测到指针信号SIG移动(例如,指针信号SIG的位移距离大于一欧式距离阈值),则进入步骤230。
在一实施例中,欧氏距离是一个通常采用的距离定义,它是在m维空间中两个点之间的真实距离(其中,符号m可以是大于2的值)。在二维和三维空间中的欧氏距离的就是两点之间的距离。换言之,欧氏距离可用以度量空间中两点之间的距离。
在一实施例中,显示器分块装置22用以定义一显示器中心O。图3是依照本发明一实施例绘示一种显示器中心O的示意图。由图3可知,显示器分块装置22是用以分出显示器30的长度L中线与宽度W中线相连,两条中线的交接点视为显示器中心O,并定义显示器中心O的坐标为O(0,0)。本领域普通技术人员应可理解显示器中心可以依实际操作定义,直线(不一定是长度L的中线)与横线(不一定是宽度L的中线)的交接点不一定位于显示器的中心,但直线与横线的交接点处视为画面的原点O(0,0)。
在一实施例中,显示器分块装置22藉由显示器30的长度L中线与宽度W中线将显示器30分成四个区块A~D。
在一实施例中,若建模装置21没有检测到指针信号SIG有移动,则结束此流程或是再次进入步骤210。
在步骤230中,当建模装置21或处理器12判断指针信号SIG往此方向移动时,指针定位装置23或处理器12将初始位置21的坐标与显示器中心O的坐标O(0,0)叠合。
在一实施例中,指针定位装置21或处理器12将初始位置P的坐标P(xp,yp)定义为原点O(0,0),使指针定位装置SIG将初始位置P的坐标P(xp,yp)与显示器中心O的坐标O(0,0)叠合。此时初始位置P的坐标P(xp,yp)视为P(0,0)。
在一实施例中,图4是依照本发明一实施例绘示一种初始位置P的坐标P(xp,yp)与显示器中心O的坐标O(0,0)的示意图。在图4中,指针定位装置23的初始位置P在显示器30上的坐标为P(xp,yp)。在此步骤中,将初始位置P的坐标P(xp,yp)视为显示器中心O的坐标O(0,0),使初始位置P的坐标与显示器中心O的坐标O(0,0)叠合。换言之,指针信号SIG在区块D的移动会对应到显示器中心O的坐标O(0,0)的移动。例如,指针信号SIG从初始位置P的坐标P(xp,yp)往方向v移动,则视为指针信号SIG从显示器中心O的坐标O(0,0)往方向v’移动,方向v与方向v’的向量相同。
藉此,当显示器30很大时,在区块D的指针信号SIG可以超范围移动到区块A。换言之,指针信号SIG在区块D的移动相当于指针信号SIG在区块A的移动。
在步骤240中,计算预测装置24或处理器12用以在指针信号SIG移动到一预测点V’并停止移动后,依据显示器中心O的坐标O(0,0)与预测点V’的坐标V’(xv’,yv’)推算一目标点G的坐标,指针信号SIG移动到目标点G。
在一实施例中,指针信号SIG依据目标点G的坐标以移动到目标点G。
在一实施例中,指针信号SIG移动到区域D的停顿点V,其坐标为V(xv,yv),相当于指针信号SIG移动到区域A的预测点V’,其坐标为V’(xv’,yv’)。藉此,指针信号SIG在区域D的移动,通过预测控制方法200可以将指针信号SIG超范围移动到区块A,并与区域D发生相同的移动(方向v与方向v’的向量相同)。
因此,当显示器30很大时,只需在区域D移动指针信号SIG,不用大幅移动鼠标、手指或其他输入设备才能将指针信号SIG从区块D移动到区块A。
在一实施例中,计算预测装置24或处理器12将预测点V’的坐标V’(xv’,yv’)输入一长短期记忆的循环神经网络(Recurrent Neural Network-Long Short-Term Memory,RNNLSTM)的时间序列预测方法,长短期记忆的循环神经网络的时间序列预测方法输出目标点G的坐标。
在一实施例中,图5是依照本发明一实施例绘示一种长短期记忆的循环神经网络的时间序列预测方法500的示意图。例如,使用者双击鼠标的左右键两次可启动预测控制方法200,当鼠标的指针信号SIG稍微移动时,若指针信号SIG移动到点Xt,计算预测装置24可取得此时指针信号SIG的坐标Xt(xt,yt),将前序历史(前一时点的停顿位置或前次点击位置)的坐标Xt-1(xt-1,yt-1)代入长短期记忆的循环神经网络A’,则长短期记忆的循环神经网络A’输出ht-1,此代表时间t-1的坐标位置,再将ht-1代入下一个长短期记忆的循环神经网络A’,以预测当前坐标Xt的预测输出坐标位置ht,此代表时间t的坐标位置,并接着重复此些步骤。例如,将前一笔输出ht及坐标Xt+1(xt+1,yt+1)代入长短期记忆的循环神经网络A’,则长短期记忆的循环神经网络A’输出ht+1,此代表时间t+1的预测坐标位置,将前一笔输出ht+1及坐标Xt+2(xt+2,yt+2)代入长短期记忆的循环神经网络A’,则长短期记忆的循环神经网络A’输出ht+2,此代表时间t+2的预测坐标位置。依此类推,将前一笔输出ht+n-1及坐标Xt+n(xt+n,yt+n)代入长短期记忆的循环神经网络A’,则长短期记忆的循环神经网络A’输出ht+n,此代表时间t+n的预测坐标位置。在一实施例中,当预测坐标位置与实际操控指针的位置相同或是欧式距离小于一收敛阈值,则视为完成训练长短期记忆的循环神经网络的模型。
在一实施例中,时序预测公式为X(t)=X(t-1)+Er(t),此公式可以是长短期记忆的循环神经网络A’中的运算之一,其中Er(t)代表当下时点t的噪音。在一实施例中,不同显示器30的大小、指针信号SIG移动到不同的目的地、指针信号SIG的变量(例如初始速度、移动指针信号SIG的角度不同),预测控制方法200结合使用者移动指针信号SIG的习惯,将变量加入深度学习的模型(例如长短期记忆的循环神经网络A’),进行训练预测使用者下一个目标点的模型。
由此可知,当指针信号SIG有目标性的移动趋势时,计算预测装置24应用长短期记忆的循环神经网络的时间序列预测方法500,计算并收集指针信号SIG的坐标,并对指针信号SIG建立模型,取得潜在特征,并结合时间序列算法,对指针信号SIG的移动建立预测,例如预测出图4中目标点G的坐标。长短期记忆的循环神经网络的时间序列预测方法为已知算法,故此处不赘述。
在一实施例中,目标点G为计算预测装置24预测使用者下一步或是最终想要将指针信号SIG移动到的位置。
在步骤250中,移动输出装置25用以在一显示器30上显示移动到目标点G的指针信号SIG。
在一实施例中,目标点G的位置会随着长短期记忆的循环神经网络的时间序列所运算的数据量越来越多而更准确,同时收集到的每次修正目标点G’的数据可由目标区域R’变化计算。
在一实施例中,计算预测装置24或处理器12计算目标点G的坐标与修正目标点G’的坐标的一欧式距离,计算预测装置24或处理器12将欧式距离视为一目标区域半径,当目标区域半径小于一最小半径阈值(例如欧式距离为0.1单位)时,计算预测装置24或处理器12输出修正目标点G’的坐标。
在一实施例中,图6是依照本发明一实施例绘示一种图4的区块A的放大图的示意图。在第一次应用长短期记忆的循环神经网络的时间序列预测方法500预估目标点G的坐标时,可依据目标点G的坐标、显示器中心O的坐标O(0,0)的坐标计算欧式距离,如图6所示,目标点G到显示器中心O的目标区域半径为其中|GO|代表欧式距离的运算。在下一次应用长短期记忆的循环神经网络的时间序列预测方法500预估下一个目标点之前,使用者可以修正当前的目标点G为修正目标点G’,目标是取目标点G与修正目标点G’的欧式距离的最小值,当欧式距离等于零的时候,代表预测完全准确,目标点G与修正目标点G’为同一点,在时点t的目标点G与修正目标点G’的目标区域半径为rt=min|GG’|t-1,其中|GG’|代表欧式距离的运算。
目标区域R与目标点G会随着输入到长短期记忆的循环神经网络的时间序列的数据量越来越多而越准确,目标区域R的范围会越来越小,目标点G与修正目标点G’的欧式距离也会越来越小,修正区域R’也会越来越小,代表预测目标点G越来越准确。当目标点G与修正目标点G’的欧式距离小于一最小半径阈值时,例如目标点G与修正目标点G’重叠,则代表长短期记忆的循环神经网络的时间序列已经被训练得很准确,可以不须使用者修正目标点G的位置(无须再运算目标点G与修正目标点G’的目标区域半径),直接在显示器30上显示目标点G。
在一实施例中,图7是依照本发明一实施例绘示一种光学触控应用场景的示意图。当显示器30为一触控显示器时,触控笔或手指可长按文件FL0以产生指针信号SIG。换言之,当计算预测装置24或处理器12接收到长按一图标(icon)(例如图标表示一文件FL0或一应用程序)所产生的该指针信号,且长按时间大于时间阈值(例如3秒)时,计算预测装置24或处理器12启动超范围移动功能,计算预测装置24或处理器12促使指针信号SIG将位于区块D的文件FL0从初始位置P移动到停顿点V,当触控笔或手指离开显示器30时,超范围移动功能将文件FL0自动移动到区块A中对应区块D的预测点V’,并再自动移动到目标点G。
在一实施例中,图8A~图8C是依照本发明一实施例绘示一种光学触控应用场景的示意图。当显示器30为一大型触控显示器时,例如显示器30是一个大型显示器或是多个大型显示器拼接成的显示墙,放置于银行、医院、商场或其他空间,可以是触控式显示器,用以提供接口显示信息并与使用者互动。在此情况下,由于显示器30过大,触控笔或手指无法点击到区块A,触控笔或手指可长按位置Pa三秒以产生指针信号SIG,并由计算预测装置24或处理器12启动超范围移动功能,触控笔或手指所产生的指针信号SIG再短距离的从位置Pa移动到位置Pb(如图8A所示),并在位置Pb停留长按三秒,处理器12促使显示器30在区块D中显示小型显示器区块Aa(如图8B所示),小型显示器区块Aa用以显示区块A中的图标(icon)(例如图标代表文件或应用程序),触控笔或手指可以在区块D中的小型显示器区块Aa中点击到区块A中的文件FL1或应用程序FL2。藉此,即使触控笔或手指无法点击到区块A,也可以通过此方法在区块D中点选到区块A的文件FL1或应用程序FL2。
在一实施例中,如图8C所示,当小型显示器区块Aa出现后,触控笔(触控装置皆可使用于此情境)或手指可以产生指针信号SIG,用以在小型显示器区块Aa中点击区块A中的文件FL1或应用程序FL2,以小型显示器区块Aa中的文件FL1为例,指针信号SIG点击小型显示器区块Aa中的文件FL1并拖曳文件FL1到停顿点V,同时处理器12促使显示器30的区块C对应小型显示器区块Aa中文件FL1被拖曳的方向,显示从显示器中心O以同方向拖曳文件FL1到预测点V’,计算预测装置24再自动移动文件FL1到目标点G。
在一实施例中,预测控制方法200可以应用在有目的性的指针信号的操作上,例如预测控制方法200可以预测虚拟现实中,控制器欲进行操作的目标区域,将指针信号快速的移动到虚空间的目标区域。
图9是依照本发明一实施例绘示一种预测控制方法900的流程图。在一实施例中,本案的预测控制方法适用于一显示器30,显示器30显示一输入移动信号(例如为指针信号SIG),预测控制方法包含重合输入移动信号(例如为指针信号SIG)所对应的坐标与显示器30的特定坐标(如步骤910),以及预测输入移动信号,使显示器30显示移动信号所预测的坐标(如步骤920)。在一实施例中,预测控制方法可以由一种计算机可读取记录媒体实现。
本发明所示的预测控制方法、输入***及计算机可读取记录媒体能够在显示器较大的情况下,如广场上大型显示器、大型墙面光学触摸板、虚拟现实***的显示画面、显示器墙面等等,使用者可以通过大型显示器的一部分区块,例如较低可触及的区块,应用非连续式移动指针信号,以控制其他区块,通过预测指针信号,也可以更快速的将指针信号移动到目标点。藉此达到节省使用者移动指针信号的时间,更提升了在大显示器上操控指针信号的精确度。
Claims (15)
1.一种预测控制方法,适用于一显示器显示一输入移动信号,该预测控制方法包括:
重合该输入移动信号所对应的坐标与该显示器的特定坐标;以及
预测该输入移动信号,使该显示器显示该输入移动信号所预测的坐标。
2.如权利要求1所述的预测控制方法,还包括:
藉由一处理器将该预测点的坐标输入一长短期记忆的循环神经网络的时间序列预测方法,该长短期记忆的循环神经网络的时间序列预测方法输出该目标点的坐标。
3.如权利要求1所述的预测控制方法,还包括:
藉由一处理器将该输入移动信号所对应的坐标定义为原点并视为一初始位置,使一指针定位装置将该输入移动信号所对应的坐标定义与该显示器的特定坐标,其中,该显示器的特定坐标视为该显示器中心的坐标。
4.如权利要求1所述的预测控制方法,其中该预测该输入移动信号的步骤还包括:
计算一目标点的坐标与一修正目标点的坐标的一欧式距离,将该欧式距离视为一目标区域半径;
当该目标区域半径小于一最小半径阈值时,输出该修正目标点的坐标。
5.如权利要求1所述的预测控制方法,其中该预测该输入移动信号的步骤还包括:
藉由一处理器接收到长按一文件所产生的一指针信号;
当长按的时间大于一时间阈值,则该处理器启动一超范围移动功能;以及
藉由该处理器促使该指针信号将位于一第一区块的该文件从该初始位置移动到一停顿点;
当该触控装置离开该触控式显示器时,该处理器促使该超范围移动功能将该文件自动移动到一第二区块中对应该第一区块的该预测点,并再自动移动到该目标点,其中该指针信号代表该输入移动信号。
6.如权利要求1所述的预测控制方法,其中该预测该输入移动信号的步骤还包括:
藉由一处理器接收到长按一文件所产生的该指针信号;
当长按的时间大于一时间阈值,则该处理器促使该触控式显示器在一第一区块显示一小型显示器区块,该小型显示器区块用以显示出现在一第二区块中的一图标;
藉由该触控装置由该第一区块中的该小型显示器区块中点击到该第二区块中的该图标。
7.如权利要求6所述的预测控制方法,还包括:
藉由该指针信号点击小型显示器区块中的该文件并拖曳该文件到该停顿点,该处理器促使该显示器的一第三区块对应该小型显示器区块中的该文件被拖曳的方向,显示从该显示器中心以同方向拖曳该文件到该预测点,并再自动移动该文件到该目标点。
8.一种输入***,适用于一显示器显示一输入移动信号,该输入***包括:
一指针定位装置,该指针定位装置用以重合该输入移动信号所对应的坐标与该显示器的特定坐标;以及
一计算预测装置,该计算预测装置用以预测该输入移动信号,使该显示器显示该移动信号所预测的坐标。
9.如权利要求8所述的输入***,其中该计算预测装置将该预测点的坐标输入一长短期记忆的循环神经网络的时间序列预测方法,该长短期记忆的循环神经网络的时间序列预测方法输出该目标点的坐标。
10.如权利要求8所述的输入***,其中将该输入移动信号所对应的坐标定义为原点并视为一初始位置,使一指针定位装置将该输入移动信号所对应的坐标定义与该显示器的特定坐标,其中,该显示器的特定坐标视为该显示器中心的坐标。
11.如权利要求8所述的输入***,其中该计算预测装置计算一目标点的坐标与一修正目标点的坐标的一欧式距离,该计算预测装置将该欧式距离视为一目标区域半径,当该目标区域半径小于一最小半径阈值时,该计算预测装置输出该修正目标点的坐标。
12.如权利要求8所述的输入***,其中当该显示器为一触控式显示器时,当该计算预测装置接收到长按一文件所产生的一指针信号,且当长按的时间大于一时间阈值,则该计算预测装置启动一超范围移动功能,该指针信号将位于一第一区块的该文件从该初始位置移动到一停顿点,当该触控装置离开该触控式显示器时,该超范围移动功能将该文件自动移动到一第二区块中对应该第一区块的该预测点,并再自动移动到该目标点,其中该指针信号代表该输入移动信号。
13.如权利要求8所述的输入***,其中当该显示器为一触控式显示器时,一触控装置长按一文件以产生一指针信号,当长按的时间大于一时间阈值,则该触控式显示器在一第一区块显示一小型显示器区块,该小型显示器区块用以显示出现在一第二区块中的一图标,一触控装置在该第一区块中的该小型显示器区块中点击到该第二区块中的该图标。
14.如权利要求13所述的输入***,其中该指针信号点击小型显示器区块中的该文件并拖曳该文件到该停顿点,一处理器促使该显示器的一第三区块对应该小型显示器区块中的该文件被拖曳的方向,显示从该显示器中心以同方向拖曳该文件到该预测点,该计算预测装置再自动移动该文件到该目标点。
15.一种计算机可读取记录媒体,用以执行一种预测控制方法,该预测控制方法包括:
重合该输入移动信号所对应的坐标与一显示器的特定坐标;以及
预测该输入移动信号,使该显示器显示该移动信号所预测的坐标。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010640461.0A CN113961106A (zh) | 2020-07-06 | 2020-07-06 | 预测控制方法、输入***及计算机可读取记录媒体 |
TW109124162A TWI768407B (zh) | 2020-07-06 | 2020-07-17 | 預測控制方法、輸入系統及電腦可讀取記錄媒體 |
US17/017,866 US20220004298A1 (en) | 2020-07-06 | 2020-09-11 | Prediction control method, input system and computer readable recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010640461.0A CN113961106A (zh) | 2020-07-06 | 2020-07-06 | 预测控制方法、输入***及计算机可读取记录媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113961106A true CN113961106A (zh) | 2022-01-21 |
Family
ID=79167739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010640461.0A Pending CN113961106A (zh) | 2020-07-06 | 2020-07-06 | 预测控制方法、输入***及计算机可读取记录媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220004298A1 (zh) |
CN (1) | CN113961106A (zh) |
TW (1) | TWI768407B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115098005B (zh) * | 2022-06-24 | 2023-01-24 | 北京华建云鼎科技股份公司 | 一种控制目标对象移动的数据处理*** |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7788607B2 (en) * | 2005-12-01 | 2010-08-31 | Navisense | Method and system for mapping virtual coordinates |
TWI489324B (zh) * | 2013-07-05 | 2015-06-21 | Pixart Imaging Inc | 手持式指向裝置的游標定位方法 |
TWI505135B (zh) * | 2013-08-20 | 2015-10-21 | Utechzone Co Ltd | 顯示畫面的控制系統、輸入裝置及控制方法 |
TWI660292B (zh) * | 2018-05-16 | 2019-05-21 | 群光電子股份有限公司 | 游標移動輔助系統及方法 |
CN109271086A (zh) * | 2018-08-31 | 2019-01-25 | 湖南新云网科技有限公司 | 一种电子白板的书写方法、存储介质及电子白板 |
-
2020
- 2020-07-06 CN CN202010640461.0A patent/CN113961106A/zh active Pending
- 2020-07-17 TW TW109124162A patent/TWI768407B/zh active
- 2020-09-11 US US17/017,866 patent/US20220004298A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
TW202202983A (zh) | 2022-01-16 |
TWI768407B (zh) | 2022-06-21 |
US20220004298A1 (en) | 2022-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI467438B (zh) | 手勢識別方法及觸控系統 | |
JP5270537B2 (ja) | マルチタッチ利用、ジェスチャ及び実装 | |
US8004503B2 (en) | Auto-calibration of a touch screen | |
KR101541928B1 (ko) | 시각적 피드백 디스플레이 | |
US20180188938A1 (en) | Multi-Task Machine Learning for Predicted Touch Interpretations | |
EP2359224B1 (en) | Generating gestures tailored to a hand resting on a surface | |
US20130120282A1 (en) | System and Method for Evaluating Gesture Usability | |
TWI584164B (zh) | 在多點觸控裝置上模擬壓感 | |
US20120188164A1 (en) | Gesture processing | |
EP2673695A2 (en) | Angular contact geometry | |
KR20100126726A (ko) | 터치 스크린 상의 모호한 입력들의 해석 | |
EP2776905B1 (en) | Interaction models for indirect interaction devices | |
US20140082559A1 (en) | Control area for facilitating user input | |
US10534527B2 (en) | Relative pen scroll | |
US9626086B1 (en) | Adjusting eraser size in drawing applications | |
US9182908B2 (en) | Method and electronic device for processing handwritten object | |
EP2402847A2 (en) | Fine object positioning | |
Chua et al. | Hand gesture control for human–computer interaction with Deep Learning | |
US10073612B1 (en) | Fixed cursor input interface for a computer aided design application executing on a touch screen device | |
US9256360B2 (en) | Single touch process to achieve dual touch user interface | |
CN113961106A (zh) | 预测控制方法、输入***及计算机可读取记录媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |