CN106227449B - 基于触觉-视觉技术的输入控制方法及*** - Google Patents

基于触觉-视觉技术的输入控制方法及*** Download PDF

Info

Publication number
CN106227449B
CN106227449B CN201610592695.6A CN201610592695A CN106227449B CN 106227449 B CN106227449 B CN 106227449B CN 201610592695 A CN201610592695 A CN 201610592695A CN 106227449 B CN106227449 B CN 106227449B
Authority
CN
China
Prior art keywords
input control
control area
information
input
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610592695.6A
Other languages
English (en)
Other versions
CN106227449A (zh
Inventor
龚华超
韩佩聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Luckey Technology Co ltd
Original Assignee
Beijing Luckey Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Luckey Technology Co ltd filed Critical Beijing Luckey Technology Co ltd
Priority to CN201610592695.6A priority Critical patent/CN106227449B/zh
Publication of CN106227449A publication Critical patent/CN106227449A/zh
Priority to JP2018502410A priority patent/JP2019505024A/ja
Priority to EP17833354.8A priority patent/EP3321791B1/en
Priority to PCT/CN2017/088387 priority patent/WO2018019050A1/zh
Priority to US15/892,406 priority patent/US11150797B2/en
Priority to JP2020157569A priority patent/JP7233109B2/ja
Application granted granted Critical
Publication of CN106227449B publication Critical patent/CN106227449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了基于触觉‑视觉技术的输入控制方法及***，所述方法包括以下步骤：对触控板进行分区及初始化，将所述的触控板划分为界面控制区和输入控制区；根据所述的界面控制区和输入控制区所采集的信息，控制UI层显示虚拟界面，同时根据输入控制区所采集的信息在该虚拟界面上实时显示用户在触控板上的滑动操作，控制输入内容信息或执行控制信息。本发明实现了信息的快速输入控制，同时在触觉和视觉上保证输入的准确性；而且通过本发明的技术进行输入控制，尤其是控制打开某个应用程序时，无需更改当前的工作状态返回桌面，查找相应的程序双击打开，从而大大节约了操作控制时间，进而缩短了***的整体响应时间。

Description

基于触觉-视觉技术的输入控制方法及***
技术领域
本发明涉及一种基于触觉-视觉技术的输入控制方法及***，属于信息输入控制技术领域。
背景技术
触控板是除了键盘、鼠标之外的一种重要的输入工具，可嵌入笔记本使用或者作为一个单独的输入工具通过数据线与PC连接进行使用。
触控板的推广极大的方便了用户，可以代替鼠标用于控制光标的移动，但是很多情况下，仅仅使用触控板又会带来很多不便：比如当前用户正在编辑一个文档或者正在浏览一个页面，此时若要打开桌面上的某一个应用软件时，则需要首先回到桌面，然后在触控板上滑动控制光标滑动到目标位置，然后双击打开应用软件。整个操作过程非常不方便，而且操作耗时长，如果用户桌面上的快捷方式较多，则整个操作过程所消耗的时间会更长。此外，使用触控板无法实现数字的快速输入，这对于笔记本用户而言非常不方便(因为没有键盘上的小键盘区)。因此急需进行改进。
发明内容
本发明的目的在于，提供一种基于触觉-视觉技术的输入控制方法及***，它可以有效解决现有技术中存在的问题，实现信息的快速输入控制，同时在触觉和视觉上保证输入的准确性。
为解决上述技术问题，本发明采用如下的技术方案：基于触觉-视觉技术的输入控制方法，包括以下步骤：对触控板进行分区及初始化，将所述的触控板划分为界面控制区和输入控制区；根据所述的界面控制区和输入控制区所采集的信息，控制UI层显示虚拟界面，同时根据输入控制区所采集的信息在该虚拟界面上实时显示用户在触控板上的滑动操作，控制输入内容信息或执行控制信息。
优选的，所述的对触控板进行分区及初始化，将所述的触控板划分为界面控制区和输入控制区具体包括以下步骤：
S11，确定触控板的尺寸并对该触控板进行坐标定义；
S12，利用坐标信息将所述的触控板划分为界面控制区和输入控制区，并对所述的输入控制区进一步进行分区；其中，所述的界面控制区和输入控制区相邻；
S13，对所述的输入控制区进行初始化，设置相应的输入控制内容。
从而可以实现快速有效的控制UI层虚拟界面的显示。
更优选的，步骤S12中，所述的界面控制区设于输入控制区的左侧、右侧、上侧、下侧、左上角、左下角、右上角或右下角，从而方便用户操作，更准确的对虚拟界面进行控制。
本发明中，所述的根据所述的界面控制区和输入控制区所采集的信息，控制UI层显示虚拟界面具体包括：驱动层(这里的驱动层是自定义的驱动层，是据厂商提供的固件进行二次开发得到的一个驱动层)收集手指的滑动轨迹信息，若相应的轨迹信息显示用户的滑动操作由界面控制区到输入控制区，则控制UI层显示出虚拟界面，不仅符合用户的常规操作习惯，而且还可以实现更快速、准确的控制虚拟界面进行显示，同时成本较低。
前述的基于触觉-视觉技术的输入控制方法中，所述的根据输入控制区所采集的信息在该虚拟界面上实时显示用户在触控板上的滑动操作，控制输入内容信息或执行控制信息具体包括以下步骤：
S21，输入控制区采集手指的滑动轨迹信息并在所述的虚拟界面上实时显示该轨迹信息；
S22，确定所述滑动轨迹的终点所对应的坐标信息，获得相应的输入控制内容；
S23，根据所述的输入控制内容输入内容信息或执行控制信息。
通过上述方法，从而可以实现更快速、准确的输入内容信息或执行控制信息，操作时间短，同时降低了***的响应时间。
优选的，步骤S22还包括：若所述的输入控制区采集到手指的滑动轨迹终点信息，则发送控制信息至驱动层(这里的驱动层是自定义的驱动层，是据厂商提供的固件进行二次开发得到的一个驱动层)，驱动层收到该控制信息后，控制UI层隐藏虚拟界面。从而实现了虚拟界面的快速隐藏，不会妨碍到用户的正常操作及正常浏览相关的应用程序。
前述的基于触觉-视觉技术的输入控制方法中，所述的触控板为嵌入笔记本电脑的触控板或触控板单品，从而可以进一步扩大本发明技术的应用范围，适合大面积推广应用。
基于触觉-视觉技术的输入控制***，包括:
触控板分区及初始化模块，用于对触控板进行分区及初始化，将所述的触控板划分为界面控制区和输入控制区；
虚拟界面显示控制模块，用于根据所述的界面控制区和输入控制区所采集的信息，控制UI层显示虚拟界面；
实时显示及控制输入模块，用于根据输入控制区所采集的信息在该虚拟界面上实时显示用户在触控板上的滑动操作，控制输入内容信息或执行控制信息。
优选的，所示的触控板分区及初始化模块具体包括：
尺寸确定及坐标定义模块，用于确定触控板的尺寸并对该触控板进行坐标定义；
区域划分模块，用于利用坐标信息将所述的触控板划分为界面控制区和输入控制区，其中，所述的界面控制区和输入控制区相邻；
设置及初始化模块，用于对所述的输入控制区进行初始化，设置相应的输入控制内容。
本发明中，所述的虚拟界面显示控制模块具体包括：
手指滑动轨迹信息收集模块，用于收集手指的滑动轨迹信息；
虚拟界面显示模块，用于驱动层(这里的驱动层是自定义的驱动层，是据厂商提供的固件进行二次开发得到的一个驱动层)收集手指的滑动轨迹信息，若相应的轨迹信息显示用户的滑动操作由界面控制区到输入控制区，则控制UI层显示出虚拟界面。
前述的基于触觉-视觉技术的输入控制***中，所述的实时显示及控制输入模块具体包括：
手指滑动轨迹采集及显示模块，用于输入控制区采集手指的滑动轨迹信息并在所述的虚拟界面上实时显示该轨迹信息；
输入控制内容获取模块，用于确定所述滑动轨迹的终点所对应的坐标信息，获得相应的输入控制内容；
信息输入模块，用于根据所述的输入控制内容输入内容信息或执行控制信息。
与现有技术相比，本发明通过对触控板进行分区及初始化，将所述的触控板划分为界面控制区和输入控制区；根据所述的界面控制区和输入控制区所采集的信息，控制UI层显示虚拟界面，同时根据输入控制区所采集的信息在该虚拟界面上实时显示用户在触控板上的滑动操作，控制输入内容信息或执行控制信息；从而实现了信息(可以是打开某个应用程序的控制信息或者是诸如数字等内容信息)的快速输入控制，同时在触觉和视觉上保证输入的准确性；而且通过本发明的技术进行输入控制，尤其是控制打开某个应用程序时，无需更改当前的工作状态返回桌面，查找相应的程序双击打开，从而大大节约了操作控制时间，进而缩短了***的整体响应时间。据大量数据统计表明，采用本发明的技术进行输入控制，本领域的技术人员相应的操作时间可至少缩短50％。此外，本发明中，通过利用坐标信息(在自定义驱动层)将所述的触控板划分为界面控制区和输入控制区，并对所述的输入控制区进一步进行分区；其中，所述的界面控制区和输入控制区相邻；(自定义)驱动层收集手指的滑动轨迹信息，若相应的轨迹信息显示用户的滑动操作由界面控制区到输入控制区，则控制UI层显示出虚拟界面；从而可以实现更快速、准确的控制虚拟界面进行显示，同时成本较低。另外，本发明中，输入控制区采集手指的滑动轨迹信息并在所述的虚拟界面上实时显示该轨迹信息；确定所述滑动轨迹的终点所对应的坐标信息，获得相应的输入控制内容；根据所述的输入控制内容输入内容信息或执行控制信息；从而可以实现更快速、准确的输入内容信息或执行控制信息，操作时间短，同时降低了***的响应时间。最后，本发明中，若所述的输入控制区采集到手指的滑动轨迹终点信息，则发送控制信息至驱动层，驱动层收到该控制信息后，控制UI层隐藏虚拟界面。从而实现了虚拟界面的快速隐藏，不占用界面空间，不会妨碍到用户的正常操作及正常浏览相关的应用程序。
附图说明
图1是本发明的一种实施例的方法流程图；
图2是本发明中对触控板进行分区的示意图。
下面结合附图和具体实施方式对本发明作进一步的说明。
具体实施方式
本发明的实施例：基于触觉-视觉技术的输入控制方法，如图1所示，包括以下步骤：对触控板进行分区及初始化，将所述的触控板划分为界面控制区和输入控制区；根据所述的界面控制区和输入控制区所采集的信息，控制UI层显示虚拟界面，同时根据输入控制区所采集的信息在该虚拟界面上实时显示用户在触控板上的滑动操作，控制输入内容信息或执行控制信息。
其中，所述的对触控板进行分区及初始化，将所述的触控板划分为界面控制区和输入控制区具体包括以下步骤：
S11，确定触控板的尺寸并对该触控板进行坐标定义；
S12，利用坐标信息将所述的触控板划分为界面控制区和输入控制区，并对所述的输入控制区进一步进行分区；其中，所述的界面控制区和输入控制区相邻；所述的界面控制区设于输入控制区的左侧、右侧、上侧、下侧、左上角、左下角、右上角或右下角；
S13，对所述的输入控制区进行初始化，设置相应的输入控制内容。
所述的根据所述的界面控制区和输入控制区所采集的信息，控制UI层显示虚拟界面具体包括：驱动层收集手指的滑动轨迹信息，若相应的轨迹信息显示用户的滑动操作由界面控制区到输入控制区，则控制UI层显示出虚拟界面。
所述的根据输入控制区所采集的信息在该虚拟界面上实时显示用户在触控板上的滑动操作，控制输入内容信息或执行控制信息具体包括以下步骤：
S21，输入控制区采集手指的滑动轨迹信息并在所述的虚拟界面上实时显示该轨迹信息；
S22，确定所述滑动轨迹的终点所对应的坐标信息，获得相应的输入控制内容；
S23，根据所述的输入控制内容输入内容信息或执行控制信息。
上述方法中，所述的触控板为嵌入笔记本电脑的触控板或触控板单品。
基于触觉-视觉技术的输入控制***，包括:
触控板分区及初始化模块，用于对触控板进行分区及初始化，将所述的触控板划分为界面控制区和输入控制区；
虚拟界面显示控制模块，用于根据所述的界面控制区和输入控制区所采集的信息，控制UI层显示虚拟界面；
实时显示及控制输入模块，用于根据输入控制区所采集的信息在该虚拟界面上实时显示用户在触控板上的滑动操作，控制输入内容信息或执行控制信息。
其中，所示的触控板分区及初始化模块具体包括：
尺寸确定及坐标定义模块，用于确定触控板的尺寸并对该触控板进行坐标定义；
区域划分模块，用于利用坐标信息将所述的触控板划分为界面控制区和输入控制区，其中，所述的界面控制区和输入控制区相邻；
设置及初始化模块，用于对所述的输入控制区进行初始化，设置相应的输入控制内容。
所述的虚拟界面显示控制模块具体包括：
手指滑动轨迹信息收集模块，用于收集手指的滑动轨迹信息；
虚拟界面显示模块，用于驱动层收集手指的滑动轨迹信息，若相应的轨迹信息显示用户的滑动操作由界面控制区到输入控制区，则控制UI层显示出虚拟界面。
所述的实时显示及控制输入模块具体包括：
手指滑动轨迹采集及显示模块，用于输入控制区采集手指的滑动轨迹信息并在所述的虚拟界面上实时显示该轨迹信息；
输入控制内容获取模块，用于确定所述滑动轨迹的终点所对应的坐标信息，获得相应的输入控制内容；
信息输入模块，用于根据所述的输入控制内容输入内容信息或执行控制信息。
本发明实施例中未详述的部分，均可采用现有技术进行实现。
本发明的一种实施例的工作原理：首先，确定触控板(所述的触控板为嵌入笔记本电脑的触控板或触控板单品)的尺寸并对该触控板进行坐标定义；利用坐标信息将所述的触控板划分为界面控制区和输入控制区，并对所述的输入控制区进一步进行分区(比如划分为4*4分区)；其中，所述的界面控制区和输入控制区相邻；所述的界面控制区可以设于输入控制区的左侧、右侧、上侧、下侧、左上角、左下角、右上角或右下角；此处假设所述的界面控制区设于输入控制区的左侧(如图2所示)；其次，对所述的输入控制区进行初始化，设置相应的输入控制内容(比如如图2所示的应用软件控制信息或数字内容信息)。
若用户A在编辑word文档的时候，想打开必应词典查一个单词，那么其只需要在触控板上由左到右滑动手指，即可在word文档页面显示出虚拟界面，然后其继续滑动一直到“必应”上拿开手指，即可打开必应软件，同时虚拟界面消失。具体的，***内***进行处理的：(自定义)驱动层在软件层面上将触摸板分为界面控制区和输入控制区；驱动层收集手指的滑动轨迹信息，若相应的轨迹信息显示用户的滑动操作由界面控制区到输入控制区，则控制UI层显示出虚拟界面。输入控制区采集手指的滑动轨迹信息并在所述的虚拟界面上实时显示该轨迹信息；然后确定所述滑动轨迹的终点(即输入控制区4*3的位置)所对应的坐标信息，获得相应的输入控制内容(即控制打开必应词典)；根据所述的输入控制内容执行控制信息(即打开必应词典)，同时输入控制区发送控制信息至驱动层，驱动层收到该控制信息后，控制UI层隐藏虚拟界面。

Claims (8)

1.基于触觉-视觉技术的输入控制方法，其特征在于，包括以下步骤：
对触控板进行分区及初始化，将所述的触控板划分为界面控制区和输入控制区，以及，在所述输入控制区内设置应用软件控制信息；
根据所述的界面控制区和输入控制区所采集的信息，控制UI层显示虚拟界面，同时根据输入控制区所采集的信息在该虚拟界面上实时显示用户在触控板上的滑动操作，控制执行控制信息；
其中，所述的根据所述的界面控制区和输入控制区所采集的信息，控制UI层显示虚拟界面的方式具体为：
驱动层收集手指的滑动轨迹信息，若相应的轨迹信息显示用户的滑动操作由界面控制区到输入控制区，则控制UI层显示出虚拟界面；以及当检测到用户的手指滑动至输入控制区中任一应用软件控制信息对应的区域上并离开时,打开所述应用软件并控制所述UI层关闭所述虚拟界面。
2.根据权利要求1所述的基于触觉-视觉技术的输入控制方法，其特征在于，所述的对触控板进行分区及初始化，将所述的触控板划分为界面控制区和输入控制区具体包括以下步骤：
S11，确定触控板的尺寸并对该触控板进行坐标定义；
S12，利用坐标信息将所述的触控板划分为界面控制区和输入控制区，并对所述的输入控制区进一步进行分区；其中，所述的界面控制区和输入控制区相邻；
S13，对所述的输入控制区进行初始化，设置相应的输入控制内容。
3.根据权利要求2所述的基于触觉-视觉技术的输入控制方法，其特征在于，步骤S12中，所述的界面控制区设于输入控制区的左侧、右侧、上侧、下侧、左上角、左下角、右上角或右下角。
4.根据权利要求1所述的基于触觉-视觉技术的输入控制方法，其特征在于，所述的根据输入控制区所采集的信息在该虚拟界面上实时显示用户在触控板上的滑动操作，执行控制信息具体包括以下步骤：
S21，输入控制区采集手指的滑动轨迹信息并在所述的虚拟界面上实时显示该轨迹信息；
S22，确定所述滑动轨迹的终点所对应的坐标信息，获得相应的输入控制内容；
S23，根据所述的输入控制内容执行控制信息。
5.根据权利要求1或2所述的基于触觉-视觉技术的输入控制方法，其特征在于，所述的触控板为嵌入笔记本电脑的触控板或触控板单品。
6.基于触觉-视觉技术的输入控制***，其特征在于，包括:
触控板分区及初始化模块，用于对触控板进行分区及初始化，将所述的触控板划分为界面控制区和输入控制区，以及，在所述输入控制区内设置应用软件控制信息；
虚拟界面显示控制模块，用于根据所述的界面控制区和输入控制区所采集的信息，控制UI层显示虚拟界面；
实时显示及控制输入模块，用于根据输入控制区所采集的信息在该虚拟界面上实时显示用户在触控板上的滑动操作，执行控制信息；
其中，所述的虚拟界面显示控制模块具体包括：
手指滑动轨迹信息收集模块，用于收集手指的滑动轨迹信息；
虚拟界面显示模块，用于驱动层收集手指的滑动轨迹信息，若相应的轨迹信息显示用户的滑动操作由界面控制区到输入控制区，则控制UI层显示出虚拟界面；以及当检测到用户的手指滑动至输入所述输入控制区中任一应用软件控制信息对应的区域上并离开时，打开所述应用软件并控制所述UI层关闭所述虚拟界面。
7.根据权利要求6所述的基于触觉-视觉技术的输入控制***，其特征在于，所示的触控板分区及初始化模块具体包括：
尺寸确定及坐标定义模块，用于确定触控板的尺寸并对该触控板进行坐标定义；
区域划分模块，用于利用坐标信息将所述的触控板划分为界面控制区和输入控制区，其中，所述的界面控制区和输入控制区相邻；
设置及初始化模块，用于对所述的输入控制区进行初始化，设置相应的输入控制内容。
8.根据权利要求6所述的基于触觉-视觉技术的输入控制***，其特征在于，所述的实时显示及控制输入模块具体包括：
手指滑动轨迹采集及显示模块，用于输入控制区采集手指的滑动轨迹信息并在所述的虚拟界面上实时显示该轨迹信息；
输入控制内容获取模块，用于确定所述滑动轨迹的终点所对应的坐标信息，获得相应的输入控制内容；
信息输入模块，用于根据所述的输入控制内容执行控制信息。
CN201610592695.6A 2016-07-25 2016-07-25 基于触觉-视觉技术的输入控制方法及*** Active CN106227449B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201610592695.6A CN106227449B (zh) 2016-07-25 2016-07-25 基于触觉-视觉技术的输入控制方法及***
JP2018502410A JP2019505024A (ja) 2016-07-25 2017-06-15 タッチ感知面−ディスプレイによるジェスチャー制御式インタラクティブ方法及び装置
EP17833354.8A EP3321791B1 (en) 2016-07-25 2017-06-15 Gesture control and interaction method and device based on touch-sensitive surface and display
PCT/CN2017/088387 WO2018019050A1 (zh) 2016-07-25 2017-06-15 基于触敏表面—显示器的手势控制交互方法与设备
US15/892,406 US11150797B2 (en) 2016-07-25 2018-02-08 Method and device for gesture control and interaction based on touch-sensitive surface to display
JP2020157569A JP7233109B2 (ja) 2016-07-25 2020-09-18 タッチ感知面－ディスプレイによる入力方法、電子装置、触覚－視覚技術による入力制御方法及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610592695.6A CN106227449B (zh) 2016-07-25 2016-07-25 基于触觉-视觉技术的输入控制方法及***

Publications (2)

Publication Number Publication Date
CN106227449A CN106227449A (zh) 2016-12-14
CN106227449B true CN106227449B (zh) 2024-05-14

Family

ID=57532886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610592695.6A Active CN106227449B (zh) 2016-07-25 2016-07-25 基于触觉-视觉技术的输入控制方法及***

Country Status (5)

Country Link
US (1) US11150797B2 (zh)
EP (1) EP3321791B1 (zh)
JP (2) JP2019505024A (zh)
CN (1) CN106227449B (zh)
WO (1) WO2018019050A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227449B (zh) 2016-07-25 2024-05-14 北京拉酷网络科技有限公司 基于触觉-视觉技术的输入控制方法及***
CN108319414A (zh) * 2018-01-31 2018-07-24 北京小米移动软件有限公司 界面显示方法及装置
EP3814881A1 (en) * 2018-07-26 2021-05-05 Patmos, Unipessoal Lda Enhanced touch sensitive selection
JP2022177328A (ja) * 2019-09-12 2022-12-01 Ｎｏｄｅｓｋ株式会社 データ入力システム、及び表示装置
TWI747470B (zh) * 2020-09-03 2021-11-21 華碩電腦股份有限公司 電子裝置及其觸控方法
CN114148840A (zh) * 2021-11-12 2022-03-08 安徽新华学院 基于3d传感器的电梯空中按键实现方法及***
CN117472220A (zh) * 2023-09-15 2024-01-30 荣耀终端有限公司 操作识别方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101943983A (zh) * 2009-07-09 2011-01-12 纬创资通股份有限公司 计算机***的控制方法及相关计算机***
CN104423697A (zh) * 2013-08-21 2015-03-18 索尼公司 显示控制设备、显示控制方法和程序
CN104850352A (zh) * 2015-05-29 2015-08-19 北京拉酷网络科技有限公司 一种基于触控板的程序快速开启方法及***
CN105138260A (zh) * 2015-07-27 2015-12-09 努比亚技术有限公司 一种切换应用程序的方法及终端

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583984A (en) * 1993-06-11 1996-12-10 Apple Computer, Inc. Computer system with graphical user interface including automated enclosures
US20090278806A1 (en) * 2008-05-06 2009-11-12 Matias Gonzalo Duarte Extended touch-sensitive control area for electronic device
TW200928905A (en) * 2007-12-26 2009-07-01 E Lead Electronic Co Ltd A method for controlling touch pad cursor
JP5243115B2 (ja) * 2008-06-27 2013-07-24 京セラ株式会社 携帯端末および携帯端末制御プログラム
TW201035824A (en) * 2009-03-25 2010-10-01 E Lead Electronic Co Ltd Method of operating trackpad with button function
US9213477B2 (en) * 2009-04-07 2015-12-15 Tara Chand Singhal Apparatus and method for touch screen user interface for handheld electric devices part II
KR20100118366A (ko) * 2009-04-28 2010-11-05 삼성전자주식회사 휴대 단말기의 터치스크린 운용 방법 및 이를 지원하는 휴대 단말기
US20120102437A1 (en) * 2010-10-22 2012-04-26 Microsoft Corporation Notification Group Touch Gesture Dismissal Techniques
US20130063366A1 (en) * 2011-09-13 2013-03-14 Google Inc. User inputs of a touch-sensitive device
US8610684B2 (en) * 2011-10-14 2013-12-17 Blackberry Limited System and method for controlling an electronic device having a touch-sensitive non-display area
US10296205B2 (en) * 2011-12-12 2019-05-21 Sony Corporation User interface for controlling a display scale of an image
US8760425B2 (en) * 2012-03-20 2014-06-24 Sony Corporation Method and apparatus for enabling touchpad gestures
WO2014008656A1 (zh) * 2012-07-12 2014-01-16 宇龙计算机通信科技(深圳)有限公司 终端和终端控制方法
KR20140020568A (ko) * 2012-08-09 2014-02-19 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
CN102830844A (zh) * 2012-08-17 2012-12-19 北京小米科技有限责任公司 一种触摸屏防误操作方法、触摸屏及移动终端
EP2939095B1 (en) * 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
KR20140125995A (ko) * 2013-04-22 2014-10-30 네이버 주식회사 단말기의 스크롤 제어 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR101584590B1 (ko) * 2013-07-11 2016-01-13 삼성전자주식회사 어플리케이션을 표시하는 사용자 단말 장치 및 그 방법
US9274620B2 (en) * 2014-04-09 2016-03-01 Wei-Chih Cheng Operating system with shortcut touch panel having shortcut function
KR102251118B1 (ko) * 2014-08-05 2021-05-13 엘지전자 주식회사 이동단말기 및 그 제어방법
CN104166553B (zh) * 2014-08-18 2018-10-12 联想(北京)有限公司 一种显示方法及电子设备
CN104238942A (zh) * 2014-09-04 2014-12-24 英业达科技有限公司 触控***及其画面卷动方法
US10296206B2 (en) * 2014-09-23 2019-05-21 Microsoft Technology Licensing, Llc Multi-finger touchpad gestures
CN104850264B (zh) * 2015-05-29 2017-09-29 北京拉酷网络科技有限公司 一种触控板上多样化手势操作的检测控制方法及***
CN104918085B (zh) * 2015-06-01 2018-02-09 天脉聚源(北京)传媒科技有限公司 一种切换频道的方法及装置
US20170097765A1 (en) * 2015-10-05 2017-04-06 Iq Technology Inc. Method to Provide a Service While Inputting Content in an Application Though A Virtual Keyboard
CN105389114A (zh) * 2015-11-10 2016-03-09 北京新美互通科技有限公司 内容输入方法及装置
CN105468286A (zh) * 2015-11-27 2016-04-06 广州华多网络科技有限公司 一种基于移动终端操作状态栏的方法及移动终端
CN106227449B (zh) * 2016-07-25 2024-05-14 北京拉酷网络科技有限公司 基于触觉-视觉技术的输入控制方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101943983A (zh) * 2009-07-09 2011-01-12 纬创资通股份有限公司 计算机***的控制方法及相关计算机***
CN104423697A (zh) * 2013-08-21 2015-03-18 索尼公司 显示控制设备、显示控制方法和程序
CN104850352A (zh) * 2015-05-29 2015-08-19 北京拉酷网络科技有限公司 一种基于触控板的程序快速开启方法及***
CN105138260A (zh) * 2015-07-27 2015-12-09 努比亚技术有限公司 一种切换应用程序的方法及终端

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MacBook的好基友！智能超薄数字键盘：Nums;机智玩机机;《优酷视频》;20140811;视频00:00-05:10 *
NUMS智能超薄键盘 龚华超作品;subian123;《优酷视频》;20140502;视频00:00-05:10 *
智能超薄键盘「Nums」;虾壳大米;《设计癖》;20140713;全文 *
触摸板上贴张0.2mm的膜，就能实现困扰macbook的小键盘;shanfun;《威锋》;20160202;全文 *

Also Published As

Publication number Publication date
WO2018019050A1 (zh) 2018-02-01
JP2019505024A (ja) 2019-02-21
EP3321791B1 (en) 2024-02-14
JP7233109B2 (ja) 2023-03-06
JP2021002381A (ja) 2021-01-07
US20180173414A1 (en) 2018-06-21
EP3321791A4 (en) 2018-10-31
US11150797B2 (en) 2021-10-19
EP3321791C0 (en) 2024-02-14
EP3321791A1 (en) 2018-05-16
CN106227449A (zh) 2016-12-14

Similar Documents

Publication Publication Date Title
CN106227449B (zh) 基于触觉-视觉技术的输入控制方法及***
CA2637513C (en) Gesturing with a multipoint sensing device
US9239673B2 (en) Gesturing with a multipoint sensing device
AU2008100085A4 (en) Gesturing with a multipoint sensing device
US20160062467A1 (en) Touch screen control
JP6180888B2 (ja) 電子機器、方法およびプログラム
US20160062634A1 (en) Electronic device and method for processing handwriting
EP3370140B1 (en) Control method and control device for working mode of touch screen
KR20110039929A (ko) 멀티터치 방식 입력제어 시스템
WO2014147716A1 (ja) 電子機器および手書き文書処理方法
TWI505155B (zh) 電容和電磁雙模觸摸屏的觸控方法及手持式電子設備
US20150347001A1 (en) Electronic device, method and storage medium
US9747002B2 (en) Display apparatus and image representation method using the same
US20120218189A1 (en) Method and medium for inputting korean characters using a touch screen
JPWO2014045414A1 (ja) 文字入力装置、文字入力方法、文字入力制御プログラム
WO2014043275A1 (en) Gesturing with a multipoint sensing device
US11847313B2 (en) Electronic device having touchpad with operating functions selected based on gesture command and touch method thereof
AU2016238971B2 (en) Gesturing with a multipoint sensing device
AU2014201419B2 (en) Gesturing with a multipoint sensing device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant