CN112035048A - 触摸数据处理方法、装置、设备及存储介质 - Google Patents

触摸数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112035048A
CN112035048A CN202010821331.7A CN202010821331A CN112035048A CN 112035048 A CN112035048 A CN 112035048A CN 202010821331 A CN202010821331 A CN 202010821331A CN 112035048 A CN112035048 A CN 112035048A
Authority
CN
China
Prior art keywords
touch
operating system
display area
target display
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010821331.7A
Other languages
English (en)
Other versions
CN112035048B (zh
Inventor
王家宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shirui Electronics Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202010821331.7A priority Critical patent/CN112035048B/zh
Publication of CN112035048A publication Critical patent/CN112035048A/zh
Priority to AU2020462903A priority patent/AU2020462903A1/en
Priority to JP2022564176A priority patent/JP2023522267A/ja
Priority to PCT/CN2020/139610 priority patent/WO2022032966A1/zh
Priority to KR1020227025840A priority patent/KR20220113541A/ko
Priority to EP20949457.4A priority patent/EP4116814A4/en
Application granted granted Critical
Publication of CN112035048B publication Critical patent/CN112035048B/zh
Priority to US17/953,331 priority patent/US20230018519A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种触摸数据处理方法、装置、设备及存储介质，在第一操作***的显示界面显示来自第二操作***的显示内容，并在第一操作***所在设备上的触摸屏按预设角度旋转后，若检测到针对所述触摸屏的触摸操作时，确定触摸操作是否为对目标显示区域内显示内容的操作。如果是，可以将触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对触摸操作进行响应。实现即便是旋转第一操作***所在设备上的触摸屏，也能通过触控触摸屏控制第二操作***对触摸操作进行响应。

Description

触摸数据处理方法、装置、设备及存储介质
技术领域
本发明涉及智能设备技术领域，尤其涉及触摸数据处理方法、装置、设备及存储介质。
背景技术
各类智能显示设备，尤其是大屏显示设备，在生活或者工作中的应用频率越来越高。某些智能显示设备中内置有多个操作***，或者多个操作***内置在不同设备中。目前，往往存在同一个显示屏显示不同操作***内容的需求。以传屏为例，可以将内置有第二操作***的发送端(例如Windows、Mac或Chrome笔记本)的屏幕内容投屏至内置有第一操作***的接收端(例如大尺寸的智能交互平板)。此时，第一操作***可以称为主操作***，第二操作***可以称为外部通道操作***。以多***智能交互平板为例，可以将智能交互平板中第二操作***(如Windows***)的内容在第一操作***(如Android***)的显示界面上进行展示。
发明人发现，将第二操作***的内容展示在第一操作***的显示界面时，第一操作***所在设备的触摸屏必须为指定横竖状态，否则无法通过触控第一操作***的触摸屏的方式，控制第二操作***进行响应。
发明内容
本发明提供了触摸数据处理方法、装置、设备及存储介质，以解决现有技术中旋转第一操作***所在设备的触摸屏后，无法通过触控该触摸屏控制第二操作***对触摸操作进行响应的问题。
根据本发明实施例的第一方面，提供一种触摸数据处理方法，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述方法包括：
在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
在第一操作***所在设备上的触摸屏按预设角度旋转后，若检测到针对所述触摸屏的触摸操作时，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；
如果是，将所述触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。
根据本发明实施例的第二方面，提供一种触摸数据处理方法，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述方法包括：
在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
若第一操作***所在设备上的触摸屏按预设角度旋转，获取触控位置信息，所述触控位置信息基于将所述目标显示区域在第一操作***的***坐标系下的位置信息映射到第一操作***的触摸框坐标系下获得；
当检测到针对第一操作***的显示界面的触摸操作时，依据触摸操作与触控位置信息的关系，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；
如果是，将所述触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。
根据本发明实施例的第三方面，提供一种触摸数据处理方法，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述方法包括：
第一操作***所在设备在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
第一操作***所在设备在第一操作***所在设备上的触摸屏按预设角度旋转后，若检测到针对所述触摸屏的触摸操作时，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；如果是，将所述触摸操作对应的触摸数据发送至第二操作***；
第二操作***所在设备依据接收到的触摸数据对所述触摸操作进行响应。
根据本发明实施例的第四方面，提供一种触摸数据处理装置，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述装置包括：
数据显示模块，用于在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
操作确定模块，用于在第一操作***所在设备上的触摸屏按预设角度旋转后，若检测到针对所述触摸屏的触摸操作时，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；
数据处理模块，用于如果所述触摸操作是对所述目标显示区域内显示内容的操作，将所述触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。
根据本发明实施例的第五方面，提供一种触摸数据处理装置，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述装置包括：
内容显示模块，用于在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
位置获得模块，用于获得触控位置信息，所述触控位置信息基于将所述目标显示区域在第一操作***的***坐标系下的位置信息映射到第一操作***的触摸框坐标系下获得；
操作确定模块，用于当检测到针对第一操作***的显示界面的触摸操作时，依据触摸操作与触控位置信息的关系，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；
数据处理模块，用于如果所述触摸操作是对所述目标显示区域内显示内容的操作，将所述触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。
根据本发明实施例的第六方面，提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如上任一项的触摸数据处理方法步骤。
根据本发明实施例的第七方面，提供一种电子设备，包括存储器和处理器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如上任一项的触摸数据处理方法步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明实施例在第一操作***的显示界面显示来自第二操作***的显示内容，并在第一操作***所在设备上的触摸屏按预设角度旋转后，若检测到针对所述触摸屏的触摸操作时，确定触摸操作是否为对目标显示区域内显示内容的操作。这样，如果触摸操作是对目标显示区域内显示内容的操作，可以将触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对触摸操作进行响应。实现即便是旋转第一操作***所在设备上的触摸屏，也能通过触控触摸屏控制第二操作***对触摸操作进行响应。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是现有技术中投屏显示示意图。
图2A是本发明根据一示例性实施例示出的触摸数据处理方法所应用的一种设备的示意图。
图2B是本发明根据一示例性实施例示出的触摸数据处理方法所应用的另一种设备的示意图。
图3是本发明根据一示例性实施例示出的一种触摸数据处理方法的流程图。
图4是本发明根据一示例性实施例示出的另一种触摸数据处理方法的流程图。
图5A是本发明根据一示例性实施例示出的另一种触摸数据处理方法的流程图。
图5B是本发明根据一示例性实施例示出的触摸框坐标系示意图。
图5C是本发明根据一示例性实施例示出的屏幕坐标系示意图。
图5D是本发明根据一示例性实施例示出的一种确定触控位置信息的流程图。
图5E是本发明根据一示例性实施例示出的***位置信息示意图。
图5F是本发明根据一示例性实施例示出的设备旋转0度、90度、180度、270度后的***坐标系示意图。
图5G是本发明根据一示例性实施例示出的设备顺时针旋转90度后目标显示区域在不同坐标系下的对比示意图。
图5H是本发明根据一示例性实施例示出的一种设备旋转90度后***位置信息和屏幕位置信息的对比示意图。
图5I是本发明根据一示例性实施例示出的一种设备旋转180度后***位置信息和屏幕位置信息的对比示意图。
图5J是本发明根据一示例性实施例示出的一种设备旋转270度后***位置信息和屏幕位置信息的对比示意图。
图5K是本发明根据一示例性实施例示出的一种在窗口上设置有悬浮窗的示意图。
图5L本发明根据一示例性实施例示出的一种触摸轨迹示意图。
图6是本发明根据一示例性实施例示出的一种数据流向图。
图7是本发明根据一示例性实施例示出的一种触摸数据处理装置的框图。
图8是本发明根据一示例性实施例示出的另一种触摸数据处理装置的框图。
图9是本发明根据一示例性实施例示出的触摸数据处理装置所在电子设备的一种硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
不同操作***可以共享同一显示屏幕。而不同操作***可以是指同一设备中的相同或不同类型的操作***，也可以是指位于不同设备中的相同或不同类型的操作***。传屏就属于不同设备共享同一显示屏幕的情况。在工作、学习、娱乐等场景中，广泛使用传屏操作，将源设备的多媒体数据同步到目标设备，目标设备播放该内容。而发明人发现，将第二操作***的内容展示在第一操作***的显示界面时，第一操作***所在设备的触摸屏必须为指定横竖状态，才能保证通过触控第一操作***的触摸屏时，第二操作***能进行相应的响应。如果第一操作***所在设备的触摸屏进行了旋转，则无法通过触控该触摸屏的方式，控制第二操作***进行响应。如图1所示，是现有技术中投屏显示示意图。在该示意图中，作为源设备的终端设备可以将其屏幕上的多媒体数据以全屏的方式展示在智能交互设备(目标设备)的屏幕中。而在智能交互设备展示终端设备的多媒体数据过程中，如果旋转智能交互设备的触摸屏，则无法通过触控智能交互设备的触摸屏控制终端设备对触摸操作进行响应。
鉴于此，本发明提供一种触摸数据处理方法，实现即便是旋转第一操作***所在设备上的触摸屏，也能通过触控触摸屏控制第二操作***对触摸操作进行响应。
本实施例提供的触摸数据处理方法可以通过软件执行，也可以通过软件和硬件相结合或者硬件执行的方式实现，所涉及的硬件可以由两个或多个物理实体构成，也可以由一个物理实体构成。本实施例方法可以应用于具有显示和触摸功能的电子设备。其中，电子设备可以是智能交互平板、数位板等智能显示设备，也可以是具备显示和触摸功能的平板电脑、笔记本电脑、台式电脑、PDA(Personal Digital Assistant，个人数字助理)等设备。
作为一种示例，触摸数据处理方法的执行主体可以是电子设备中的处理模块，也可以是第一操作***。第一操作***和第二操作***可以是同一设备中的两个相同或不同操作***，也可以是位于不同设备中的相同或不同类型的操作***。处理模块可以是不同于第一操作***的功能模块。例如，第一操作***对应一套模块(如包括CPU、GPU、处理器、存储器等)，这里的处理模块可以是与该套模块不同的MCU(Microcontroller Unit，微控制单元)。电子设备还可以包括触摸数据采集模块和显示屏，示例的，触摸数据采集模块触控操作面可以覆盖显示屏，用于检测触控操作并生成对应的触摸数据。以下以由处理模块执行触摸数据处理方法为例进行示例说明。
如图2A所示，是本发明根据一示例性实施例示出的触摸数据处理方法所应用的一种设备的示意图。在该示意图中，第一操作***和第二操作***可以是同一设备中的相同或不同操作***，以显示设备为智能交互平板为例，第一操作***可以是Android***，第二操作***可以是Windows***。触摸数据采集模块可以将采集到的触摸数据传输给处理模块，由处理模块决定将触摸数据传给第一操作***来响应，还是传给第二操作***来响应。
如图2B所示，是本发明根据一示例性实施例示出的触摸数据处理方法所应用的另一种设备的示意图。在该示意图中，第一操作***和第二操作***可以是位于不同设备中的相同或不同类型的操作***。第一设备可以是具有触摸显示功能的显示设备，第二设备可以是智能手机、平板电脑、笔记本电脑、台式电脑等具有投屏需求的设备。触摸数据采集模块可以将采集到的第一设备的触摸数据传输给处理模块，由处理模块决定将触摸数据传给第一操作***来响应，还是传给第二操作***来响应。
在一个实施例中，以智能交互平板为例进行示例说明。本发明实施例的执行主体可以是智能交互平板。其中，智能交互平板，又称交互智能平板，可以是通过触控技术对显示在显示平板上的内容进行操控和实现人机交互操作的一体化设备，其集成了投影机、电子白板、幕布、音响、电视机以及视频会议终端等一种或多种功能。
在一个实施例中，第一操作***和第二操作***进行有线传屏。例如，无需在第一操作***和第二操作***中预装传屏软件，第一操作***将触摸数据传给第二操作***，第二操作***可以通过标准的HDMI将内容传输至第一操作***，从而实现有线传屏。
接下来，结合附图对本发明实施例进行示例说明。
如图3所示，是本发明根据一示例性实施例示出的一种触摸数据处理方法的流程图，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述方法包括：
在步骤302中，在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
在步骤304中，在第一操作***所在设备上的触摸屏按预设角度旋转后，若检测到针对所述触摸屏的触摸操作时，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；
在步骤306中，如果是，将所述触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。
本发明实施例在第一操作***的显示界面显示来自第二操作***的显示内容，并在第一操作***所在设备上的触摸屏按预设角度旋转后，若检测到针对所述触摸屏的触摸操作时，确定触摸操作是否为对目标显示区域内显示内容的操作。这样，如果是，可以将触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对触摸操作进行响应。实现即便是旋转第一操作***所在设备上的触摸屏，也能通过触控触摸屏控制第二操作***对触摸操作进行响应。
本发明实施例方法可以由第一操作***所在设备来执行。例如，可以由第一操作***来执行，也可以由不同于第一操作***的其他处理模块来执行等。
在一个示例中，目标显示区域可以是第一操作***的显示界面的全屏区域。实现在第一操作***的显示界面全屏展示第二操作***的显示内容的情况下，即便是旋转第一操作***所在设备上的触摸屏，也能通过触控触摸屏控制第二操作***对触摸操作进行响应。
实际应用中，将任一操作***的内容在屏幕上进行展示时都是全屏展示，各***之间互斥使用，不能在屏幕上同时显示两个操作***上的内容。以图1为例，在智能交互设备展示终端设备的多媒体数据过程中，可能存在操作本操作***中内容(如应用程序)的需求，而由于终端设备的多媒体数据需要全屏展示在智能交互设备的屏幕上，则无法操作智能交互设备操作***中的应用程序。
基于此，在另一个实施例中，限定所述目标显示区域为第一操作***的显示界面中的局部区域。局部区域又可以称为部分区域，或非全屏区域。如此，第一操作***的显示界面中不仅展示有第二操作***的界面内容，还由于该界面内容仅占用第一操作***的显示界面中的局部区域，即非全屏区域，则在第一操作***的显示界面的其他区域可以展示第一操作***的显示内容。进一步的，以非全屏区域展示第一操作***的显示内容的情况下，若检测到针对第一操作***的触摸屏的触摸操作时，还可以通过判断触摸操作是否为对目标显示区域内显示内容的操作，来决定是否将触摸操作对应的触摸数据发送至第二操作***，进而实现第二操作***对触摸操作进行响应。
为了实现目标显示区域的可控性，在一个实施例中，采用窗口显示方式将第二操作***的显示内容显示在第一操作***的显示界面中。目标显示区域是窗口所在区域。当窗口最大化时，目标显示区域为全屏区域，当窗口缩小时，目标显示区域为非全屏区域。可见，可以通过缩放窗口，实现在第一操作***的显示界面中全屏或非全屏展示第二操作***的显示内容。
需要说明的是，在各实施例中，该目标显示区域并非为第一操作***的显示界面中的特定或预设的显示区域，可理解为第一操作***的显示界面中显示来自第二操作***的显示内容的显示区域。
进一步的，第二操作***的显示内容显示在第一操作***的显示界面的窗口中时，若检测到针对第一操作***的触摸屏的触摸操作时，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；如果是，将所述触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。实现即便是第二操作***的内容以窗口化的形式展示在第一操作***的显示界面中，也能支持将触摸数据回传到第二操作***中，以便第二操作***对触摸操作进行响应。
常态下，第一操作***所在设备上的触摸屏为指定横竖屏，可以认为触摸屏处于0度状态。而基于不同需求，用户可能会将触摸屏旋转不同预设角度。预设角度可以是指定角度集合中的角度，例如，指定角度集合包括：90度、180度、270度、360度等。在设备支持的情况下，预设角度也可以是任意角度。
可选的，实际应用中第一操作***所在设备内部可以配置有陀螺仪或角度传感器等具备运动检测功能的传感器，第一操作***可以通过获取传感器的检测数据，判断设备是否发生旋转以及旋转的角度，进而可以确定检测到的设备的旋转角度是否是预设角度、是指定角度集合中的哪一个预设角度。
在旋转触摸屏后，不管以局部区域(非全屏区域)还是以窗口展示第二操作***的显示内容，如果检测到针对触摸屏的触摸操作时，可以确定触摸操作是否为对目标显示区域内显示内容的操作；如果是，可以将触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对触摸操作进行响应。而关于如何判断触摸操作是否为对目标显示区域内显示内容的操作，在后面的实施例中进行示例说明，为了节约篇幅，在此不一一赘述。
进一步的，如果所述触摸操作是对所述目标显示区域内显示内容的操作，在所述目标显示区域内显示更新后的显示内容。
在一个例子中，所述更新后的显示内容可以是第二操作***基于所述触摸操作更新所述显示内容所得。第二操作***对所述触摸操作进行响应后，可以将响应结果传输至第一操作***，并在第一操作***的目标显示区域显示更新后的显示内容。
在某些场景下，即便是触摸操作是对目标显示区域内显示内容的操作，为了快速展示更新后的显示内容，不仅将触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对触摸操作进行响应，还可以将触摸操作对应的触摸数据发送至第一操作***，由第一操作***直接响应所述触摸操作。鉴于此，在另一个例子中，所述更新后的显示内容可以是第一操作***基于所述触摸操作更新所述显示内容所得，从而可以提高显示内容的更新速度。
在某些场景中，可以在所述目标显示区域上显示有悬浮窗和/或控制目标显示区域显示状态的控件。悬浮窗可以是控制目标显示区域的按钮，或控制第一操作***的显示界面的按钮等。目标显示区域显示状态可以是区域大小状态、区域位置状态等。例如，控件可以是最大化控件、最小化控件、关闭控件等固定在目标显示区域上的控件。作用在所述悬浮窗和控件上的触摸操作由第一操作***响应。这样，悬浮窗和控件所在区域可以作为屏蔽区域，该屏蔽区域上的触摸操作不被第二操作***响应。
由于目标显示区域的显示位置也可能调整，基于此，在一个实施例中，当所述目标显示区域的显示位置调整后，若触摸操作是对调整后的目标显示区域内的显示内容的操作，则将所述触摸操作的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。从而实现即便是目标显示区域位置改变了，第二操作***也能响应触摸操作。
相应的，为了方便理解，还从交互的角度对触摸数据处理方法进行介绍。如图4所示，是本发明根据一示例性实施例示出的另一种触摸数据处理方法的流程图，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述方法包括：
在步骤402中，第一操作***所在设备在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
在步骤404中，第一操作***所在设备在第一操作***所在设备上的触摸屏按预设角度旋转后，若检测到针对所述触摸屏的触摸操作时，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；如果是，将所述触摸操作对应的触摸数据发送至第二操作***；
在步骤406中，第二操作***所在设备依据接收到的触摸数据对所述触摸操作进行响应。
应当理解的是，图4与图3中相关技术相同，为了节约篇幅，在此不一一赘述。
该实施例实现即便是旋转第一操作***所在设备上的触摸屏，第二操作***所在设备也能对第一操作***所在设备上的触摸操作进行响应。
接下来，还侧重从如何实现第二操作***能响应触摸操作的角度对触摸数据处理方法进行示例说明。如图5A所示，是本发明根据一示例性实施例示出的另一种触摸数据处理方法的流程图，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述方法包括：
在步骤502中，在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
在步骤504中，若第一操作***所在设备上的触摸屏按预设角度旋转，获取触控位置信息，所述触控位置信息基于将所述目标显示区域在第一操作***的***坐标系下的位置信息映射到第一操作***的触摸框坐标系下获得；
在步骤506中，当检测到针对第一操作***的显示界面的触摸操作时，依据触摸操作与触控位置信息的关系，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；
在步骤508中，如果是，将所述触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。
在该实施例中，为了在以目标显示区域展示第二操作***的显示内容的情况下，第二操作***也能响应针对第一操作***的触摸屏的触摸操作，第一操作***或不同于第一操作***的其他处理模块可以获得触控位置信息，并在检测到针对第一操作***的显示界面的触摸操作时，依据触摸操作与触控位置信息的关系，确定触摸操作是否为对目标显示区域内显示内容的操作，进而决定是否将触摸操作对应的触摸数据发送至第二操作***，实现第二操作***也能响应针对第一操作***的触摸屏的触摸操作。
该实施例方法可以由第一操作***所在设备来执行。例如，可以由第一操作***来执行，也可以由不同于第一操作***的其他处理模块来执行等。如，该实施例方法可以应用于图2A或图2B中的处理模块。
关于在第一操作***的显示界面显示来自第二操作***的显示内容，在一个示例中，可以将第二操作***的全屏内容显示在第一操作***的显示界面的目标显示区域中，从而实现尽可能多的显示第二操作***中的内容。
在另一个示例中，可以将第二操作***的部分屏内容显示在第一操作***的显示界面的目标显示区域中，从而应对一些特殊场景，投屏内容更灵活。例如，期望在第一操作***的显示界面中展示的是第二操作***中的第一信息(如非隐私信息)，不期望在第一操作***的显示界面中展示的是第二操作***中的第二信息(如隐私信息)。如此，可以将第二操作***的屏幕划分为至少两个区域，一个区域展示第一信息，另一个区域展示第二信息。将第一信息投屏展示在第一操作***的显示界面的目标显示区域中。示例的，可以将第二操作***的屏幕左右一分为二，只在第一操作***上显示左侧区域展示的内容，右侧区域展示的内容不显示在第一操作***的显示界面中。应当理解的是，具体将第二操作***中哪局部区域的内容进行展示可以灵活配置，不限定是左右两侧，在此不做限制。
关于目标显示区域，在一个示例中，目标显示区域可以是第一操作***的显示界面的全屏区域。实现在第一操作***的显示界面全屏展示第二操作***的显示内容的情况下，也能通过触控触摸屏控制第二操作***对触摸操作进行响应。
实际应用中，将任一操作***的内容在屏幕上进行展示时都是全屏展示，各***之间互斥使用，不能在屏幕上同时显示两个操作***上的内容。基于此，在另一个实施例中，所述目标显示区域为第一操作***的显示界面中的局部区域。局部区域可以称为部分区域或非全屏区域。如此，第一操作***的显示界面中不仅展示有第二操作***的界面内容，还由于该界面内容仅占用第一操作***的显示界面中的局部区域，则在第一操作***的显示界面的其他区域可以展示第一操作***的显示内容。并且，以非全屏区域展示第一操作***的显示内容的情况下，若检测到针对第一操作***的触摸屏的触摸操作时，还可以通过判断触摸操作是否为对目标显示区域内显示内容的操作，来决定是否将触摸操作对应的触摸数据发送至第二操作***，进而实现第二操作***对触摸操作进行响应。
为了实现目标显示区域的可控性，在一个实施例中，可以采用窗口显示方式将第二操作***的显示内容显示在第一操作***的显示界面中。目标显示区域是窗口所在区域。当窗口最大化时，目标显示区域为全屏区域，当窗口缩小时，目标显示区域为非全屏区域。可见，可以通过缩放窗口，实现在第一操作***的显示界面中全屏或非全屏展示第二操作***的显示内容。
关于如何以窗口化形式在第一操作***的显示界面中展示第二操作***的显示内容，例如，可以是将第二操作***的画面信号，编码成视频数据流，通过HDMI/Type/VGA等传输到第一操作***，第一操作***拿到数据后，解码数据流，再进行缩放显示在窗口上等。应当理解的是，也可以是其他方式，在此不一一赘述。
为了实现合理分配触摸数据，本实施例在检测到针对第一操作***的显示界面的触摸操作时，可以通过触摸操作是否为对目标显示区域内显示内容的操作，来决定是否将触摸数据发送至第二操作***进行响应。由于触摸数据是在触摸框坐标系下的数据，为了实现可比性，本实施例先获得触控位置信息。触控位置信息是目标显示区域在触摸框坐标系下的位置信息，可以基于将目标显示区域在第一操作***的***坐标系下的位置信息映射到第一操作***的触摸框坐标系下获得。由于可以通过***接口获得目标显示区域在第一操作***的***坐标系下的位置信息，为了区分，将该位置信息简称为***位置信息，而触摸数据是在触摸框坐标系下的数据，则可以通过触摸框坐标系和***坐标系间的关系确定目标显示区域在第一操作***的触摸框坐标系下位置信息，简称触控位置信息。这样，可以解决第二操作***的显示内容显示在第一操作***的显示界面的目标显示区域中时，不知道如何使第二操作***对触摸操作进行响应的问题。
关于触控位置信息的计算主体，在一个示例中，如果触摸数据处理方法由第一操作***来执行，则可以由第一操作***确定触控位置信息。在另一个示例中，如果触摸数据处理方法由不同于第一操作***的其他处理模块来执行，可以由第一操作***将计算触控位置信息所需的数据发送给处理模块，由处理模块进行计算。触控位置信息也可以由第一操作***确定，并发送至处理模块。由于触摸框的原始数据上报频率很高，通过第一操作***计算触控位置信息，可以避免处理模块由于运算能力不高导致效率和性能跟不上的情况。
关于触控位置信息的更新时机，在一个示例中，所述触控位置信息在所述目标显示区域的显示位置调整后进行更新，从而保证触摸数据能得到正确分配和响应。目标显示区域的显示位置调整，可以是会引起触控位置信息发生变更的调整。例如，可以是目标显示区域被执行移动、缩放、区域最大化、区域最小化、区域关闭等中的一种或多种操作。特别是采用窗口显示方式将显示内容显示在第一操作***的显示界面中时，触控位置信息可以随着窗口的状态变化而变动。对目标显示区域的显示位置调整，可以是对第二操作***的内容的容器进行操作。在Android***上，该容器可以为SurfaceView，控制窗口拖动/缩放，可以是控制SurfaceView的位置。
应当理解的是，还可以是其他操作，只要会引起触控位置信息发生变更的操作即可，在此不再赘述。
关于如何确定触控位置信息，示例的，可以由第一操作***的触摸框坐标系和第一操作***的***坐标系间的关系确定。触摸框坐标系和***坐标系间的关系可以包括区域在触摸框坐标系下的位置与区域在***坐标系下的位置的转换关系。
触摸框坐标系的宽度和高度取决于触摸屏的精度，例如，触摸框X轴精度是0-40000，Y轴精度是0–40000，则触摸框坐标系可以如图5B所示。***坐标系的宽度和高度取决于屏幕的分辨率，并且，***坐标系由***的方向决定，而***的方向又可以受设备的旋转方向决定。而屏幕坐标系的宽度和高度取决于屏幕的分辨率，且屏幕坐标系是固定的，不会随着设备的旋转而改变原点。例如，例如4k屏的宽3840，高2160，屏幕坐标系如图5C所示。基于此，在一个示例中，预设的触摸框坐标系和***坐标系间的关系可以包括：预设的***坐标系与屏幕坐标系的关系、以及预设的屏幕坐标系与触摸框坐标系的关系。
其中，预设的***坐标系与屏幕坐标系的关系可以包括：区域在第一操作***的***坐标系下的位置与区域在第一操作***的屏幕坐标系下的位置的转换关系。预设的屏幕坐标系与触摸框坐标系的关系可以包括：区域在第一操作***的屏幕坐标系下的位置与区域在第一操作***的触摸框坐标系下的位置的转换关系。
该实施例通过***坐标系与屏幕坐标系的关系、以及屏幕坐标系与触摸框坐标系的关系，来确定触摸框坐标系和***坐标系间的关系，可以提高位置转换的准确性。
如图5D所示，是本发明根据一示例性实施例示出的一种确定触控位置信息的流程图，该方法在前述实施例的基础上，描述了如何确定触控位置信息，该方法可以包括以下步骤5001至步骤5003：
在步骤5001中，通过***接口获得所述目标显示区域在第一操作***的***坐标系下的***位置信息；
在步骤5002中，依据预设的***坐标系与屏幕坐标系的关系，由所述***位置信息映射获得所述目标显示区域在第一操作***的屏幕坐标系中的屏幕位置信息；
在步骤5003中，依据预设的屏幕坐标系与触摸框坐标系的关系，由所述屏幕位置信息映射获得所述目标显示区域在第一操作***的触摸框坐标系中的触控位置信息。
可以理解的是，为了方便区分，将目标显示区域在不同坐标系下的位置信息命名为不同名称。例如，将目标显示区域在第一操作***的***坐标系下的位置信息称为***位置信息；将目标显示区域在第一操作***的屏幕坐标系中的位置信息称为屏幕位置信息；将目标显示区域在第一操作***的触摸框坐标系中的位置信息称为触控位置信息。
在该实施例中，可以通过***接口获得***位置信息。例如，可以获取到目标显示区域所在的坐标getX()、getY()，以及获取到目标显示区域的高度和宽度getHeight()、getWidth()。则，如图5E，是本发明根据一示例性实施例示出的***位置信息示意图。假设用目标显示区域所在的LEFT_system，TOP_system，RIGHT_system，BOTTOM_system表示***位置信息，则：
LEFT_system＝getX()
TOP_system＝getY()
RIGHT_system＝getX()+getWidth()
BOTTOM_system＝getY()+getHeight()
由于***的坐标系会随着设备的旋转而改变原点，因此设备旋转后，***坐标系会发生变化。以设备旋转0度、90度、180度、270度为例进行示例说明。所述***坐标系与屏幕坐标系的关系包括：在所述触摸屏沿指定方向旋转指定角度后***坐标系与屏幕坐标系间的关系。其中，指定角度包括0度、90度、180度和270度。如图5F所示，是4k***，4个旋转方向所示的***坐标系。为了能获得触控位置信息，在第二操作***的显示内容显示在第一操作***的显示界面的目标显示区域中时，可以先把目标显示区域由***坐标系映射到屏幕坐标系中。
在设备没有旋转的情况下，即设备旋转0度的情况下，屏幕坐标系等于***坐标系。所以屏幕位置信息(LEFT_screen，TOP_screen，RIGHT_screen，BOTTOM_screen)为***位置信息(LEFT_system，TOP_system，RIGHT_system，BOTTOM_system)。
在设备沿顺时针方向旋转90度时，***坐标系相对于屏幕坐标系而言逆时旋转90度，则***坐标系不等于屏幕坐标系。如图5G所示，是本发明根据一示例性实施例示出的设备顺时针旋转90度后目标显示区域在不同坐标系下的对比示意图。如果仍将***位置信息作为屏幕位置信息，则会出现如图5G所示的错误。为了解决上述错误，由***位置信息映射获得目标显示区域在第一操作***的屏幕坐标系中的屏幕位置信息。如图5H所示，则屏幕位置信息(LEFT_screen，TOP_screen，RIGHT_screen，BOTTOM_screen)可以为：
LEFT_screen＝TOP_system
TOP_screen＝ScreenWidth’-RIGHT_system
RIGHT_screen＝BOTTOM_system
BOTTOM_screen＝ScreenWidth’-LEFT_system
其中，ScreenWidth’为屏幕竖屏时屏幕宽度。例如屏幕分辨率是3840*2160，竖屏时候，屏幕的宽度是2160；横屏时候，屏幕的宽度是3840。
在设备沿顺时针方向旋转180度时，***坐标系相对于屏幕坐标系而言逆时针旋转180度，则***坐标系不等于屏幕坐标系。由***位置信息映射获得目标显示区域在第一操作***的屏幕坐标系中的屏幕位置信息。如图5I所示，则屏幕位置信息(LEFT_screen，TOP_screen，RIGHT_screen，BOTTOM_screen)可以为：
LEFT_screen＝ScreenWidth-RIGHT_system
TOP_screen＝ScreenHeight-BOTTOM_system
RIGHT_screen＝ScreenWidth-LEFT_system
BOTTOM_screen＝ScreenHeight-TOP_system
其中，ScreenWidth为屏幕横屏时屏幕宽度，ScreenHeight为屏幕横屏时屏幕高度。
在设备沿顺时针方向旋转270度时，***坐标系相对于屏幕坐标系而言逆时针旋转270度，则***坐标系不等于屏幕坐标系。由***位置信息映射获得目标显示区域在第一操作***的屏幕坐标系中的屏幕位置信息。如图5J所示，则屏幕位置信息(LEFT_screen，TOP_screen，RIGHT_screen，BOTTOM_screen)可以为：
LEFT_screen＝ScreenHeight’-BOTTOM_system
TOP_screen＝LEFT_system
RIGHT_screen＝ScreenHeight’-TOP_system
BOTTOM_screen＝RIGHT_system
其中，ScreenHeight’为屏幕竖屏时屏幕高度。
第二操作***的显示内容显示在第一操作***的显示界面的目标显示区域中，如果要实现触控，可以将目标显示区域屏幕坐标系下的位置信息映射成在触摸框坐标系下的位置信息。定义X轴的触摸精度为TOUCH_X，Y轴的触摸精度为TOUCH_Y，由于屏幕坐标系和触控坐标系是重合的，存在正比例关系：
LEFT_touch/TOUCH_X＝LEFT_screen/ScreenWidth
TOP_touch/TOUCH_Y＝TOP_screen/ScreenHeight
RIGHT_touch/TOUCH_X＝RIGHT_screen/ScreenWidth
BOTTOM_touch/TOUCH_Y＝BOTTOM_screen/ScreenHeight
即：
LEFT_touch＝LEFT_screen*TOUCH_X/ScreenWidth
TOP_touch＝TOP_screen*TOUCH_Y/ScreenHeight
RIGHT_touch＝RIGHT_screen*TOUCH_X/ScreenWidth
BOTTOM_touch＝BOTTOM_screen*TOUCH_Y/ScreenHeight
相应的，可以获得触控位置信息与***位置信息间的转换关系，而***位置信息可以由目标显示区域所在的坐标getX()、getY()，以及目标显示区域的高度getHeight()和宽度getWidth()获得，为此，可以获得触控位置信息与getX()、getY()、getHeight()和getWidth()的转换关系。
仍以设备选择0度、90度、180度以及270度为例进行示例说明。
设备没有旋转，即旋转0度，则触控位置信息与getX()、getY()、getHeight()和getWidth()的转换关系为：
LEFT_touch＝getX()*TOUCH_X/ScreenWidth
TOP_touch＝getY()*TOUCH_Y/ScreenHeight
RIGHT_touch＝(getX()+getWidth())*TOUCH_X/ScreenWidth
BOTTOM_touch＝(getY()+getHeight())*TOUCH_Y/ScreenHeight
设备顺时针旋转90度，则触控位置信息与getX()、getY()、getHeight()和getWidth()的转换关系为：
LEFT_touch＝getY()*TOUCH_X/ScreenWidth
TOP_touch＝(ScreenWidth’-getX()-getWidth())*TOUCH_Y/ScreenHeightRIGHT_touch＝(getY()+getHeight())*TOUCH_X/ScreenWidth
BOTTOM_touch＝(ScreenWidth’-getX())*TOUCH_Y/ScreenHeight
设备顺时针旋转180度，则触控位置信息与getX()、getY()、getHeight()和getWidth()的转换关系为：
LEFT_touch＝(ScreenWidth-getX()-getWidth())*TOUCH_X/ScreenWidth TOP_touch＝(ScreenHeight-getY()-getHeight())*TOUCH_Y/ScreenHeight
RIGHT_touch＝(ScreenWidth-getX())*TOUCH_X/ScreenWidth
BOTTOM_touch＝(ScreenHeight-getY())*TOUCH_Y/ScreenHeight
设备顺时针旋转270度，则触控位置信息与getX()、getY()、getHeight()和getWidth()的转换关系为：
LEFT_touch＝(ScreenHeight’-getY()-getHeight())*TOUCH_X/ScreenWidth
TOP_touch＝getX()*TOUCH_Y/ScreenHeight
RIGHT_touch＝(ScreenHeight’-getY())*TOUCH_X/ScreenWidth
BOTTOM_touch＝(getX()+getWidth())*TOUCH_Y/ScreenHeight
从而可以获得触控位置信息。
在获得触控位置信息后，若检测到针对第一操作***的显示界面的触摸操作，依据触摸操作与触控位置信息的关系，可以确定所述触摸操作是否为对所述目标显示区域内显示内容的操作，从而可以依据判断结果确定是否将触摸操作对应的触摸数据发送至第二操作***，以供第二操作***对触摸操作进行响应。
应当理解的是，触摸数据除了包括触摸点的位置信息，还可以包括触摸点的ID、触摸状态等，在此不做限制。
关于触摸操作是对目标显示区域内显示内容的操作的判断条件，在一个实施例中，判断条件可以包括所述触摸操作是对所述目标显示区域的操作。
而在某些场景中，目标显示区域上可能还存在仅供第一操作***响应的触摸区域。示例的，可以在所述目标显示区域上显示有悬浮窗和/或控制目标显示区域显示状态的控件。悬浮窗可以是控制目标显示区域的按钮，或控制第一操作***的显示界面的按钮等。目标显示区域显示状态可以是区域大小状态、区域位置状态等。例如，控件可以是最大化控件、最小化控件、关闭控件等固定在目标显示区域上的控件。作用在所述悬浮窗和控件上的触摸操作由第一操作***响应。这样，悬浮窗和控件所在区域可以作为屏蔽区域，该屏蔽区域上的触摸操作不被第二操作***响应。
如图5K是本发明根据一示例性实施例示出的一种在窗口上设置有悬浮窗的示意图。该示意图以第一操作***为Android主***，第二***为外部通道***为例，外部通道***的显示内容展示在Android主***的窗口内，且在窗口上悬浮有关闭按钮。期望用户点击该按钮时候，触摸事件是给到Android主***的，而不是给到其他外部通道***。用户可以在Android主***的显示界面点击关闭按钮，从而关闭上述窗口，而不期望外部通道***响应该次触摸数据。
针对这种场景，触摸操作是对目标显示区域内显示内容的操作的判断条件包括：所述触摸操作是对所述目标显示区域的操作、且不是对屏蔽区域的操作，所述屏蔽区域是所述目标显示区域上悬浮窗所在区域和/或控制目标显示区域显示状态的控件所在区域。
其中，屏蔽区域，可以是一个区域，也可以是多个区域，具体根据需求配置。如何确定屏蔽区域的位置信息与如何获得触控位置信息相似，屏蔽区域也是在触摸框坐标系下的区域，可以基于触摸框坐标系和***坐标系间的关系确定。屏蔽区域可以由第一操作***计算，也可以由不同于第一操作***的处理模块计算。具体确定方法可以参考触控位置信息的确定方法，在此不一一赘述。
该实施例利用两个子条件来限定触摸操作是否是对目标显示区域内显示内容的操作，可以应对期望第一操作***响应而不期望第二操作***响应对目标显示区域内的触摸操作的情况。
应当理解的是，触摸操作是否是对目标显示区域内显示内容的操作的判断条件还可以包括其他条件，根据需求配置，在此不一一赘述。
关于如何判断触摸操作是否为对目标显示区域的操作，在一个示例中，可以依据触摸操作的位置是否在目标显示区域内进行判断。在另一个示例中，判断过程可以：检测到触摸对象在执行触摸落下事件时，所述触摸对象的触摸位置在所述目标显示区域内；所述触摸落下事件是触摸对象在执行连续的触摸操作过程中发生的事件。
具体的，触摸对象执行一次完整的触摸操作可以是连续的，其往往可以包括：触摸落下事件(ACTION_DOWN)、多个连续的触摸移动事件(ACTION_MOVE)以及触摸抬起事件(ACTION_UP)。在一次连续的触摸操作过程中，触摸对象的触摸位置发生变化，而且会对应多个触摸位置，这些触摸位置是指触摸对象在设备屏幕上触摸并移动的过程中所产生的触摸点在屏幕上的位置。触摸对象可以是手指、手掌、触控笔等可被屏幕识别的操作体。在该示例中，只要触摸落下事件发生在目标显示区域内，即可认为本次连续的触摸操作都是对目标显示区域的操作。换言之，当前触摸操作是否为对目标显示区域的操作可以由：触摸对象在执行触摸落下事件时，所述触摸对象的触摸位置是否在所述目标显示区域内而确定。若触摸对象在执行触摸落下事件时，所述触摸对象的触摸位置在所述目标显示区域内，则判定当前触摸操作为对目标显示区域的操作。其中，触摸数据可以是检测到同一个触摸对象的触摸落下事件、触摸移动事件或触摸抬起事件时的触摸数据。这样，可以保证一次连续触摸操作的完整性。
而关于触摸数据是否发送给第一操作***，在一个实施例中，若所述触摸操作不是对所述目标显示区域内显示内容的操作，则将所述触摸操作的触摸数据发送至第一操作***，由第一操作***对所述触摸操作进行响应，实现在触摸操作不是对目标显示区域内显示内容的操作的情况下，第一操作***对当前触摸操作进行响应。从而实现，一份触摸数据要么发给第一操作***进行响应，要么发给第二操作***进行响应。触摸操作不是对目标显示区域内显示内容的操作，可以是触摸操作不是对目标显示区域的操作；或，触摸操作是对目标显示区域的操作、且是对屏蔽区域的操作，所述屏蔽区域是所述目标显示区域上悬浮窗所在区域和/或控制目标显示区域显示状态的控件所在区域。
而在某些场景中，可能存在两个操作***同时对触摸数据进行响应的需求。例如，在使用外接***的书写软件时候，可以将书写软件的屏幕内容投屏到主***中，主***以窗口化的形式展示书写软件内容，用户可以在主***的界面上操控外接***的书写软件。因为外接***在响应触摸数据后，需要将画面传输到主***上再做显示，会比直接在主***上显示慢，所以为了提高书写的速度，外接***和主***可以同时书写，即两个***同时对触摸数据进行响应，这样书写时可以看到显示更快的主***上的笔迹。
鉴于此，在一个实施例中，无论当前的触摸操作是不是对目标显示区域内显示内容的操作，都可以将触摸数据发送至第一操作***，即在获得当前的触摸操作的触摸数据时，直接将所述触摸操作的触摸数据发送至第一操作***，由第一操作***确定是否对所述触摸操作进行响应；在所述触摸操作是对所述目标显示区域内显示内容的操作的情况下，第一操作***是否响应触摸操作基于预设的策略决定。可见，是否对触摸操作进行响应可以由第一操作***来决定。例如，在作为处理模块的MCU接收到上报的触摸数据后，可以将触摸数据复制成两份，一份直接传输给第一操作***，另一份依据所述判断条件(触摸操作是对目标显示区域内显示内容的操作的判断条件)是否满足来决定是否发给第二操作***。这样就可以满足两个***同时响应的需求，至于是否同时响应，可以由第一操作***来决定。
关于将触摸操作的触摸数据发送至第二操作***，可以是将触摸数据转换成适合第二操作***的数据后，发送至第二操作***。
在一个实施例中，由于一个完整的触摸从触摸按下(Down)，到触控抬起(Up)，中间可以有移动(Move)等操作，也可以没有。因此，可能出现如图5L，在该示意图中，一次完整的触摸操作可能包括对目标显示区域的操作，也包括对目标显示区域以外的区域的操作。为了保持触摸数据的完整性，一组完整的触摸数据需从Down到Up，鉴于此，若触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置在所述目标显示区域内，依据预设的第一操作***的触摸框坐标系和第二操作***的坐标系的关系，将触摸位置在所述目标显示区域内的触摸数据转换成在第二操作***的坐标系下的触摸数据。若所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置不在所述目标显示区域内，将触摸位置不在所述目标显示区域内的触摸数据转换成最接近目标显示区域边缘的触摸数据，获得第一次转换后的触摸数据；并依据预设的第一操作***的触摸框坐标系和第二操作***的坐标系的关系，将第一次转换后的触摸数据转换成在第二操作***的坐标系下的触摸数据，获得第二次转换后的触摸数据。第二操作***可能有对应的触摸屏，也可能没有对应的触摸屏。因此，需将触摸数据转换成适合第二操作***的数据，供第二操作***使用。
在一个例子中，触摸数据的转换过程可以由第一操作***完成，或由不同于第一操作***的处理模块完成，使第二操作***可以直接根据转换后的触摸数据进行相应的响应。
在另一个例子中，触摸数据的转换过程也可以由第二操作***完成，将触摸数据直接发送至第二操作***，由第二操作***将触摸数据转换成在第二操作***的坐标系下的触摸数据，并依据转换后的触摸数据进行响应，从而减轻处理模块的负担。
以触摸数据的转换过程由第一操作***完成，或由不同于第一操作***的处理模块完成为例，若第二操作***的全屏内容显示在所述目标显示区域中，所述将所述触摸操作对应的触摸数据发送至第二操作***，包括：
若所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置在所述目标显示区域内，依据预设的第一操作***的触摸框坐标系和第二操作***的坐标系的关系，将触摸位置在所述目标显示区域内的触摸数据转换成在第二操作***的坐标系下的触摸数据；
若所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置不在所述目标显示区域内，将触摸位置不在所述目标显示区域内的触摸数据转换成最接近目标显示区域边缘的触摸数据；并依据预设的第一操作***的触摸框坐标系和第二操作***的坐标系的关系，将所述转换成的最接近目标显示区域边缘的触摸数据转换成在第二操作***的坐标系下的触摸数据；
将所述转换成的在第二操作***的坐标系下的触摸数据发送至第二操作***。
如图5L所示，利用粗虚线表示实际触摸轨迹，利用粗实线表示第二操作***实际接收到的触摸数据的轨迹。这样，可以使第二操作***能接收到同一个触摸对象在一次连续的触摸操作中产生的触摸数据，从而保证数据的完整性。
关于如何将触摸操作的触摸数据转换成最接近目标显示区域边缘的触摸数据，在一个示例中，可以假设触摸数据采集模块上报触摸数据为(x，y)，第一次转换后的数据为(x1，y1)，则：
如果x<“目标显示区域”最左侧的值(LEFT_touch)，则x1＝LEFT_touch；
如果x>“目标显示区域”最右侧的值(RIGHT_touch)，则x1＝RIGHT_touch；
如果x<＝RIGHT_touch且x>＝LEFT_touch，则x1＝x；
如果y<“目标显示区域”最上侧的值(TOP_touch)，则y1＝TOP_touch；
如果y>“目标显示区域”最下侧的值(BOTTOM_touch)，则y1＝BOTTOM_touch；
如果y<＝BOTTOM_touch且y>＝TOP_touch，则y1＝y。
该实施例将触摸操作的触摸数据转换成最接近目标显示区域边缘的触摸数据，既能保证数据的完整性，还能避免因为转换后的触摸数据导致误响应。应当理解的是，在其他实施例中，还可以采用其他转换方式保证连续触摸操作的完整性，具体根据需求设置。
关于如何转换成在第二操作***的坐标系下的触摸数据，作为一个示例，触摸数据的转换可以由目标显示区域与第二操作***坐标系中显示内容所在区域之间的缩放关系确定。以将第二操作***中的全屏内容展示在第一操作***的显示界面为例，显示内容所在区域即为第二操作***的全屏区域。可以定义x为触摸数据采集模块上报的x轴数据，y为触摸数据采集模块上报的y轴数据，x_source为需要报给第二操作***的触摸x轴数据，y_source为需要报给第二操作***的触摸y轴数据。SourceWidth是第二操作***所在设备的屏幕分辨率的宽，SourceHeight是第二操作***所在设备的屏幕分辨率的高。
(x-LEFT_touch)/(RIGHT_touch-LEFT_touch)＝x_source/SourceWidth
(y-TOP_touch)/(BOTTOM_touch-TOP_touch)＝y_source/SourceHeight
即：
x_source＝(x-LEFT_touch)*SourceWidth/(RIGHT_touch-LEFT_touch)
y_source＝(y-TOP_touch)*SourceHeight/(BOTTOM_touch-TOP_touch)
将计算得到的x_source和y_source输入到第二操作***即可。
同理，若触摸操作的触摸位置不在目标显示区域内，需先将触摸操作的触摸数据转换成最接近目标显示区域边缘的触摸数据，例如，可以先将公式中的x和y先转换成x1和y1后再代入公式，在此不再赘述。
在另一些例子中，第二操作***中并非全屏内容显示，而是第二操作***的屏幕上的部分屏内容展示在第一操作***的显示界面时，本实施例称为局部区域；通过目标显示区域与部分屏区域间的关系，即可获得x_source和y_source。其中，部分屏区域是待传屏内容在第二操作***中的区域。
若所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置在所述目标显示区域内，依据预设的第一操作***的触摸框坐标系和所述局部区域的坐标范围的关系，将触摸位置在所述目标显示区域内的触摸数据转换成在第二操作***的坐标系下的触摸数据；所述局部区域的坐标范围是指所述局部区域在第二操作***对应屏幕的坐标系中的坐标范围；
若所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置不在所述目标显示区域内，将触摸位置不在所述目标显示区域内的触摸数据转换成最接近目标显示区域边缘的触摸数据；并依据预设的第一操作***的触摸框坐标系和所述局部区域的坐标范围的关系，将所述转换成的最接近目标显示区域边缘的触摸数据转换成在第二操作***的坐标系下的触摸数据；
将所述转换成的在第二操作***的坐标系下的触摸数据发送至第二操作***。
前述第二操作***的全屏内容显示在目标显示区域内，是使用第二操作***显示屏的分辨率SourceWidth/SourceHeight计算的。当第二操作***屏幕只有部分区域在第一操作***的目标显示区域上显示时，就不能直接使用SourceWidth/SourceHeight计算，需要知道该局部区域的在第二操作***屏幕上的坐标范围。该局部区域可以有第二操作***获得并传输给第一操作***，由第一操作***传输给MCU；局部区域在第二操作***屏幕上的坐标范围可以由如下四个坐标值构成：
局域区域最左侧的坐标值LEFT_system2_window，
局部区域的最上侧TOP_system2_window，
局部区域的最右侧的坐标值RIGHT_system2_window,
局部区域的最底侧BOTTOM_system2_window。
计算公式如下：
(x-LEFT_touch)/(RIGHT_touch-LEFT_touch)＝
(x_source-LEFT_system2_window)/(RIGHT_system2_window-LEFT_system2_window)
(y-TOP_touch)/(BOTTOM_touch-TOP_touch)＝
(y_source-TOP_system2_window)/(BOTTOM_system2_window-TOP_system2_window)
即：
x_source＝(x-LEFT_touch)*(RIGHT_system2_window-LEFT_system2_window)/(RIGHT_touch-LEFT_touch)+LEFT_system2_window
y_source＝(y-TOP_touch)*(BOTTOM_system2_window-TOP_system2_window)/(BOTTOM_touch-TOP_touch)+TOP_touch
将计算得到的x_source和y_source输入到第二操作***即可。
针对所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置在所述目标显示区域内的情况，通过上述方式可以将触摸位置在所述目标显示区域内的触摸数据转换成在第二操作***的坐标系下的触摸数据。
而针对所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置不在所述目标显示区域内，可以按照前述实施例的计算方式，将触摸操作的触摸数据转换成最接近目标显示区域边缘的触摸数据，之后再按照上述计算方式将所述转换成的最接近目标显示区域边缘的触摸数据转换成在第二操作***的坐标系下的触摸数据。
在一个可能的实施例中，第二操作***的窗口内部还设有切换外部通道信号的按钮区，例如：PC、Android盒子、HDMI、Type-c等。
在一个可能的实施例中，可能存在切换外设的需求，鉴于此，可以通过USB Hub控制将外接设备切换至第一操作***或第二操作***。外接设备可以是U盘、摄像头、麦克风等设备。
以上实施方式中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。图3与图5A中相关技术相同，为了节约篇幅，在图3的实施例中没有进行赘述。
作为一种示例，以第一操作***和第二操作***位于不同设备为例，第一操作***可以是显示设备中的Android主***，第二操作***可以是外部通道***。如图6所示，是本发明根据一示例性实施例示出的一种数据流向图。在该示意图中，处理模块可以是MCU，来自第二操作***的显示内容显示在第一操作***的显示界面的窗口中。Android主***将计算好的窗口的触控位置信息发送至MCU，MCU在接收到触摸数据采集模块发送的触摸数据后，可以判断当前触摸操作是不是对该窗口内显示内容的操作，若不是，直接不处理；如果是，再根据外部通道***的坐标系将触摸数据进行转换，将转换后的触摸数据发送至外部通道***，从而实现既能将外部通道***的显示内容以窗口化的形式展示在第一操作***的显示界面中，又可以实现对该窗口的触摸回传控制。
与前述触摸数据处理方法的实施例相对应，本发明还提供了触摸数据处理装置及其所应用的电子设备、以及计算机存储介质的实施例。
如图7所示，是本发明根据一示例性实施例示出的一种触摸数据处理装置的框图，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述装置包括：
数据显示模块72，用于在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
操作确定模块74，用于在第一操作***所在设备上的触摸屏按预设角度旋转后，若检测到针对所述触摸屏的触摸操作时，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；
数据处理模块76，用于如果所述触摸操作是对所述目标显示区域内显示内容的操作，将所述触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。
在一个可选的实施例中，所述目标显示区域为第一操作***的显示界面中的局部区域。
在一个可选的实施例中，采用窗口显示方式将所述显示内容显示在第一操作***的显示界面中。
在一个可选的实施例中，所述数据显示模块72还用于：
如果所述触摸操作是对所述目标显示区域内显示内容的操作，在所述目标显示区域内显示更新后的显示内容；
其中，所述更新后的显示内容是第二操作***基于所述触摸操作更新所述显示内容所得，或是第一操作***基于所述触摸操作更新所述显示内容所得。
在一个可选的实施例中，在所述目标显示区域上显示有悬浮窗和/或控制目标显示区域显示状态的控件，作用在所述悬浮窗和控件上的触摸操作由第一操作***响应。
在一个可选的实施例中，数据处理模块76还用于：
当所述目标显示区域的显示位置调整后，若触摸操作是对调整后的目标显示区域内的显示内容的操作，则将所述触摸操作的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。
如图8所示，是本发明根据一示例性实施例示出的另一种触摸数据处理装置的框图，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述装置包括：
内容显示模块82，用于在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
位置获得模块84，用于若第一操作***所在设备上的触摸屏按预设角度旋转，获取所述目标显示区域的触控位置信息，所述触控位置信息基于将所述目标显示区域在第一操作***的***坐标系下的位置信息映射到第一操作***的触摸框坐标系下获得；
操作确定模块86，用于当检测到针对第一操作***的显示界面的触摸操作时，依据触摸操作与触控位置信息的关系，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；
数据处理模块88，用于如果所述触摸操作是对所述目标显示区域内显示内容的操作，将所述触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。
在一个可选的实施例中，所述目标显示区域为第一操作***的显示界面中的局部区域。
在一个可选的实施例中，采用窗口显示方式将所述显示内容显示在第一操作***的显示界面中。
在一个可选的实施例中，所述触控位置信息在所述目标显示区域的显示位置调整后进行更新。
在一个可选的实施例中，所述装置还包括位置计算模块(图8未示出)，用于：
通过***接口获得所述目标显示区域在第一操作***的***坐标系下的***位置信息；
依据预设的***坐标系与屏幕坐标系的关系，由所述***位置信息映射获得所述目标显示区域在第一操作***的屏幕坐标系中的屏幕位置信息；
依据预设的屏幕坐标系与触摸框坐标系的关系，由所述屏幕位置信息映射获得所述目标显示区域在第一操作***的触摸框坐标系中的触控位置信息。
在一个可选的实施例中，第一操作***的触摸框坐标系不会随着触摸屏的旋转而改变原点，第一操作***的屏幕坐标系不会随着触摸屏的旋转而改变原点，第一操作***的***坐标系会随着触摸屏的旋转而改变原点；所述触摸屏为第一操作***所在设备上的触摸屏；
所述***坐标系与屏幕坐标系的关系包括：在所述触摸屏沿指定方向旋转指定角度后***坐标系与屏幕坐标系间的关系。
在一个可选的实施例中，在所述目标显示区域上显示有悬浮窗和/或控制目标显示区域显示状态的控件，作用在所述悬浮窗和控件上的触摸操作由第一操作***响应。
在一个可选的实施例中，所述操作确定模块86确定触摸操作是对所述目标显示区域内显示内容的操作的判断条件包括：
所述触摸操作是对所述目标显示区域的操作；或，
所述触摸操作是对所述目标显示区域的操作、且不是对屏蔽区域的操作，所述屏蔽区域是所述目标显示区域上悬浮窗所在区域和/或控制目标显示区域显示状态的控件所在区域。
在一个可选的实施例中，所述触摸操作是对所述目标显示区域的操作的判断过程包括：
检测到触摸对象在执行触摸落下事件时，所述触摸对象的触摸位置在所述目标显示区域内；所述触摸落下事件是触摸对象在执行连续的触摸操作过程中发生的事件。
在一个可选的实施例中，所述数据处理模块88具体用于：若第二操作***的全屏内容显示在所述目标显示区域中，执行：
若所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置在所述目标显示区域内，依据预设的第一操作***的触摸框坐标系和第二操作***的坐标系的关系，将触摸位置在所述目标显示区域内的触摸数据转换成在第二操作***的坐标系下的触摸数据；
若所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置不在所述目标显示区域内，将触摸位置不在所述目标显示区域内的触摸数据转换成最接近目标显示区域边缘的触摸数据；并依据预设的第一操作***的触摸框坐标系和第二操作***的坐标系的关系，将所述转换成的最接近目标显示区域边缘的触摸数据转换成在第二操作***的坐标系下的触摸数据；
将所述转换成的在第二操作***的坐标系下的触摸数据发送至第二操作***。
在一个可选的实施例中，所述数据处理模块88具体用于：若第二操作***屏幕的局部区域的内容显示在所述目标显示区域中，执行：
若所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置在所述目标显示区域内，依据预设的第一操作***的触摸框坐标系和所述局部区域的坐标范围的关系，将触摸位置在所述目标显示区域内的触摸数据转换成在第二操作***的坐标系下的触摸数据；所述局部区域的坐标范围是指所述局部区域在第二操作***对应屏幕的坐标系中的坐标范围；
若所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置不在所述目标显示区域内，将触摸位置不在所述目标显示区域内的触摸数据转换成最接近目标显示区域边缘的触摸数据；并依据预设的第一操作***的触摸框坐标系和所述局部区域的坐标范围的关系，将所述转换成的最接近目标显示区域边缘的触摸数据转换成在第二操作***的坐标系下的触摸数据；
将所述转换成的在第二操作***的坐标系下的触摸数据发送至第二操作***。
在一个可选的实施例中，所述数据处理模块88还用于：
若所述触摸操作不是对所述目标显示区域内显示内容的操作，则将所述触摸操作的触摸数据发送至第一操作***，由第一操作***对所述触摸操作进行响应；或，
直接将所述触摸操作的触摸数据发送至第一操作***，由第一操作***确定是否对所述触摸操作进行响应；在所述触摸操作是对所述目标显示区域内显示内容的操作的情况下，第一操作***是否响应触摸操作基于预设的策略决定。
在一个可选的实施例中，所述装置还包括设备切换模块(图8未示出)，用于：通过USB Hub控制将外接设备切换至第一操作***或第二操作***。
相应的，本发明实施例还提供一种电子设备，所述设备包括存储器和处理器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如上任一项的触摸数据处理方法步骤。
在一个可选的实施例中，所述电子设备为智能交互平板，所述第一操作***为Android***，第二操作***为Windows***或与所述智能交互平板连接的外接设备上的***。
相应的，本发明实施例还提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如上任一项的触摸数据处理方法步骤。
本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述装置中各个模块的功能和作用的实现过程具体详情见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明触摸数据处理装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图9所示，为本发明触摸数据处理装置所在电子设备的一种硬件结构图，除了图9所示的处理器910、网络接口920、内存930、以及非易失性存储器940之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (21)

1.一种触摸数据处理方法，其特征在于，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述方法包括：
在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
在第一操作***所在设备上的触摸屏按预设角度旋转后，若检测到针对所述触摸屏的触摸操作时，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；
如果是，将所述触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。
2.根据权利要求1任一项所述的方法，其特征在于，所述方法还包括：
如果所述触摸操作是对所述目标显示区域内显示内容的操作，在所述目标显示区域内显示更新后的显示内容；
其中，所述更新后的显示内容是第二操作***基于所述触摸操作更新所述显示内容所得，或是第一操作***基于所述触摸操作更新所述显示内容所得。
3.根据权利要求1所述的方法，其特征在于，在所述目标显示区域上显示有悬浮窗和/或控制目标显示区域显示状态的控件，作用在所述悬浮窗和控件上的触摸操作由第一操作***响应。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述目标显示区域的显示位置调整后，若触摸操作是对调整后的目标显示区域内的显示内容的操作，则将所述触摸操作的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。
5.一种触摸数据处理方法，其特征在于，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述方法包括：
在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
若第一操作***所在设备上的触摸屏按预设角度旋转，获取所述目标显示区域的触控位置信息，所述触控位置信息基于将所述目标显示区域在第一操作***的***坐标系下的位置信息映射到第一操作***的触摸框坐标系下获得；
当检测到针对第一操作***的显示界面的触摸操作时，依据所述触摸操作与触控位置信息的关系，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；
如果是，将所述触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。
6.根据权利要求5所述的方法，其特征在于，所述触控位置信息在所述目标显示区域的显示位置调整后进行更新。
7.根据权利要求5任一项所述的方法，其特征在于，所述触控位置信息的计算过程包括：
通过***接口获得所述目标显示区域在第一操作***的***坐标系下的***位置信息；
依据预设的***坐标系与屏幕坐标系的关系，由所述***位置信息映射获得所述目标显示区域在第一操作***的屏幕坐标系中的屏幕位置信息；
依据预设的屏幕坐标系与触摸框坐标系的关系，由所述屏幕位置信息映射获得所述目标显示区域在第一操作***的触摸框坐标系中的触控位置信息。
8.根据权利要求7所述的方法，其特征在于，第一操作***的触摸框坐标系不会随着触摸屏的旋转而改变原点，第一操作***的屏幕坐标系不会随着触摸屏的旋转而改变原点，第一操作***的***坐标系会随着触摸屏的旋转而改变原点；所述触摸屏为第一操作***所在设备上的触摸屏；
所述***坐标系与屏幕坐标系的关系包括：在所述触摸屏沿指定方向旋转指定角度后***坐标系与屏幕坐标系间的关系。
9.根据权利要求5所述的方法，其特征在于，在所述目标显示区域上显示有悬浮窗和/或控制目标显示区域显示状态的控件，作用在所述悬浮窗和控件上的触摸操作由第一操作***响应。
10.根据权利要求5或9所述的方法，其特征在于，所述触摸操作是对所述目标显示区域内显示内容的操作的判断条件包括：
所述触摸操作是对所述目标显示区域的操作；或，
所述触摸操作是对所述目标显示区域的操作、且不是对屏蔽区域的操作，所述屏蔽区域是所述目标显示区域上悬浮窗所在区域和/或控制目标显示区域显示状态的控件所在区域。
11.根据权利要求10所述的方法，其特征在于，所述触摸操作是对所述目标显示区域的操作的判断过程包括：
检测到触摸对象在执行触摸落下事件时，所述触摸对象的触摸位置在所述目标显示区域内；所述触摸落下事件是触摸对象在执行连续的触摸操作过程中发生的事件。
12.根据权利要求11所述的方法，其特征在于，若第二操作***的全屏内容显示在所述目标显示区域中，所述将所述触摸操作对应的触摸数据发送至第二操作***，包括：
若所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置在所述目标显示区域内，依据预设的第一操作***的触摸框坐标系和第二操作***的坐标系的关系，将触摸位置在所述目标显示区域内的触摸数据转换成在第二操作***的坐标系下的触摸数据；
若所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置不在所述目标显示区域内，将触摸位置不在所述目标显示区域内的触摸数据转换成最接近目标显示区域边缘的触摸数据；并依据预设的第一操作***的触摸框坐标系和第二操作***的坐标系的关系，将所述转换成的最接近目标显示区域边缘的触摸数据转换成在第二操作***的坐标系下的触摸数据；
将所述转换成的在第二操作***的坐标系下的触摸数据发送至第二操作***。
13.根据权利要求11所述的方法，其特征在于，若第二操作***屏幕的局部区域的内容显示在所述目标显示区域中，所述将所述触摸操作对应的触摸数据发送至第二操作***，包括：
若所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置在所述目标显示区域内，依据预设的第一操作***的触摸框坐标系和所述局部区域的坐标范围的关系，将触摸位置在所述目标显示区域内的触摸数据转换成在第二操作***的坐标系下的触摸数据；所述局部区域的坐标范围是指所述局部区域在第二操作***对应屏幕的坐标系中的坐标范围；
若所述触摸对象执行触摸落下事件时所述触摸对象的触摸位置在所述目标显示区域内、且所述连续的触摸操作过程中有触摸位置不在所述目标显示区域内，将触摸位置不在所述目标显示区域内的触摸数据转换成最接近目标显示区域边缘的触摸数据；并依据预设的第一操作***的触摸框坐标系和所述局部区域的坐标范围的关系，将所述转换成的最接近目标显示区域边缘的触摸数据转换成在第二操作***的坐标系下的触摸数据；
将所述转换成的在第二操作***的坐标系下的触摸数据发送至第二操作***。
14.根据权利要求5所述的方法，其特征在于，所述方法还包括：
若所述触摸操作不是对所述目标显示区域内显示内容的操作，则将所述触摸操作的触摸数据发送至第一操作***，由第一操作***对所述触摸操作进行响应；或，
直接将所述触摸操作的触摸数据发送至第一操作***，由第一操作***确定是否对所述触摸操作进行响应；在所述触摸操作是对所述目标显示区域内显示内容的操作的情况下，第一操作***是否响应触摸操作基于预设的策略决定。
15.根据权利要求5所述的方法，其特征在于，所述方法还包括：
通过USB Hub控制将外接设备切换至第一操作***或第二操作***。
16.一种触摸数据处理方法，其特征在于，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述方法包括：
第一操作***所在设备在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
第一操作***所在设备在第一操作***所在设备上的触摸屏按预设角度旋转后，若检测到针对所述触摸屏的触摸操作时，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；如果是，将所述触摸操作对应的触摸数据发送至第二操作***；
第二操作***所在设备依据接收到的触摸数据对所述触摸操作进行响应。
17.一种触摸数据处理装置，其特征在于，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述装置包括：
数据显示模块，用于在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
操作确定模块，用于在第一操作***所在设备上的触摸屏按预设角度旋转后，若检测到针对所述触摸屏的触摸操作时，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；
数据处理模块，用于如果所述触摸操作是对所述目标显示区域内显示内容的操作，将所述触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。
18.一种触摸数据处理装置，其特征在于，第一操作***和第二操作***为相同设备或不同设备中的操作***，所述装置包括：
内容显示模块，用于在第一操作***的显示界面显示来自第二操作***的显示内容，所述显示内容显示在所述第一操作***的显示界面的目标显示区域中；
位置获得模块，用于获得触控位置信息，所述触控位置信息基于将所述目标显示区域在第一操作***的***坐标系下的位置信息映射到第一操作***的触摸框坐标系下获得；
操作确定模块，用于当检测到针对第一操作***的显示界面的触摸操作时，依据触摸操作与触控位置信息的关系，确定所述触摸操作是否为对所述目标显示区域内显示内容的操作；
数据处理模块，用于如果所述触摸操作是对所述目标显示区域内显示内容的操作，将所述触摸操作对应的触摸数据发送至第二操作***，以使第二操作***对所述触摸操作进行响应。
19.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1至16任一项的方法步骤。
20.一种电子设备，其特征在于，包括存储器和处理器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至16任一项的方法步骤。
21.根据权利要求20所述的设备，其特征在于，所述电子设备为智能交互平板，所述第一操作***为Android***，第二操作***为Windows***或与所述智能交互平板连接的外接设备上的***。
CN202010821331.7A 2020-08-14 2020-08-14 触摸数据处理方法、装置、设备及存储介质 Active CN112035048B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN202010821331.7A CN112035048B (zh) 2020-08-14 2020-08-14 触摸数据处理方法、装置、设备及存储介质
AU2020462903A AU2020462903A1 (en) 2020-08-14 2020-12-30 Touch data processing method and apparatus, and device and storage medium
JP2022564176A JP2023522267A (ja) 2020-08-14 2020-12-30 タッチデータ処理方法、装置、デバイス及び記憶媒体
PCT/CN2020/139610 WO2022032966A1 (zh) 2020-08-14 2020-12-30 触摸数据处理方法、装置、设备及存储介质
KR1020227025840A KR20220113541A (ko) 2020-08-14 2020-12-30 터치 데이터 처리 방법, 장치, 디바이스 및 저장 매체
EP20949457.4A EP4116814A4 (en) 2020-08-14 2020-12-30 METHOD AND APPARATUS FOR PROCESSING TOUCH DATA, DEVICE AND RECORDING MEDIUM
US17/953,331 US20230018519A1 (en) 2020-08-14 2022-09-27 Touch data processing method, apparatus, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010821331.7A CN112035048B (zh) 2020-08-14 2020-08-14 触摸数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112035048A true CN112035048A (zh) 2020-12-04
CN112035048B CN112035048B (zh) 2022-03-25

Family

ID=73577917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010821331.7A Active CN112035048B (zh) 2020-08-14 2020-08-14 触摸数据处理方法、装置、设备及存储介质

Country Status (7)

Country Link
US (1) US20230018519A1 (zh)
EP (1) EP4116814A4 (zh)
JP (1) JP2023522267A (zh)
KR (1) KR20220113541A (zh)
CN (1) CN112035048B (zh)
AU (1) AU2020462903A1 (zh)
WO (1) WO2022032966A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113625889A (zh) * 2021-10-11 2021-11-09 广东新空电子科技股份有限公司 一种基于触控屏的触控笔迹生成方法及装置
WO2022032966A1 (zh) * 2020-08-14 2022-02-17 广州视源电子科技股份有限公司 触摸数据处理方法、装置、设备及存储介质
CN114327129A (zh) * 2021-12-15 2022-04-12 深圳市鸿合创新信息技术有限责任公司 触控方法、装置及设备
CN114489544A (zh) * 2022-01-27 2022-05-13 京东方科技集团股份有限公司 一种显示方法、智能交互一体机、计算机设备和存储介质
CN115016697A (zh) * 2021-09-08 2022-09-06 荣耀终端有限公司 投屏方法、计算机设备、可读存储介质和程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104020989A (zh) * 2014-05-06 2014-09-03 深圳市深信服电子科技有限公司 基于远程应用的控制方法和***
CN106095084A (zh) * 2016-06-06 2016-11-09 乐视控股（北京）有限公司 投屏方法及装置
US20180232118A1 (en) * 2005-01-13 2018-08-16 International Business Machines Corporation Queuing files to be sent to an application
CN110377250A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏场景下的触控方法及电子设备
CN110597474A (zh) * 2019-09-12 2019-12-20 联想(北京)有限公司 信息处理方法及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10009933B2 (en) * 2016-09-02 2018-06-26 Brent Foster Morgan Systems and methods for a supplemental display screen
TWI705361B (zh) * 2018-10-29 2020-09-21 華碩電腦股份有限公司 控制方法、電子裝置及非暫態電腦可讀記錄媒體裝置
CN110381195A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏显示方法及电子设备
CN110662095B (zh) * 2019-08-28 2021-10-26 北京小米移动软件有限公司 投屏处理方法、装置、终端及存储介质
CN112035048B (zh) * 2020-08-14 2022-03-25 广州视源电子科技股份有限公司 触摸数据处理方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180232118A1 (en) * 2005-01-13 2018-08-16 International Business Machines Corporation Queuing files to be sent to an application
CN104020989A (zh) * 2014-05-06 2014-09-03 深圳市深信服电子科技有限公司 基于远程应用的控制方法和***
CN106095084A (zh) * 2016-06-06 2016-11-09 乐视控股（北京）有限公司 投屏方法及装置
CN110377250A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏场景下的触控方法及电子设备
CN110597474A (zh) * 2019-09-12 2019-12-20 联想(北京)有限公司 信息处理方法及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022032966A1 (zh) * 2020-08-14 2022-02-17 广州视源电子科技股份有限公司 触摸数据处理方法、装置、设备及存储介质
CN115016697A (zh) * 2021-09-08 2022-09-06 荣耀终端有限公司 投屏方法、计算机设备、可读存储介质和程序产品
CN113625889A (zh) * 2021-10-11 2021-11-09 广东新空电子科技股份有限公司 一种基于触控屏的触控笔迹生成方法及装置
CN113625889B (zh) * 2021-10-11 2022-02-08 广东新空电子科技股份有限公司 一种基于触控屏的触控笔迹生成方法及装置
CN114327129A (zh) * 2021-12-15 2022-04-12 深圳市鸿合创新信息技术有限责任公司 触控方法、装置及设备
CN114489544A (zh) * 2022-01-27 2022-05-13 京东方科技集团股份有限公司 一种显示方法、智能交互一体机、计算机设备和存储介质

Also Published As

Publication number Publication date
US20230018519A1 (en) 2023-01-19
CN112035048B (zh) 2022-03-25
JP2023522267A (ja) 2023-05-29
AU2020462903A1 (en) 2023-02-02
EP4116814A1 (en) 2023-01-11
WO2022032966A1 (zh) 2022-02-17
KR20220113541A (ko) 2022-08-12
EP4116814A4 (en) 2023-11-15

Similar Documents

Publication Publication Date Title
CN112035048B (zh) 触摸数据处理方法、装置、设备及存储介质
CN110941383B (zh) 双屏幕显示方法、装置、设备及存储介质
CA3138907C (en) System and method for interactive projection
US7486274B2 (en) Method for stabilizing and precisely locating pointers generated by handheld direct pointing devices
US6594616B2 (en) System and method for providing a mobile input device
US9335888B2 (en) Full 3D interaction on mobile devices
US10585581B2 (en) Controlling display object on display screen
US20140375587A1 (en) Method of controlling virtual object or view point on two dimensional interactive display
US20140267049A1 (en) Layered and split keyboard for full 3d interaction on mobile devices
US8471873B2 (en) Enhanced UI operations leveraging derivative visual representation
US20220019346A1 (en) Table processing method, device, interactive white board and storage medium
US10979700B2 (en) Display control apparatus and control method
US20120001945A1 (en) Fine Object Positioning
CN111757162A (zh) 一种高清视频播放方法、装置、设备及存储介质
US20090213067A1 (en) Interacting with a computer via interaction with a projected image
WO2022218152A1 (zh) 窗口切换方法、存储介质及相关设备
CN116795273A (zh) 交互式屏幕展示方法、装置、介质，及电子设备
CN115607967A (zh) 显示位置调整方法、装置、存储介质与电子设备
TWI394063B (zh) 應用影像辨識之指令輸入系統以及方法
WO2022242013A1 (zh) 笔迹擦除方法、装置、交互平板及存储介质
Liu et al. Interactive space: a prototyping framework for touch and gesture on and above the desktop
Procházka et al. Mainstreaming gesture based interfaces
CN114764294A (zh) 电子白板的页面元素操作方法、装置及设备
Soni Free hand Image Control System
TWM464735U (zh) 觸控螢幕之點擊操作結構

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant