CN113391775A - 一种人机交互方法及设备 - Google Patents

一种人机交互方法及设备 Download PDF

Info

Publication number
CN113391775A
CN113391775A CN202010177769.6A CN202010177769A CN113391775A CN 113391775 A CN113391775 A CN 113391775A CN 202010177769 A CN202010177769 A CN 202010177769A CN 113391775 A CN113391775 A CN 113391775A
Authority
CN
China
Prior art keywords
image
touch
area
functional
touch operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010177769.6A
Other languages
English (en)
Inventor
林澈
周逸徉
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010177769.6A priority Critical patent/CN113391775A/zh
Priority to PCT/CN2021/074087 priority patent/WO2021179829A1/zh
Priority to EP21769002.3A priority patent/EP4108524A4/en
Publication of CN113391775A publication Critical patent/CN113391775A/zh
Priority to US17/941,082 priority patent/US20230004287A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/16—Details of telephonic subscriber devices including more than one display unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及电子设备技术领域，具体涉及一种人机交互方法及设备。该方法包括：便携式设备接收作用于第一图像的第一触摸操作，其中，第一触摸操作直接作用于第一功能区之外的区域，第一功能区为第一图像中的一个功能区；便携式设备向大屏设备发送第一数据，第一数据包括便携式设备响应于第二触摸操作而生成的图像数据，第二触摸操作是根据第一触摸操作生成的直接作用于第一功能区的操作，第一数据用于大屏设备更新第二图像。该方法以将非直接作用于功能区的触摸操作，转化为直接作用于功能区的触摸操作，以触发功能区的功能，使得用户在观赏大屏设备显示的图像时，可以在便携式设备上快速、准确地操作应用，改善抬头式交互的操作体验。

Description

一种人机交互方法及设备
技术领域
本申请涉及电子设备技术领域，具体涉及一种人机交互方法及设备。
背景技术
智能手机的功能日益丰富，已成为用户的生活、工作中的重要助手或必需品。据相关统计机构预测，2020年智能手机的存量将超过60亿台，智能手机的人均使用时间将超过5个小时。随着电子设备技术的发展，智能手机的片上***芯片(system on chip，SoC)、屏幕等硬件性能的提高，高质量***日益涌现。而由于手机屏幕相对较小，用户在手机上观看游戏画面，使得具有精良画面的游戏的娱乐性大打折扣。智能电视等大屏设备虽然可以大范围显示游戏画面，但玩家在大屏设备侧难以直接通过触碰方式操作游戏。
虽然，投屏技术可将智能手机显示的画面投屏到智能电视的屏幕，实现智能手机与智能电视画面联动与同步，但在游戏需要操控时，玩家仍需要观察智能手机屏幕才能校准手指点触的位置，因而，玩家在游戏过程中，无法专心欣赏智能电视上的游戏画面，游戏沉浸式体验较差。
目前，用于智能电视玩电子游戏的方案有以下几种：
1)通过引入硬件，例如物理手柄或悬停触控感知板，来实现抬头式交互。但该方案成本较高。并且，对于物理手柄而言，通用性差，且需要用户更改操作习惯，不便用户操作。对应悬停触控感知板而言，在用户操作时，使得悬停事件和触控事件同时出现，导致跟手性与误触率增加。
2)在手机运行虚拟手柄应用。由于手机屏幕本身无触觉反馈，为了完成操作，仍需要在电视机和手机之间来回切换视角，使得游戏沉浸式体验差。
因此，通过现有方案，用户难以以低成本的方式实现操作体验好、沉浸式体验较佳的抬头式交互。
发明内容
本申请实施例提供了一种人机交互方法及设备，用于在缺乏视觉反馈的情况下，实现快速、准确地操作应用。
第一方面，提供了一种人机交互方法，该方法由第一计算机设备执行，第一计算机设备与第二计算机设备通信连接；其中，所述第一计算机设备运行应用，并且显示该应用的第一图像；所述第二计算机设备显示该应用的第二图像；第一图像和第二图像均具有功能区，且第一图像中的功能区和第二图像中的功能区一一对应；该方法包括：所述第一计算机设备接收作用于第一图像的第一触摸操作，第一触摸操作直接作用于第一功能区之外的区域，第一功能区为第一图像的一个功能区；所述第一计算机设备根据第一触摸操作生成直接作用于第一功能区的第二触摸操作，并响应于第二触摸操作生成图像数据，以及将生成的图像数据发送给所述第二计算机设备，以便所述第二计算机设备根据该图像数据更新第二图像。
也就是说，通过第一方面提供的方法中，一个计算机设备可以将非直接作用于功能区的触摸操作，转化为直接作用于该功能区的触摸操作，由此，可以触发该计算机设备执行该功能区对应的功能，以生成图像数据，该图像数据可以用于更新另一计算机设备显示的图像，从而使得用户在观赏该另一计算机设备显示的图像时，可以在便携式设备上快速、准确地操作应用，改善抬头式交互的操作体验。
在一些实现方式中，所述第一计算机设备为便携式设备，例如手机、笔记本电脑、平板电脑或游戏机等；所述第二计算机设备为大屏设备，例如智能电视、智慧屏等。这里的大屏设备指的是显示屏幕相对于便携式设备更大的计算机设备。本申请对大屏设备的具体屏幕尺寸不做限定。
为便于理解，本申请将以便携式设备和大屏设备的交互场景为例来介绍，但本申请的方法也可以应用于其他场景。
在一种可能的实现方式中，第一图像与第二图像可以完全相同；也可以不同，比如假如应用是游戏应用，第一图像仅包含用于操作的功能区，第二图像则包含游戏的内容画面和功能区。第一图像中的功能区和第二图像中的功能区一一对应，但是显示样式不一定要完全相同，比如第二图像为了更好的呈现游戏的内容，可以将功能区显示为透明，或者只有在某个功能区的功能被触发时才显示该功能区。
在一种可能的实现方式中，功能区可以有多个，例如多个功能区可以是独立的多个区域，不限定各个区域的形状；多个功能区也可以互相临接。在另一种可能的实现方式中，功能区也可以是连续的一块区域，该区域内包含多个功能单元。
在一种可能的实现方式中，第二触摸操作为起始点位于所述第一功能区的触摸操作；第一触摸操作为起始点不在所述第一功能区内的触摸操作。
在一种可能的实现方式中，该第一功能区包含一个或多个虚拟按钮。直接作用于该第一功能区的触摸操作指的是对该一个或多个虚拟按钮中的一个或多个直接进行的触摸操作(例如按压或滑摸)。非直接作用于该功能区的触摸操作指的是除对该按压操作之外的触摸操作。这里的虚拟按钮包括但不限于单击按钮、双击按钮、长按按钮、压感按钮或支持其他类型触摸操作的按钮等。
在一种可能的实现方式中，直接作用于第一功能区之外的区域的触摸操作是指：起始触摸点位于第一功能区之外的区域的操作。例如，点击位置位于第一功能区之外的区域的点击操作。再例如，从第一功能区之外的区域起始的滑动操作。相应地，直接作用于第一功能区的第二触摸操作相当于或等效于起始触摸点位于第一功能区中的操作。
也就是说，在该实现方式中，可以将起始触摸点在第一功能区之外的区域的操作，转换为起始触摸点位于第一功能区中的操作，由此，可以触发便携式设备执行第一功能区中的对应的一个或多个功能。
在一种可能的实现方式中，第一图像包括辅助触控图层，辅助触控图层是根据该应用绘制渲染的图像和预设的配置文件生成的，辅助触控图层具有辅助触控功能区，该应用绘制渲染的图像具有功能区，辅助触控图层中的辅助触控功能区和该应用绘制渲染的图像中的功能区一一对应。
也就是说，在该实现方式中，便携式设备可以显示辅助触控图层，以便用户快速学习本申请实施例中的操作方式。
在一种可能的实现方式中，第一图像至少由该应用绘制渲染的图像和辅助触控图层合成，辅助触控图层是根据该应用绘制渲染的图像和预设的配置文件生成的，辅助触控图层具有辅助触控功能区，该应用绘制渲染的图像具有功能区，辅助触控图层中的辅助触控功能区和该应用绘制渲染的图像中的功能区一一对应。
也就是说，在该实现方式中，便携式设备可以显示由辅助触控图层和应用绘制渲染的图像合成的图像，以便用户快速学习本申请实施例中的操作方式。
在一种可能的实现方式中，第一图像中除第一功能区之外的区域可以设置有初始操作区，第一触摸操作为从初始操作区起始的，且经过或达到第一功能区的滑动操作。
也就是说，在该实现方式中，可以通过从特定区域起始的，经过或达到功能区的滑动操作，触发便携式设备执行该功能区的功能区，以减少误操作，提高缺乏视觉反馈的情况下的操作的准确率。
在一种可能的实现方式中，该滑动操作在第一功能区中的停留时间大于停留时间阈值。
也就是说，在该实现方式中，可以便携式设备可以根据滑动操作在功能区中的停留时间，来判断是否执行该功能区的功能，由此，可以减少误操作，提高缺乏视觉反馈的情况下的操作的准确率。
在一种可能的实现方式中，该滑动操作在第一功能区中的滑动速度小于滑动速度阈值。
也就是说，在该实现方式中，可以便携式设备可以根据滑动操作在功能区中的滑动速度，来判断是否执行该功能区的功能，由此，可以减少误操作，提高缺乏视觉反馈的情况下的操作的准确率。
在一种可能的实现方式中，第一图像中除第一功能区之外的区域可以设置有手势操作区，第一触摸操作为作用在手势操作区中的触摸操作
该实现方式可以针对第一功能区和手势操作区之间的距离较大(比如大于距离阈值)，和/或，第一功能区的尺寸较小(小于尺寸阈值)的情况。具体的，通过该实现方式中，可以通过在特定区域进行的操作，触发便携式设备执行远距离小尺寸功能区的功能，相对于通过点击远距离小尺寸功能区来触发便携设备执行远距离小尺寸功能区的功能，具有更高的操作准确率，以及更短的操作时间。
在一种可能的实现方式中，可以通过历史触摸操作数据，在第一图像中设置高频操作区。高频操作区可以为根据历史触摸操作数据计算得到的触摸操作次数在单位时间内较多(例如多于特定阈值)的区域。应理解的是，高频操作区中通常包含功能区。高频操作区中除功能区之外的区域为第一区域，第一触摸操作作用在第一区域中。其中，第一触摸操作和第一功能区之间的关联紧密度大于第一触摸操作和其他功能区之间的关联紧密度。其他功能区为第一图像中的功能区中除第一功能区之外的功能区。
也就是说，在该实现方式中，便携式设备可以判断作用在特定区域的操作和各功能区之间的关联紧密度，并执行最大关联紧密度对应的功能区的功能，由此，可以提高高频操作功能区的操作准确率。
在一种可能的实现方式中，第一触摸操作和第一功能区之间的关联紧密度与第一功能区的面积正相关，且与第一距离负相关。该第一距离为第一触摸操作的触摸点和第一功能区之间的距离。
也就是说，在该实现方式中，可以通过功能区的面积，触摸操作的触摸点之间的距离和功能区之间的距离，确定触摸操作和功能区的关联紧密度，以减少误操作。
在一种可能的实现方式中，第二图像包括第一触摸操作的触摸点。
也就是说，在该实现方式中，大屏设备可以显示触摸操作的触摸点，以便用户通过观看大屏设备显示的图像就可以得知触控物(例如手指或触控笔等)的触碰位置。特别是，当触摸操作为滑动操作时，由于人眼的视觉暂留效应，可以看到滑动轨迹，以便用户得知触控物的触碰位置，并由此确定下一步的滑动方向或滑动速度，提高了操作的准确率，改善了抬头式交互的操作体验。
第二方面，提供了一种人机交互方法，该方法由大屏设备执行，大屏设备与便携式设备通信连接；其中，便携式设备显示应用的第一图像；大屏设备运行该应用，并且显示该应用的第二图像；第一图像和第二图像均具有功能区，且第一图像中的功能区和第二图像中的功能区一一对应；该方法包括：大屏设备从便携式设备接收触摸信息，该触摸信息表征作用于第一图像的第一触摸操作，第一触摸操作直接作用于第一功能区之外的区域，第一功能区为第一图像中的一个功能区；大屏设备根据该触摸信息，生成直接作用于第一功能区的第二触摸操作，并响应于第二触摸操作生成图像；大屏设备显示生成的图像，以更新第二图像。
也就是说，在第一方面提供的方法中，大屏设备可以将非直接作用于功能区的触摸操作，转化为直接作用于该功能区的触摸操作，由此，可以触发大屏设备执行该功能区对应的功能，以生成图像，以更新大屏设备显示的图像，从而使得用户在观赏大屏设备显示的图像时，可以在便携式设备上快速、准确地操作应用，改善抬头式交互的操作体验。
在一些实现方式中，大屏设备还可以显示与第一触摸操作对应的触摸点，以便用户通过观看大屏设备显示的图像就可以得知触控物(例如手指或触控笔等)的触碰位置。
第三方面，提供了一种便携式设备，包括：处理器、通信接口和触摸屏；通信接口用于与大屏设备通信；处理器用于运行应用，且指示触摸屏显示该应用的第一图像；大屏设备显示该应用的第二图像；第一图像和第二图像均具有功能区，且第一图像中的功能区和第二图像中的功能区一一对应；其中，处理器还用于指示触摸屏接收作用于第一图像的第一触摸操作，其中，第一触摸操作直接作用于第一功能区之外的区域，第一功能区为第一图像中的一个功能区；处理器还用于指示通信接口向大屏设备发送第一数据，第一数据包括便携式设备响应于第二触摸操作而生成的图像数据，第二触摸操作是根据第一触摸操作生成的直接作用于第一功能区的操作，第一数据用于大屏设备更新第二图像。
在一种可能的实现方式中，第一图像包括初始操作区，初始操作区为第一功能区之外的区域，第一触摸操作为从初始操作区起始的滑动操作；其中，该滑动操作经过或到达第一功能区。
在一种可能的实现方式中，滑动操作在第一功能区中的停留时间大于停留时间阈值。
在一种可能的实现方式中，滑动操作在第一功能区中的滑动速度小于滑动速度阈值。
在一种可能的实现方式中，第一图像包括手势操作区，手势操作区为第一功能区之外的区域；第一触摸操作为作用在手势操作区中的触摸操作；第一功能区和手势操作区之间的距离大于距离阈值，和/或，第一功能区的尺寸小于尺寸阈值。
在一种可能的实现方式中，第一图像包括高频操作区，高频操作区通过历史触摸操作数据得到；第一触摸操作作用在第一区域中，第一区域为高频操作区中除功能区之外区域；第一触摸操作和第一功能区之间的关联紧密度大于第一触摸操作和其他功能区之间的关联紧密度，其他功能区为第一图像中的功能区中除第一功能区之外的功能区。
在一种可能的实现方式中，第一触摸操作和第一功能区之间的关联紧密度与第一功能区的面积正相关，与第一距离负相关；第一距离为第一触摸操作的触摸点和第一功能区之间的距离。
在一种可能的实现方式中，第二图像包括第一触摸操作的触摸点。
可以理解地，第三方面所提供的便携式设备用于执行第一方面或第一方面的任意一种实现方式所提供的方法，因此，其所能达到的有益效果可以参考前述相应的有益效果。
第四方面，提供了一种计算机设备，例如大屏设备。该计算机设备包括处理器、通信接口和显示屏，通信接口用于连接便携式设备，便携式设备显示应用的第一图像；处理器运行该应用，且指示显示屏显示该应用的第二图像；第一图像和第二图像均具有功能区，且第一图像中的功能区和第二图像中的功能区一一对应；其中，处理器还用于指示通信接口从便携式设备接收触摸信息，触摸信息表征作用于第一图像的第一触摸操作，其中，第一触摸操作直接作用于第一功能之外的区域，第一功能区为第一图像中的一个功能区；处理器用于指示显示屏更新第二图像，更新后的第二图像为大屏设备响应于第二触摸操作而生成的图像，第二触摸操作是根据触摸信息生成的直接作用于第一功能区的操作。
可以理解地，第四方面所提供的计算机设备用于执行第二方面或第二方面的任意一种实现方式所提供的方法，因此，其所能达到的有益效果可以参考前述相应的有益效果。
第五方面，提供了一种人机交互装置，该装置配置于便携式设备；便携式设备与大屏设备通信连接；便携式设备运行应用，并且显示该应用的第一图像；大屏设备显示该应用的第二图像；第一图像和第二图像均具有功能区，且第一图像中的功能区和第二图像中的功能区一一对应；该装置包括接收单元和发送单元；其中，接收单元用于接收作用于第一图像的第一触摸操作，其中，第一触摸操作直接作用于第一功能区之外的区域，第一功能区为第一图像中的一个功能区；发送单元用于向大屏设备发送第一数据，第一数据包括便携式设备响应于第二触摸操作而生成的图像数据，第二触摸操作是根据第一触摸操作生成的直接作用于第一功能区的操作，第一数据用于大屏设备更新第二图像。
在一种可能的实现方式中，第一图像包括初始操作区，初始操作区为第一功能区之外的区域，第一触摸操作为从初始操作区起始的滑动操作；其中，该滑动操作经过或到达第一功能区。
在一种可能的实现方式中，滑动操作在第一功能区中的停留时间大于停留时间阈值。
在一种可能的实现方式中，滑动操作在第一功能区中的滑动速度小于滑动速度阈值。
在一种可能的实现方式中，第一图像包括手势操作区，手势操作区为第一功能区之外的区域；第一触摸操作为作用在手势操作区中的触摸操作；第一功能区和手势操作区之间的距离大于距离阈值，和/或，第一功能区的尺寸小于尺寸阈值。
在一种可能的实现方式中，第一图像包括高频操作区，高频操作区通过历史触摸操作数据得到；第一触摸操作作用在第一区域中，第一区域为高频操作区中除功能区之外区域；第一触摸操作和第一功能区之间的关联紧密度大于第一触摸操作和其他功能区之间的关联紧密度，其他功能区为第一图像中的功能区中除第一功能区之外的功能区。
在一种可能的实现方式中，第一触摸操作和第一功能区之间的关联紧密度与第一功能区的面积正相关，与第一距离负相关；第一距离为第一触摸操作的触摸点和第一功能区之间的距离。
在一种可能的实现方式中，第二图像包括第一触摸操作的触摸点。
可以理解地，第五方面所提供的人机交互装置用于执行第一方面所提供的方法，因此，其所能达到的有益效果可以参考前述相应的有益效果。
第六方面，提供了一种人机交互装置，该装置配置于大屏设备，大屏设备与便携式设备通信连接；其中，便携式设备显示应用的第一图像；大屏设备运行该应用，并且显示该应用的第二图像；第一图像和第二图像均具有功能区，且第一图像中的功能区和第二图像中的功能区一一对应；该装置包括接收单元和更新单元；其中，接收单元用于从便携式设备接收触摸信息，触摸信息表征作用于第一图像的第一触摸操作，其中，第一触摸操作直接作用于第一功能之外的区域，第一功能区为第一图像中的一个功能区；更新单元用于更新第二图像，更新后的第二图像为大屏设备响应于第二触摸操作而生成的图像，第二触摸操作是根据触摸信息生成的直接作用于第一功能区的操作。
可以理解地，第六方面所提供的人机交互装置用于执行第二方面或第二方面的任意一种实现方式所提供的方法，因此，其所能达到的有益效果可以参考前述相应的有益效果。
第七方面，提供了一种计算机存储介质，该计算机存储介质包括计算机指令，当该计算机指令在电子设备上运行时，使得该电子设备执行第一方面或第一方面的任意一种实现方式所提供的方法。另外，本申请还提供一种计算机存储介质，用于实现第二方面或第二方面的任意一种实现方式所提供的方法。
第八方面，提供了一种计算机程序产品，该计算机程序产品包含的程序代码被电子设备中的处理器执行时，实现第一方面或第一方面的任意一种实现方式所提供的方法。另外，本申请还提供一种计算机程序产品，用于实现第二方面或第二方面的任意一种实现方式所提供的方法。
通过本申请实施例提供的人机交互方法以及设备，可以将非直接作用于功能区的触摸操作，转化为直接作用于该功能区的触摸操作，由此，可以触发该功能区对应的功能，以生成图像数据，该图像数据可以用于更新大屏设备显示的图像，从而使得用户在观赏大屏设备显示的图像时，可以在便携式设备上快速、准确地操作应用，改善抬头式交互的操作体验。
附图说明
图1为本申请实施例提供的一种投屏***结构示意图；
图2为本申请实施例提供的一种便携式设备的硬件结构示意图；
图3为本申请实施例提供的一种大屏设备的硬件结构示意图；
图4A为本申请实施例提供的一种便携式设备的软件结构示意图；
图4B为本申请实施例提供的一种便携式设备的软件结构示意图；
图4C为本申请实施例提供的一种大屏设备的软件结构示意图；
图5A为本申请实施例提供的一种应用界面示意图；
图5B为本申请实施例提供的一种辅助触控图层示意图；
图5C为本申请实施例提供的一种辅助触控图层示意图；
图5D为本申请实施例提供的一种由应用界面和辅助触控图层合成的界面的示意图；
图5E为本申请实施例提供的一种由应用界面和辅助触控图层合成的界面的示意图；
图5F为本申请实施例提供的一种辅助触控图层示意图；；
图5G为本申请实施例提供的一种由应用界面和辅助触控图层合成的界面的示意图；
图6为本申请实施例提供的一种滑动操作的事件序列示意图；
图7A为本申请实施例提供的配置文件设置示意图；
图7B为本申请实施例提供的确定应用多个场景下的ROI布局信息是示意图；
图7C为本申请实施例提供的确定应用多个场景下的高频操作区示意图；
图7D为本申请实施例提供的配置文件生成与管理示意图；
图8A为本申请实施例提供的增强服务模块功能划分示意图；
图8B为本申请实施例提供的辅助触控图层生成示意图；
图8C示出了本申请实施例提供的增强策略算法；
图9A为本申请实施例提供的滑动操作触发按下事件的示意图；
图9B为本申请实施例提供的滑动操作触发针对远距离小尺寸ROI的按下事件的示意图；
图9C为本申请实施例提供的快捷手势触发按下事件的示意图；
图10为本申请实施例提供的一种人机交互方法的流程图；
图11为本申请实施例提供的另一种人机交互方法的流程图；
图12为本申请实施例提供的一种人机交互装置的示意性框图；
图13为本申请实施例提供的另一种人机交互装置的示意性框图；
图14为本申请实施例提供的一种便携式设备的结构示意图；
图15为本申请实施例提供的一种大屏设备的结构示意图。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
在本说明书的描述中“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。
其中，在本说明书的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
在本说明书的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
通常，当手机上运行的游戏应用的游戏界面投到大屏设备上之后，大屏设备只作为游戏画面的更大显示载体，而***的操作逻辑仍与原来一致，即用户在手机侧进行触控操作，以对游戏应用进行控制。通常，用户需要点触游戏界面中的感兴趣区域(regionof interest，ROI) (也可以称为功能区，可以是指界面中的虚拟控制按键或区域)，来对游戏进行操控。这往往会导致如下问题。
问题一，若用户在进行触控操作时，观看手机触摸屏。即在用户在操作游戏的过程中，用户在手机与大屏设备之间来回切换视角。这种情况下，无法实现抬头式交互，用户游戏沉浸式体验不佳。
若用户在进行触控操作时，保持视线在大屏设备上，则用户无法感知自身手指在手机侧的具***置，因此无法实现准确触控游戏界面中的ROI。通常，用户进行针对某一个ROI的触控操作的方式为手指悬空，然后朝着该ROI按下。可以理解，在用户看着手机触摸屏进行触控操作时，一般可以比较准确地触碰到用户想要触碰的功能区。但由于手眼分离，缺乏视觉反馈，在用户触碰到手机触摸屏之前，用户难以感知手指相对功能区的位置，触控效果只有在手指接触到手机触摸屏后才能感知，触控精度较差，往往会触碰到非功能区上，导致无效操作，或者触碰到其他功能区，导致误操作。特别是游戏界面通常具有多个功能区，该多个功能区分布在游戏界面的各个地方，导致误操作和无效操作频繁发生。
问题二，游戏界面中一般会存在远距离小尺寸ROI。可以理解，通常用户正常操作游戏的方式为：通过拇指之外的手指握持手机，大拇指点击ROI，以操作游戏。此处的远距离ROI 为在用户正常操控游戏的情况下，游戏界面中距离大拇指较远的ROI。若用户想要点击远距离ROI，大拇指需要移动较远距离才能触碰到该ROI。
远距离小尺寸ROI难以点准，并且手指达到该ROI的时间也较久。根据费茨法则，用户点击目标ROI所需时间为：T＝a+blog2(1+D/W)，其中D为目标ROI与用户当前手指(该手指为用于触碰目标ROI的手指)位置距离，W为目标ROI的尺寸，a和b为常量参数。可知，对于距离当前手指位置远(D较大)、尺寸又小(W较小)的目标，其点击所需时间T较长。因此，如何快速、准确地点击远距离小尺寸ROI，也是在优化游戏体验中需要考虑的问题。
问题三，根据游戏操作大数据统计，通常游戏具有一个或多个触发频率较高的按键(即游戏界面中的高频操作ROI)，例如多人在线战术竞技游戏(multiplayer onlinebattle arena, MOBA)中的攻击键、推塔键、补刀键等ROI。在玩游戏的过程中，用户的操作大部分集中在高频操作ROI所在区域或附近区域。即使在用户观看手机的情况下，也会存在高频操作ROI 点击不准的问题。特别是针对ROI的点击速度是影响游戏体验的关键因素。因此，为了保证点击的准确率而牺牲点击速度，严重影响了用户游戏体验。在用户不观看手机的情况下，上述问题更为严重。
参阅图1，本申请实施例提供了一种人机交互***，该***可以包括便携式设备100和大屏设备200。便携式设备100或大屏设备200可以运行应用A。应用A可以为游戏应用(例如MOBA游戏)、电子书应用、小视频(或快视频)应用、或即时通信应用等等，此处不再一一列举。
大屏设备200可以显示图像A2，图像A2包括应用A的运行图像，以便用户使用大屏观赏应用A的运行图像。在本说明书中，运行图像是指应用A绘制渲染的图像。可以理解，游戏应用等应用在电子设备上运行时，可以利用电子设备提供的计算资源，绘制渲染图像，并将绘制渲染图像传递给电子设备的操作***，以便在电子设备的显示屏上显示。
示例性的，当应用A运行在便携式设备100时，图像A2可以通过投屏(例如Miracast) 方式显示在大屏设备200的显示屏上。
示例性的，当应用A运行在大屏设备200时，图像A2可以本地显示在大屏设备200的显示屏上。
便携式设备100可以显示图像A1，示例性的，图像A1可以如图5B或图5C或图5D或图5E或图5F或图5G所示。图像A1可以包括至少一个辅助触控ROI(ROI也可以称为功能区)，该至少一个辅助触控ROI和应用A的运行图像中的至少一个ROI一一对应。便携式设备100的操作***可以接收作用在图像A1上的触摸操作，以便用户控制应用A的运行。
在应用A运行在便携式设备100上的情况下，当触摸操作直接作用在图像A1的ROI之外的区域中时，便携式设备100的操作***对该触摸操作进行判断或识别，以确定该触摸操作的目标ROI。若识别到该触摸操作的目标ROI，便携式设备100可以生成针对目标ROI的触摸事件(例如按下(down)事件)，并将触摸事件传递给应用A，以便应用A执行目标 ROI的功能。上述直接作用在界面的ROI之外的区域的触摸操作也可以称为非直接作用于 ROI的触摸操作。示例性的，非直接作用于ROI的触摸操作可以是指起始触摸点位于ROI之外的区域的操作，例如点击位置不在ROI上的点击操作，起始触摸点不在ROI上的滑动操作等。此处的ROI可以是指界面的任一ROI。也就是说，非直接作用于ROI的触摸操作，可以是指非直接作用于界面的任一ROI的触摸操作。
示例性的，如上文对问题一的描述，根据现有的操作方式中，用户想要触控某一ROI时，手指悬空，然后朝着该ROI按下。该方式在没有眼睛协助的情况下，点击不准，触控精度较差。在本申请实施例提供的方案中，可以将从特定位置起始的滑动操作转换为直接作用于ROI 的触摸操作，以触发该ROI的功能，用于解决用户在不借助眼睛的情况下难以确定手指悬空位置而导致的点击不准的问题。示例性的，直接作用于ROI的触摸操作是便携式设备100生成的操作，其相当于或等效于起始触摸点位于ROI中的操作。
具体而言，如图5C或图5E所示，图像A1可以包括初始操作区，初始操作区与ROI之间不存在交叠区域。当非直接作用于ROI的触摸操作为从初始操作区起始的滑动操作时，便携式设备100可以确定该滑动操作的目标ROI。当确定出目标ROI时或之后，可以生成针对该目标ROI的触摸事件(例如按下事件)，以触发该目标ROI对应的功能。示例性的，如上文对问题二的描述，用户往往难以准确、快速地点击远距离小尺寸ROI。为此，在本申请实施例提供的方案中，如图9C所示，图像A1可以包括快捷手势操作区以及多个ROI。快捷手势操作区和ROI之间不存在交叠区域。快捷手势操作区也可以简称为手势操作区。可以预设至少一种快捷手势，其中，每一种快捷手势对应一个ROI。快捷手势对应的ROI可以为远距离ROI、小尺寸ROI或远距离小尺寸ROI。其中，远距离ROI可以是指与快捷手势操作区之间的距离大于距离阈值D1的ROI，小尺寸ROI可以是指尺寸小于尺寸阈值W1的ROI，远距离小尺寸ROI可以是指与快捷手势操作区之间的距离大于距离阈值D2，且尺寸小于尺寸阈值W2的ROI。距离阈值D1和距离阈值D2可以相同，也可以不同。尺寸阈值W1和尺寸阈值W2可以相同，也可以不同。距离阈值D1、距离阈值D2、尺寸阈值W1、尺寸阈值W2 可以根据经验预设得到。在本申请实施例提供的方案中，可以确定作用在快捷手势操作区的滑动操作所属的快捷手势，并将确定出的快捷手势对应的ROI用作该滑动操作对应的目标 ROI，以便将该滑动操作转换为直接作用于目标ROI的操作，以触发目标ROI的功能，从而可以进一步解决点击不准的问题，特别是远距离小尺寸ROI的点击不准和点击时间长的问题。
示例性的，如上文对问题三的描述，对高频ROI的点击操作，往往存在点击不准的问题。为此，在本申请实施例中，可以将作用在高频ROI附近区域的触摸操作，转换为直接作用于高频ROI的触摸操作。具体可以如图5F或图5G所示，图像A1可以包括高频操作区，该高频操作区可以包括吸引区，吸引区与ROI之间不存在交叠区域。当非直接作用于ROI的触摸操作为作用在吸引区的触摸操作时，可以预设的算法确定该触摸操作的目标ROI。当确定出目标ROI时或之后，可以生成针对该目标ROI的触摸事件(例如按下事件)，以触发该目标ROI对应的功能。该高频操作区可以是指高频操作ROI所在区域或附近区域，其可以通过历史触摸操作数据(用户触摸大数据)确定，具体将在下文进行介绍，此处不再赘述。
在应用A运行在大屏设备200上的情况下，大屏设备200可以从便携式设备100接收触摸操作(具体可以接收触摸事件，该触摸事件为作用辅助触控图层上的触摸操作触发的触摸事件)。当触摸操作为非直接作用于ROI的操作时，大屏设备200的操作***该触摸操作进行判断或识别，以为该触摸操作确定目标ROI。具体可以参考上文对便携式设备100确定非直接作用于ROI的操作的目标ROI的介绍，在此不再赘述。
便携式设备100可以为手机、平板电脑、数码相机、个人数字助理(personaldigitalassistant， PDA)、可穿戴设备、膝上型计算机(laptop)等的便携式设备。便携式设备的示例性实施例包括但不限于搭载iOS、android、Windows或者其他操作***的便携式设备。上述便携式设备也可以是其他便携式设备，诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。本申请实施例对便携式设备的类型不做具体限定。
图2示出了便携式设备100的结构示意图。
便携式设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器 180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本发明实施例示意的结构并不构成对便携式设备100的具体限定。在本申请另一些实施例中，便携式设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit， NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110 中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface， MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头 193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现便携式设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface， DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现便携式设备100 的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现便携式设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S 接口，UART接口，MIPI接口等。
USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为便携式设备100充电，也可以用于便携式设备100与***设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对便携式设备100的结构限定。在本申请另一些实施例中，便携式设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过便携式设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块 141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
便携式设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。便携式设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1 复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在便携式设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器 (low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在便携式设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
便携式设备100可以通过无线通信模块160所提供的无线通信方案(例如，Wi-Fi网络解决方案或蓝牙解决方案等)和大屏设备200进行数据交互，例如向大屏设备200发送图像数据，或者从大屏设备200接收图像数据，或者向大屏设备200发送触摸信息等。
在一些实施例中，便携式设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得便携式设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobilecommunications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband codedivision multiple access，WCDMA)，时分码分多址(time-division code divisionmultiple access，TD-SCDMA)，长期演进(long term evolution， LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioningsystem，GPS)，全球导航卫星***(global navigation satellite system， GLONASS)，北斗卫星导航***(beidou navigation satellite system，BDS)，准天顶卫星*** (quasi-zenith satellite system，QZSS)和/或星基增强***(satellite based augmentationsystems， SBAS)。
便携式设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。在一些实施例中，当应用A在便携式设备100上运行时，应用A可以调用GPU以及应用处理器等绘制渲染运行图像(例如图5A所示)。便携设备100的操作***可以调用GPU以及应用处理器等绘制渲染辅助触控图层。便携设备100的操作***可以调用应用处理器等，基于运行图像和辅助触控图层合成图像。具体将在下文进行具体介绍，在此不再赘述。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的， AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，便携式设备100可以包括1个或N个显示屏194，N为大于1的正整数。在一些实施例中，便携式设备100可以通过显示屏194显示图像A1(例如图5B-图5G中任一个所示)。
便携式设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，便携式设备100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当便携式设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。便携式设备100可以支持一种或多种视频编解码器。这样，便携式设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现便携式设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展便携式设备 100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储便携式设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121 可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行便携式设备100的各种功能应用以及数据处理。
便携式设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110 中。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。便携式设备100可以通过扬声器170A收听音乐，或收听免提通话。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当便携式设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。便携式设备100可以设置至少一个麦克风170C。在另一些实施例中，便携式设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，便携式设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm 的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。便携式设备100 根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，便携式设备100根据压力传感器180A检测所述触摸操作强度。便携式设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
陀螺仪传感器180B可以用于确定便携式设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定便携式设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测便携式设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消便携式设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中，便携式设备100通过气压传感器180C 测得的气压值计算海拔高度，辅助定位和导航。
磁传感器180D包括霍尔传感器。便携式设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当便携式设备100是翻盖机时，便携式设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
加速度传感器180E可检测便携式设备100在各个方向上(一般为三轴)加速度的大小。当便携式设备100静止时可检测出重力的大小及方向。还可以用于识别便携式设备100姿态，应用于横竖屏切换，计步器等应用。
距离传感器180F，用于测量距离。便携式设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，便携式设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。便携式设备100通过发光二极管向外发射红外光。便携式设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定便携式设备100附近有物体。当检测到不充分的反射光时，便携式设备100可以确定便携式设备100附近没有物体。便携式设备100可以利用接近光传感器180G检测用户手持便携式设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。便携式设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测便携式设备100是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。便携式设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中，便携式设备100利用温度传感器180J 检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，便携式设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，便携式设备100对电池142加热，以避免低温导致便携式设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，便携式设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。
触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。示例性的，当触摸传感器180K接收到触摸操作，相应的硬件中断被发给便携设备100的操作***中的内核层。内核层可以将触摸操作加工成触摸事件(包括触摸坐标，触摸操作的时间戳等信息)。便携式设备100可以响应该触摸事件，执行相应功能。例如可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于便携式设备100的表面，与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。便携式设备100可以接收按键输入，产生与便携式设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195，或从SIM卡接口195拔出，实现和便携式设备100的接触和分离。便携式设备100可以支持1个或N个SIM 卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM 卡等。同一个SIM卡接口195可以同时***多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。便携式设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，便携式设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在便携式设备100中，不能和便携式设备100分离。
图2以星型结构为例示出了便携式设备100可采取的一种结构，但不并构成对便携式设备100结构的限制。在一些实施例中，便携式设备100的结构可以为总线型结构。本申请实施例对便携式设备100的结构类型不做限定。
大屏设备200可以为配置有较大显示屏的电子设备，例如智能电视等。
接下来，结合图3，示例介绍大屏设备200的结构。
如图3所示，大屏设备200可以包括处理器210、存储器220、无线通信模块230、显示屏240、摄像头250、音频模块260、有线通信模块270、电源开关280等等。
处理器210可用于读取和执行计算机可读指令。具体实现中，处理器111可主要包括控制器、运算器和寄存器。其中，控制器主要负责指令译码，并为指令对应的操作发出控制信号。运算器主要负责保存指令执行过程中临时存放的寄存器操作数和中间操作结果等。
存储器220与处理器210耦合，用于存储各种软件程序和/或多组指令。
无线通信模块230可以包括蓝牙模块231、Wi-Fi模块232。蓝牙模块231和/或Wi-Fi模块232可以和便携式设备100进行数据交互，例如从便携式设备100接收图像数据。在具体实现时，蓝牙模块231可以提供包括经典蓝牙(例如蓝牙2.1)模块和/或蓝牙低功耗(bluetooth low energy，BLE)模块。Wi-Fi模块232可以包括Wi-Fi direct模块、Wi-Fi LAN模块或Wi-Fi softAP模块中一项或多项。在一些实施例中，蓝牙模块231和/或Wi-Fi模块232可以发射信号，如广播蓝牙信号、信标信号等，使得其他设备(例如便携式设备100)可以发现大屏设备 200，进行可以建立该其他设备和大屏设备200之间的无线通信连接，以进行数据交互。在一些实施例中，大屏设备200可以通过Wi-Fi模块232接入互联网，从而与互联网上的服务器(例如视频播放网站服务器)建立通信连接。在一些实施例中，无线通信模块230还可以包括红外线通信模块(未示出)。红外线通信模块可以通过红外遥控技术与遥控器等设备进行通信。
摄像头250用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。
显示屏240可用于显示图像，视频等。显示屏240可以采用液晶显示屏(liquidcrystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)显示屏，有源矩阵有机发光二极体(active-matrix organic light emitting diode，AMOLED)显示屏，柔性发光二极管 (flexible light-emitting diode，FLED)显示屏，量子点发光二极管(quantum dot emitting diodes， QLED)显示屏等等。在一些实施例中，显示屏240可以为40英寸以上的屏幕，例如65英寸的屏幕。
音频模块260可以包括扬声器261。处理器210可以将数字音频信号转换成模拟音频信号，扬声器261可以将模拟音频信号转换为声音信号。音频模块260还可以包括麦克风262。麦克风262可以用于将声音信号转换为电信号。当发送语音控制指令时，用户可以发出控制语音，该控制语音的声音信号可输入到麦克风262，以转换成电信号。处理器210可以解析电信号，得到控制指令。
有线通信模块270可以包括USB模块271，使得大屏设备200可以通过USB数据线和其他设备(例如便携式设备100)进行通信。有线通信模块270还可以包括是高清晰多媒体接口(high definition multimedia interface，HDMI)(未示出)。大屏设备200可以通过HDMI和机顶盒(set top box,STB)等设备进行通信。
电源开关280可用于控制电源向大屏设备280的供电。
大屏设备200可以和便携式设备100通过网络连接。例如，该网络可以为局域网(local area networks，LAN)，也可以为广域网(wide area networks，WAN)(例如互联网)。大屏设备200 可以和便携式设备100之间的网络可使用任何已知的网络通信协议来实现，上述网络通信协议可以是各种有线或无线通信协议，诸如以太网、通用串行总线(universal serial bus，USB)、火线(firewire)、全球移动通讯***(global system formobile communications，GSM)、通用分组无线服务(general packet radio service，GPRS)、码分多址接入(code divisionmultiple access， CDMA)、宽带码分多址(widebandcode division multiple access，WCDMA)，时分码分多址 (time-division codedivision multiple access，TD-SCDMA)、长期演进(long term evolution，LTE)、新空口(new radio，NR)、蓝牙(bluetooth)、无线保真(wireless fidelity，Wi-Fi)等通信协议。
图3以总线型结构为例示出了大屏设备200可采取的一种结构，但不并构成对大屏设备 200结构的限制。在一些实施例中，大屏设备200的结构可以为星型结构。本申请实施例对大屏设备200的结构类型不做限定。
在一些实施例中，便携式设备100和大屏设备200可以采取相同类型的结构。例如都可以为总线型结构或星型结构。在一些实施例中，便携式设备100和大屏设备200可以采取不同类型的结构。例如便携式设备100可以为总线型结构，大屏设备200可以为星型结构。接下来，示例介绍便携式设备100的软件***。
便携式设备100的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。其中，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层(java framework)，原生(native)层、内核层以及硬件层。
接下来，以分层架构的Android***为例，示例性说明便携式设备100的软件结构。
在一些实施例中，图4A示出了本申请实施例提供的一种可应用于的便携式设备100的软件结构框图。
便携式设备100的应用层可以包括应用A。应用A运行时，应用A可以绘制渲染图像。为方便表述，可以将应用A绘制渲染的图像称为应用A的运行图像。在一个例子中，应用A 的一个运行图像可以如图5A所示，该运行图像可以包括ROI 501、ROI 502、ROI 503、ROI 504、ROI 505、ROI 506、ROI 507、ROI 508、ROI 509、ROI 510、ROI 511、ROI 512等多个ROI。应用A可以向原生层的surfaceflinger传递其运行图像。
原生层可以设置有增强服务模块。该增强服务模块可以从surfaceflinger获取运行图像，并根据运行图像，确定应用A的当前场景，并从预设的配置文件(配置文件将在下文进行具体介绍)中获取与当前场景匹配的ROI布局信息。可以理解，应用A可以具有多种操作场景，不同的操作场景对应的ROI布局不同。操作场景可以简称为场景。以应用A为游戏应用为例，游戏应用可以具有对战场景、购买装备场景、设置场景、对局详情场景、个人详情场景等。示例性的，游戏应用的对战场景又可以5V5对战场景、3V3对战场景等。可以理解，前述不同场景下的游戏界面中的ROI布局不同。因此，应用A可以根据最近获取的应用A的运行图像，确定应用A的当前场景，进而确定ROI布局信息。具体方案将在下文介绍，在此不再赘述。
当触摸传感器检测到触摸操作时，触摸操作对应的硬件中断被发给内核层。内核层将触摸操作加工成触摸事件(包括触摸坐标，触摸操作的时间戳等信息)。原生层中的system_server 可以获取触摸事件。示例性的，system_server可以按照正常流程，将触摸事件传递给应用A，从而不影响应用A的原有的操作逻辑。system_server可以将触摸事件的拷贝传递给增强服务模块。增强服务模块可以根据触摸事件判断是否生成新的按下事件。若生成新的按下事件，则可以向system_server传递该按下事件，以便system_server将该按下事件传递给应用A。
可以理解，触摸操作通常为点击操作或滑动操作。点击操作可以包括作用在同一个触摸点上的按下(down)操作和抬起(up)操作，相应地，点击操作对应的按下事件可以包括按下(down)事件和抬起(up)事件。滑动操作(即用户起始的在触摸屏上进行的滑动操作)可以包括按下操作(作用在起始触摸点)、多个移动(move)操作(作用在多个触摸点上)、抬起操作(作用在终止触摸点上)，相应地，如图6所示，滑动操作对应的滑动事件(即内核层生成的滑动事件)包括按下事件、多个移动事件和抬起事件。通过上述方案增强服务模块可获取应用A的当前场景对应的ROI布局信息，以及用户起始的触摸操作对应的触摸事件。
示例性的，增强服务模块可以根据ROI布局信息生成辅助触控图层，该辅助触控图层中可以包括一个或多个辅助触控ROI，辅助触控ROI是根据ROI布局信息生成的。辅助触控图层可以包括初始化操作区，该初始化操作区为本申请实施例设置的不和ROI重叠的区域(将在下文进行介绍)。在一个例子中，该辅助触控图层可以如5B所示，其中可以包括初始化操作区，以及辅助触控ROI 501’、辅助触控ROI 502’、辅助触控ROI 503’、辅助触控ROI504’、辅助触控ROI 505’、辅助触控ROI 506’、辅助触控ROI 507’、辅助触控ROI 508’、辅助触控ROI 509’、辅助触控ROI 511’、辅助触控ROI 512’等多个辅助触控ROI。辅助触控图层的辅助触控ROI和运行图像的ROI一一对应。具体而言，辅助触控ROI 501’与辅助触控ROI501对应、辅助触控ROI 502’与辅助触控ROI 502对应、辅助触控ROI 503’与辅助触控ROI503对应、辅助触控ROI 504’与辅助触控ROI 504对应、辅助触控ROI 505’与辅助触控ROI505对应、辅助触控ROI 506’与辅助触控ROI 506对应、辅助触控ROI 507’与辅助触控ROI507对应、辅助触控ROI 508’与辅助触控ROI 508对应、辅助触控ROI 509’与辅助触控ROI509对应、辅助触控ROI 510’与辅助触控ROI 510对应、辅助触控ROI 511’与辅助触控ROI511对应、辅助触控ROI 512’与辅助触控ROI 512对应。
在图5B中，使用虚线段示出辅助触控ROI，仅用于示例说明，并不限定辅助触控ROI的示出方式，在其他例子中，可以使用高亮线段或颜色来示出辅助触控ROI，也可以使用实线段来示出辅助触控ROI，也可以使用加粗线段来示出辅助触控ROI，等等，此处不再一一列举。同理，本申请实施例也不限定初始化操作区的示出方式。
示例性的，增强服务模块可以根据ROI布局信息以及触摸事件，生成辅助触控图层。该辅助触控图层可以包括一个或多个辅助触控ROI和触摸点。该触摸点可以为根据触摸事件中的触摸坐标和触摸操作的时间戳生成。具体而言，基于触摸坐标，可以得到触摸点在辅助触控图层中的位置，基于触摸操作的时间戳可以得到触摸点的显示时刻。从而可以在辅助触控图层显示触摸点，换言之，辅助触控图层可以包括触摸点。
在一个例子中，该辅助触控图层可以如5C所示，其中可以包括初始化操作区、高频操作区，以及辅助触控ROI 501’、辅助触控ROI 502’、辅助触控ROI 503’、辅助触控ROI504’、辅助触控ROI 505’、辅助触控ROI 506’、辅助触控ROI 507’、辅助触控ROI 508’、辅助触控ROI 509’、辅助触控ROI 510’、辅助触控ROI 511’、辅助触控ROI 512’。高频操作区中除ROI之外的区域可以称为吸引区(将在下文进行介绍)。图5C中的辅助触控ROI可以参考图5B所示的辅助触控ROI实现，在此不再赘述。如图5C所示，在该示例中，辅助触控图层还可以包括滑动操作的触摸点513。触摸点513对应的触摸操作的发生时间(或者触摸点513对应的触摸事件中的触摸操作时间戳)最接近辅助触控图层的合成时刻，且位于该合成时刻之前。
继续参阅图4A，示例性的，SurfaceFlinger可以使用运行图像和辅助触控图层，合成待显示图像。示例性的，SurfaceFlinger可以使用运行图像和辅助触控图层以及其他图层，合成待显示图像，该其他图层可以为状态栏等。也就是说，运行图像和辅助触控图层参与了待显示图像的合成。在本申请实施例中，可以将参与了待显示图像合成的图像或图层，称为该待显示图像包括的图像或图层。换言之，运行图像参与了待显示图像的合成，则可以称该待显示图像包括运行图像。辅助触控图层参与了待显示图像的合成，则可以称该待显示图像包括辅助触控图层。
示例性的，如图5B所示，辅助触控图层可以为透明图层或具有一定透明度的图层，其中，使用虚线段或实线段示出了辅助触控ROI以及初始化操作区、高频操作区。在合成待显示图像时，可以将辅助触控图层覆盖到运行图像上，得到待显示图像。其即当待显示图像在电子设备的显示屏上显示时，辅助触控图层位于待显示图像的朝向用户一侧。在一个例子中，将图5A所示的运行图像和图5B所示的辅助触控图层合并，可以得到如图5D所示的待显示图像。在一个例子中，将图5A所示的运行图像和图5C所示的辅助触控图层合并，可以得到如图5E所示的待显示图像。
继续参阅图4A，示例性的，SurfaceFlinger可以将待显示图像传递给硬件层中的通信模块(例如无线图像模块160或者移动通信模块150)，以向大屏设备200发送该待显示图像。示例性的，SurfaceFlinger可以将待显示图像的拷贝传递给便携式设备100本地显示屏的硬件缓冲区，以便该显示屏刷新显示该待显示图像。换言之，大屏设备200显示的图像A2以及便携式设备100显示的图像A1可以如图5D或图5E所示。
示例性的，如上所述，辅助触控图层中的辅助触控功能区和运行图像中的功能区一一对应。当图像A1包括辅助触控图层和运行图像(即辅助触控图层和运行图像参与了图像A1的合成)时，图像A1的功能区由辅助触控ROI和运行图像中的ROI叠合而成。因此，图像A1 中的ROI可以是指辅助触控ROI，也可以是指运行图像的ROI。换言之，辅助触控ROI可以称为或属于图像A1的ROI，运行图像的ROI可以称为或属于图像A1的ROI。
在一些实施例中，图4B示出了本申请实施例提供的又一种可应用于的便携式设备100 的软件结构框图。图4B所示软件结构与图4A所示软件结构不同是，在图4B中，增强服务模块可以将辅助触控图层传递给便携式设备100本地显示屏的硬件缓冲区，使得便携式设备 100显示该辅助触控图层。而在图4A中，SurfaceFlinger是将待显示图像的拷贝传递给便携式设备100本地显示屏的硬件缓冲区，使得便携式设备100显示该待显示图像。换言之，在图4B所示的方案中，大屏设备200显示的图像A2可以如图5D(或图5E)所示，便携式设备100显示的图像A1可以如图5B(或图5C)所示。在图4B所示方案中，便携式设备100 无须显示应用A的画面，可以节省功耗，并且显示具有应用A的ROI的图像，便于用户学习本申请实施例所提供的操作方式，改善用户操作体验。
在一些实施例中，待显示图像为运行图像或者，待显示图像由运行图像和状态栏等图层合成。即辅助触控图层不参与待显示图像的合成，或者说，待显示图像不包括辅助触控图层。在一个例子中，待显示图像可以如图5A所示，相应的，图像A2也如图5A所示。示例性的，便携式设备100的图像A1可以为辅助触控图层。在一个例子中，图像A1可以如图5B所示。
在一些实施例中，应用A可以在大屏设备200上运行。在应用A的运行状态下，大屏设备200可以显示图像A2。大屏设备可以将图像A1投屏或发送到便携式设备100，以便便携式设备100显示图像A1。便携式设备100可以接收作用在图像A1上的触摸操作对应的触摸事件，以实现大屏设备200对应用A的控制。
接下来，示例介绍大屏设备200的软件***。
大屏设备100的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。接下来，以分层架构的Android***为例，示例性说明大屏设备200的软件结构。
图4C为本申请实施例提供的一种可应用于的大屏设备100的软件结构框图。
图4C所示的软件结构可以与图4A所示的软件结构类似，并且对应模块的功能相同或相似，此处不再一一赘述。其中，不同之处在于增强服务模块可以将辅助触控图层通过通信模块发送给便携式设备100，以及system_server通过通信模块从便携式设备100接收触摸信息。其中，便携式设备100根据从大屏设备200接收的辅助触控图层，显示图像A1。例如，图像 A1可以如图5B(或图5C)所示。触摸信息可以用于表征作用在图像A1上的触摸操作，具体而言，触摸信息可以为或包括作用在图像A1上的触摸操作对应的触摸事件。该触摸事件可以通过system_server传递给应用A和增强服务模块。
示例性的，对于发送给便携式设备100的辅助触控图层，其上的辅助触控ROI以及初始化操作区的坐标可以被转换，以适应便携式设备100的显示屏。在一个例子中，在向便携式设备100发送辅助触控图层时或之前，大屏设备200可以根据大屏设备200的显示屏尺寸和便携式设备100的显示屏尺寸，转换该辅助触控图层中辅助触控ROI以及初始化操作区的坐标，以适应便携式设备100的显示屏。其中，在大屏设备200和便携式设备100建立连接时，大屏设备200可以获取便携式设备100的显示屏尺寸。在一个例子中，便携式设备100在接收到辅助触控图层时或之后，可以根据大屏设备200的显示屏尺寸和便携式设备100的显示屏尺寸，转换该辅助触控图层中ROI以及初始化操作区的坐标，以适应便携式设备100的显示屏。其中，在大屏设备200和便携式设备100建立连接时，便携式设备100可以获取大屏设备200的显示屏尺寸。
示例性的，对于发送给大屏设备200的触摸事件，其包括的触摸坐标可以被转换，以适应大屏设备200的显示屏。在一个例子中，在向大屏设备200发送触摸事件时或之前，便携式设备100可以根据大屏设备200的显示屏尺寸和便携式设备100的显示屏尺寸，转换该触摸事件的触摸坐标，以适应大屏设备200的显示屏。在一个例子中，大屏设备200在接收到触摸事件时或之后，可以根据大屏设备200的显示屏尺寸和便携式设备100的显示屏尺寸，转换该触摸事件的触摸坐标，以适应大屏设备200的显示屏。
在一些实施例中，在图4C所示的软件***中，大屏设备200可以向便携式设备100发送待显示图像，以便便携式设备100可以根据待显示图像，显示图像A1。例如，图像A1可以如图5D(或图5E)所示。
在一些实施例中，大屏设备200显示应用A的运行图像。换言之，图像A2可以为运行图像。在一个例子中，图像A2可以如图5A所示。示例性的，大屏设备200可以将辅助触控图层发送给便携式设备100，使得便携式设备100可以显示辅助触控图层。换言之，图像A1 可以为辅助触控图层。在一个例子中，图像A1可以如图5B所示。
上文示例介绍了，本申请实施例提供的软件***。接下来，示例介绍，图4A(或图4B，或图4C)所示软件***中的配置文件的配置过程。
可以离线或者说预先设置配置文件。示例性的，配置文件可以为xml格式文件。
可以预先确定多个待辅助触控应用，待辅助触控应用是指可以使用本申请实施例提供的人机交互方法进行操控的应用。为表述方便，将多个待辅助触控应用简称为多个应用。
接下来，以多个应用为多个游戏应用为例，进行示例介绍。
参阅图7A，可以收集多个游戏应用中每一个应用的不同场景下的运行界面。参阅图7B，以应用A为MOBA游戏应用为例，应用A的场景可包括：主对战场景(例如5V5主对战场景)、购买装备场景、设置场景、对局详情场景、个人详情场景等。
示例性的，可以采取如下形式记录收集的多个应用的运行界面。
GameImageSet＝{GameImagesk|GameImagesk∈Gamek}
GameImageSet为采集的多个游戏应用的运行界面集合，由不同游戏应用Gamek的多个场景下的运行界面GameImagesk组成。
可以确定多个游戏应用中每一个应用的不同场景下的标识图形。对于应用A的任一场景 B1而言，其标识图形为能够区分场景B1和应用A的其他场景的图形。示例性的，可以人工指定标识图形。以应用A为例，参阅图7B，应用A的主对战场景的标识图形可以包括攻击键、金币等图形。应用A的设置场景的标识图形可包括“设置”文字本身图形。
示例性的，可以采取如下形式记录收集的多个应用中每一个应用的不同场景下的标识图形。
GamePatternsk＝{Patterni|Patterni∈Gamek}
GamePatternsk为游戏应用Gamek中多个场景下的标识图形。
可以确定多个游戏应用中每一个应用的不同场景下的ROI的布局信息。可以利用应用A 的任一场景的标识图形，采用图像识别方法(例如OpenCV的patternmatching方法)，从收集的应用A的多个运行界面中，识别出含有该场景的标识图形的运行界面，即识别出该场景下的运行界面。进而，可以采取图像识别方法识别该场景下的ROI，获得ROI布局信息。ROI 布局信息具体可以包括ROI的位置信息(在界面中的位置)和尺寸信息。
示例性的，可以采取如下形式记录收集的多个应用中每一个应用的不同场景下的ROI布局信息。
GameROISet＝{GameROIsk|GameROIsk＝LayoutTask(GameImagesk，GamePatternsk)}
GameROISet是多个游戏应用的ROI总集合，由不同游戏应用的ROI集合组成；GameROIsk为游戏应用Gamek的多个场景下的ROI集合，由LayoutTask过程生成。使用LayoutTask生成ROI集合的基本逻辑为：使用游戏应用Gamek的任一场景下的标识图形进行图像识别，从收集的应用A的多个运行界面中，识别出该场景下的运行界面，然后，通过图像识别方法，从该场景下的运行界面中识别该场景下的ROI。游戏应用Gamek的多个场景下的ROI组成GameROIsk。
通过上述方式，可以得到多个应用中每一个应用的不同场景下的标识图形以及ROI的布局信息。可以将每一个应用的不同场景下的标识图形以及ROI的布局信息保存到配置文件中。
可以参阅7A和图7C，可以获取多个游戏应用中每一个应用的不同场景下的用户触摸大数据。用户触摸大数据也可以称为历史触摸操作数据。示例性的，以用户通过手机操控应用 A为例，在用户不观看手机的情况下，采集多个用户(例如200人以上的志愿者)在应用A 的场景B1下的触摸数据(包括触摸点的位置数据等)，得到应用A的场景B1的用户触摸大数据。
可以对每一个场景下的用户触摸大数据进行聚类。利用用户点击大数据中的触摸点的位置数据，采用聚类算法(例如K-means等)对用户触摸大数据中的触摸点进行聚类，得到一个或多个类簇。
可以根据每一个场景对应的聚类结果，确定高频操作区。聚类结果可以为上文聚类得到的类簇，每一个类簇可以称为触摸热图，类簇中心(聚类中心)可以称触摸热图中心。可以框定任一类簇，得到一个触摸热点区域，该触摸热点区域可以称为高频操作区。示例性的，可以采用较为规则的形状(例如三角形、矩形、圆形等)来框定类簇，得到高频操作区。参考前述方式，可以确定应用A其他场景下的高频操作区。其中，可以将高频操作区中除ROI之外的区域称为吸引区。
示例性的，可以采取如下方式确定高频操作区。
GameTouchSet＝{GameTouchesk|GameTouchesk∈Gamek}
GameTouchesk＝{pointi(x，y，action，time)|pointi∈Gamek}
AttractAreaSet＝{AttractAreask|AttractAreask
＝GenerateTask(GameImagesk，GameTouchesk)}
GameTouchSet为多个游戏应用用户触摸大数据集，由不同游戏应用的Gamek的用户触摸大数据GameTouchesk统计组成；GameTouchesk为游戏应用Gamek中不同场景下的用户触摸大数据集合，由游戏玩家触摸数据point组成的集合。触摸数据point包括用户触摸坐标x，y(即触摸点位置)。触摸数据point还可以包括触摸类型(action)。触摸类型可以是按下(down) 操作类型，也可以是移动(move)操作类型，也可以是抬起(up)操作类型。触摸数据point还可以包括触摸操作的发生时刻(time)。AttractAreaSet为多个游戏应用的的高频操作区 AttractAreask组成的集合，由GenerateTask过程生成。GenerateTask具体过程为：通过聚类算法，对任一应用下的用户触摸大数据进行聚类，然后，可通过人工框定方法框定聚类得到的类簇，得到高频操作区。具体可以参考上文介绍。
示例性的，继续参阅图7C，以应用A为例，通过上述方案，可以将应用A主对战场景下的攻击键、推塔键、补刀键上的部分(或整体)区域以及附近的区域确定为高频操作区。其中，该高频操作区中除ROI之外的区域作为吸引区。
示例性的，可以将应用A设置场景下的关闭键上的部分(或整体)以及附近的区域确定为高频操作区。其中，该高频操作区中除关闭键所在区域之外的区域作为吸引区。
通过上述方式，可以得到多个游戏应用中每一个应用的不同场景下的高频操作区。可以将每一个应用的不同场景下的高频操作区保存到配置文件中。
示例性的，继续参阅图7A，可以预设快捷手势，以及建立快捷手势和ROI的对应关系。在一个例子中，可以预设快捷手势和远距离小尺寸ROI的对应关系，换言之，预设的快捷手势对应远距离小尺寸ROI。远距离小尺寸的介绍可以参考上文介绍。举例而言，可以设定快捷手势“^”对应图5A所示的ROI 511，“v”对应图5A所示的ROI 512等。
示例性的，还可以设定快捷手势的识别阈值，具体而言，预先定义的快捷手势可以作为标准手势，用户的实际操作手势往往和标准手势并不完全一致，若用户实际操作手势和标准手势之间的差值小于识别阈值，则可以确定用户的实际操作手势为快捷手势。“v”快捷手势的识别阈值为例，该识别阈值可以包括角度阈值，可以判断用户的实际操作手势是否存在夹角，以及夹角角度和“v”快捷手势的夹角角度之间的夹角差值是否小于角度阈值。若小于，则可以确定用户的实际操作手势为“v”快捷手势。
示例性的，还可以设定滑动操作的目标ROI确定算法。滑动操作的目标ROI确定算法可以包括一项或多项预设阈值，例如滑动操作在ROI中的停留时间阈值，滑动操作在ROI中的滑动速度阈值，以便确定用户的滑动操作的目标ROI。在一个例子中，不同尺寸的ROI对应的阈值可以不同，例如面积较大的ROI对应的停留时间阈值大于面积较小的ROI对应的停留时间阈值。在一个例子中，不同尺寸的ROI对应的阈值可以相同，例如不同面积的ROI对应相同的滑动速度阈值。滑动操作的目标ROI确定算法包括的预设阈值可以根据经验或实验确定，此处不再一一列举。
示例性的，如上所述，由于吸引区不和ROI交叠，作用在吸引区的触摸操作不作用在ROI 上。为了确定作用在吸引区上的触摸操作的目标ROI，可以设定吸引力算法。该吸引力算法为用于在确定作用在吸引区的触摸操作的目标ROI的算法。在一个例子中，可以通过公式(1) 计算触摸点和任一ROI之间相关度ForceROI。
Figure BDA0002411383350000231
其中，AREAROI表示该ROI的面积。ρROI表示该ROI的相关度权重，该相关度权重可以为预设值，具体而言，ROI的相关度权重与该ROI的操作频率相关，通过，用户操作该ROI 的频率越高，该ROI的相关度权重越大。在具体实现时，ROI的相关度权重，可以根据经验或实验预设。Dist(point，centerROI)2表示触摸点和ROI中心点之间的距离的平方。
为方便表述，上文中预设的快捷手势，快捷手势和ROI的对应关系，以及快捷手势的识别阈值，ROI中滑动操作的停留时间阈值或滑动速度阈值，吸引力参数等可以作为集合元素，组成预设规则集合。滑动操作的目标ROI确定算法、吸引力算法可以统称为辅助触控算法。预设规则集合和辅助触控算法可以统称为预设条件或辅助触控策略。
预设规则集合中的一项或多项可以由开发者预设，也可以由用户自定义。例如，可以在电子设备的设置菜单下为用户提供快捷手势的自定义界面，在该自定义界面，可以采集用户起始的手势操作，并设定为用户自定义的快捷手势，以及根据用户的选择或确定操作，建立用户自定义的快捷手势和用户选择的ROI的对应关系。
参阅图7D，应用的ROI集合(包括多个应用中每一个应用的不同场景下的ROI)、应用的高频操作区集合(包括多个应用中每一个应用的不同场景下的高频操作区)、场景的标识图形集合(包括多个应用中每一个应用的不同场景的标识图形)、预设规则集合等可以生成配置文件或保存到配置文件中。示例性的，配置文件可以为xml格式文件。为方便表述可以将应用的ROI集合、应用的高频操作区集合、场景的标识图形集合、预设规则集合，以及前述集合中的元素称为配置文件的参数。
示例性的，配置文件可以通过服务器推送的方式或者出厂时配置的方式配置到便携式设备100或大屏设备200中。
示例性的，配置文件可以服务器推送的方式进行更新。
示例性的，配置文件可以通过用户自定义的方式更新，例如上文所述的用户自定义快捷手势，以及快捷手势和ROI的对应关系。示例性的，配置文件为xml格式，可以通过修改xml 实现用户自定义更新。
接下来，示例介绍，增强服务模块的功能以及功能的实现方式。
概括而言，增强服务模块的功能包括实时获取应用的运行图像以及用户的触摸操作对应的触摸事件，并决策是否对应用进行辅助触控操作。本申请实施例中，辅助触控操作是指根据非直接作用于ROI的触摸操作，通过上述的预设条件或辅助触控策略进行判断或识别后，将该触摸操作转换为直接作用于某一ROI的操作，以触发ROI的相应功能。参阅图8A，增强服务模块可以包括配置文件管理子模块、运行图像获取子模块、增强管理子模块、触摸事件获取子模块。
在增强服务模块启动时，配置文件管理子模块可以加载配置文件中的各项参数，以实现对应用的增强操作。示例性的，当用户自定义配置文件中的参数(例如快捷手势)或电子设备的操作***响应服务器的推送出现配置更新事件时，配置文件管理子模块可以更新配置文件。示例性的，若配置文件为xml格式的文件，配置文件管理子模块可以使用tinyxml进行配置文件的读写操作。
运行图像获取子模块可以获取应用A绘制渲染的图像(即运行图像)，例如可以通过拷贝的方式从SurfaceFlinger获取运行图像。运行图像也可以称为原始图层。示例性的，运行图像获取子模块在获取了运行图像后，可以将运行图像存为RGBA格式的图像，并传递给增强管理子模块。
触摸事件获取子模块可以获取用户起始的触摸操作对应的触摸事件。示例性的，在 system_server从内核层获取了触摸事件，并向应用传递触摸事件时，触摸事件可以通过拷贝的方式从system_server获取触摸事件。
增强管理子模块可以管理、调度其他子模块，以及进行数据处理，为增强服务模块的控制中心。具体而言，增强管理子模块可以执行如下步骤。
步骤801a，确定运行图像对应的场景下的ROI布局信息；以及根据ROI布局信息，生成辅助触控图层。
具体而言，管理增强子模块可以根据运行图像获取子模块获取的运行图像，从配置文件中确定与该运行图像匹配的标识图形，进而可以将该标识图形对应的场景确定为该运行图像对应的场景，由此可以确定该运行图像对应的场景下的ROI布局信息。示例性的，设定运行图像为应用A的运行图像。从配置文件中确定与该运行图像匹配的标识图形具体可以包括，采用图像识别方法(例如OpenCV的patternmatching方法)，确定运行图像中是否含有应用 A的某一场景的标识图形。若该运行图像含有该场景的标识图形，则确定该场景为运行图像对应的场景。若该运行图像不含有该场景的标识图形，则再使用图像识别方法，确定该运行图像中是否含有应用A的另一场景的标识图形。......，以此类推，直到确定出该运行图像对应的场景。
如上所述，ROI布局信息包括ROI的位置信息和尺寸信息，可以根据ROI的位置信息和尺寸信息，确定辅助触控图层。
示例性的，可以根据ROI的位置信息和尺寸信息，以及考虑的用户的操作的便利性和舒适性，设置初始化操作区以及快捷手势操作区。初始化操作区和快捷手势操作区为便于用户操作，且与ROI之间没有交叠区域的区域。在一个例子中，参阅图5B，可以将初始化操作区设置在辅助触控图层的一侧边缘处，从而可以方便用户在初始化操作区进行操作。在一个例子中，初始化操作区和快捷手势操作区为同一区域，例如图5B所示初始化操作区，其也为快捷手势操作区。在一个例子中，初始化操作区和快捷手势操作区可以为不同区域，或者两者可以存在部分交叠区域。
上文仅对初始化操作区(或快捷手势操作区)的位置进行示例说明，并不构成限定。可以在满足不和ROI交叠的条件下，设置初始化操作区(或快捷手势操作区)的位置。还可以在满足不和ROI交叠的条件下，出于便利用户操作的目的，设置初始化操作区(或快捷手势操作区)的位置。
初始化操作区和快捷手势操作区的功能或作用将在下文中，结合人机交互方法的实现过程进行介绍，在此不再赘述。
示例性的，确定的辅助触控图层可以包括上文所述的初始化操作区、快捷手势操作区以及辅助触控ROI。辅助触控ROI可以参考上文对图4A所示各实施例的介绍，在此不再赘述。在一个例子中，生成的辅助触控图层可以如图5B所示。
示例性的，若运行图像对应的场景具有高频操作区。在步骤801a中，根据ROI布局信息，生成辅助触控图层具体还包括根据ROI布局信息和高频操作区生成辅助触控图层。在一个例子中，生成的辅助触控图层中的高频操作区可以如图5B所示。
示例性的，当触摸事件获取子模块获取到触摸事件时或之后，在步骤801a中，在根据 ROI布局信息，生成辅助触控图层时，还可以考虑触摸事件。具体而言，可以根据ROI布局信息中的ROI位置信息和ROI尺寸信息，以及根据触摸事件中的触摸坐标和触摸操作的时间戳，生成辅助触控图层。
如上所述，用户的触摸操作通常为点击操作或滑动操作。点击操作对应触摸事件包括按下事件和抬起事件，该按下事件和抬起事件可以称为点击操作对应触摸事件的子事件。按下事件和抬起事件可以按事件发生时间(按下操作和抬起操作发生时间)先后顺序排列，得到点击操作对应触摸事件的子事件序列。如图6所示，滑动操作包括按下操作、多个移动操作和抬起操作，相应地，滑动操作对应的触摸事件包括按下事件、多个移动事件、抬起事件，这些事件可以统称为滑动操作对应的触摸事件的子事件。滑动操作对应触摸事件中的子事件按事件发生时间(对应操作的发生时间)先后顺序排列，得到滑动操作对应触摸事件的子事件序列。
参阅图8B，可以根据最近获取的运行图像的ROI布局信息、高频操作区，以及最近获取的触摸事件中子事件序列，生成当前的辅助触控图层。其中，触摸事件中的子事件序列用于生成当前的辅助触控图层中的触摸点。示例性，该触摸点可以为子事件序列中最后一个子事件(该子事件对应的操作的发生时间晚于子事件序列中其他子事件对应的操作的发生时间) 对应的触摸点。
示例性的，当触摸操作为滑动操作时，辅助触控图层可以包括滑动操作的一个触摸点，具体可以参考上文对图5C的介绍。
示例性的，当触摸操作为点击操作时，辅助触控图层可以包括该点击操作对应的触摸点。可以设定点击操作作用在高频操作区中的吸引区上，辅助触控图层可以如图5F所示，其中，包括触摸点514。该吸引区为高频操作区中除ROI之外的区域。
示例性的，增强管理子模块可以通过SurfaceComposerClient生成辅助触控图层，并建立与图形显示框架(AnativeWindows)的联系。在SurfaceFlinger收集图层进行待显示图像(待显示界面)合成时，将增强管理子模块生成的辅助触控图层合成进去。具体而言，可将辅助触控图层覆盖到运行图像上，以得到待显示图像。
当触摸事件获取子模块获取到触摸事件时或之后，增强管理子模块还可以执行步骤801b，判断获取的触摸事件是否为有效触摸事件；以及当该获取的触摸事件不为有效触摸事件时，即该触摸事件对应的触摸操作为非直接作用于ROI的触摸操作时，可以利用辅助触控策略，生成新的触摸事件(例如按下事件)。
如上所述，用户的触摸操作通常为点击操作或滑动操作。当点击操作或滑动操作的按下操作作用在ROI内时。换言之，当触摸操作的起始触摸点位于ROI内(即按下事件对应的触摸点位于ROI内)时，该触摸操作对应的触摸事件可以称为有效触摸事件。相应地，当点击操作或滑动操作的按下操作作用在ROI之外的区域时，换言之，当触摸操作为非直接作用于 ROI的操作时，该触摸操作对应的触摸事件可以称为无效触摸事件。
示例性的，在触摸事件获取子模块获取了触摸事件(例如从system_server获取触摸事件) 时或之后，增强管理子模块可以根据触摸事件中的触摸坐标以及触摸操作的时间戳，确定起始触摸点，以及起始触摸点的作用位置，进而可以确定该触摸事件是否为有效触摸事件。
若该触摸事件为有效触摸事件，增强管理子模块可以不进行后续的判断处理过程。
需要说明的是，在本申请实施例中，触摸事件获取子模块仅获取触摸事件的拷贝，并不拦截触摸事件。触摸事件仍可以按照传统流程传递给应用。对于有效触摸事件，其可以由应用正常可以响应，因此，无需增强管理子模块进行进一步处理。
示例性的，若该触摸事件为无效触摸事件，即在传统情况下，该触摸事件不触发应用A 的响应。增强管理子模块可以利用辅助触控策略，生成新的按下事件。具体可以包括如下三种情况。
情况Q1，确定从初始化操作区起始的滑动操作的目标ROI，并生成针对目标ROI的触摸事件(例如按下事件)，以触发应用A执行目标ROI的功能。
情况Q2，确定作用在快捷手势操作区的触摸操作的目标ROI，并生成针对目标ROI的触摸事件(例如按下事件)，以触发应用A执行目标ROI的功能。
情况Q3，确定作用在高频操作区中的吸引区内的触摸操作的目标ROI，并生成针对目标 ROI的触摸事件(例如按下事件)，以触发应用A执行目标ROI的功能。
接下来，以应用A在便携式设备100上运行，图像A1为上文所述的待显示图像为例，分别示例介绍这三种情况。
对于情况Q1，可以参阅图8C和图9A，增强管理子模块可以根据触摸事件中子事件序列判断该触摸事件对应的触摸操作是否为起始触摸点位于初始化操作区中的滑动操作，以及该滑动操作经过或达到的辅助触控ROI。具体而言，若该触摸事件的按下事件的触摸点(即滑动操作的起始触摸点)位于初始化操作区，则可以确定该触摸事件对应的触摸操作为起始触摸点位于初始化操作区中的滑动操作。可以根据多个移动事件对应的触摸坐标，确定该滑动操作经过或达到的辅助触控ROI。根据多个移动事件对应的触摸坐标、操作的发生时间戳，利用目标ROI识别算法，从滑动操作经过或达到的辅助触控ROI中识别目标ROI。
需要说明的是，由于辅助触控ROI和运行图像的ROI重叠，因此，情况Q1中的“辅助触控ROI”也可以替换为“ROI”。
示例性的，目标识别算法包括滑动操作在ROI中的停留时间阈值。可以根据作用在辅助触控ROI中的触摸点对应的触摸操作的发生时间戳，确定该触摸事件对应的滑动操作在该辅助触控ROI中的停留时间。停留时间可以是指滑动操作进入辅助触控ROI的时刻和滑动操作离开该辅助触控ROI的时刻之间的时间差。若该滑动操作在该辅助触控ROI中的停留时间大于停留时间阈值，则确定该辅助触控ROI为目标ROI。
示例性的，目标识别算法包括滑动操作在ROI中的滑动速度阈值。可以根据触摸点作用在辅助触控ROI中的移动事件的发生时间戳以及触摸坐标，确定该触摸事件对应的滑动操作在该辅助触控ROI中的滑动速度。若该滑动操作在该辅助触控ROI中的滑动速度小于滑动速度阈值，则确定该辅助触控ROI为目标ROI。
上述停留时间和滑动速度可以统称为滑动参数。
在确定出目标ROI时，可以即可在触摸事件中***针对该目标ROI的新的按下子事件。可以理解，对目标ROI的识别是实时进行的，因此，可以在一旦识别出目标ROI时，就可以在触摸事件中***针对目标ROI的按下子事件。示例性的，***的按下子事件的时刻可以为识别出目标ROI的时刻。示例性的，***的按下子事件的时刻也可以为识别出目标ROI时刻之后的一个时刻，这两个时刻之间的时间差较小，一般是由于***反应、模块之间协同等而导致的时间差。
***的按下子事件可以传递给system_server，由system_server传递给应用A，以触发应用A响应。从而可以实现快速辅助操控应用A。
示例性的，可以将该触摸事件中操作发生时间戳在识别出目标ROI时刻之前的子事件称为历史子事件。***的按下子事件可以称为滑动触发的按下事件，也可以称为辅助触控按下事件。
示例性的，可以设定应用A为游戏应用，可以通过如下方式得到滑动触发的按下事件。
SlideInjectk＝TargetRecogk(GameConfk，HistoryTouchesk，CurScenek)
其中，SlideInjectk为滑动触发的按下子事件，由TargetRecogk过程所生成。GameConfk为配置文件，HistoryTouchesk为触摸事件中的历史子事件，CurScenek为识别出的游戏场景。 TargetRecogk主要逻辑是：通过用户滑动操作的触摸事件中的历史子事件，结合游戏场景 CurScenek下的ROI位置，识别用户想要触发的ROI(即目标ROI)，并生成新的按下子事件，即滑动触发的按下事件。可以利用滑动操作在ROI中的停留时间阈值和/或滑动操作在ROI 中的滑动速度阈值，识别目标ROI。具体可以参阅上文介绍，在此不再赘述。
示例性的，图像A1包括辅助触控图层，辅助触控图层包括滑动操作的触摸点。可以理解，由于人眼的视觉滞留效应，在人眼看来，当前的辅助触控图层的触摸点和在当前的辅助触控图层之前显示的辅助触控图层上的触摸点可以连接成滑动轨迹。例如，用户可以看到如图9A所示的滑动轨迹，从而可以便于用户定位自己的手指位置。
对于情况Q2，可以参阅图9B，。ROI 511、ROI 512为远距离小尺寸ROI。根据费茨法则，在不借助眼睛的情况下，用户很难点中ROI 511或ROI 512。另外，如图9所示，即使用户通过滑动操作触发ROI 512(或ROI 511)，需要从初始化操作区滑动到ROI 512(或ROI511)，滑动距离较长，触发ROI 512(或ROI 511)的过程较慢。
需要说明的是，由于辅助触控ROI和运行图像中的ROI重叠，因此，情况Q2中的“辅助触控ROI”也可以替换为“ROI”。具体而言，“ROI 511”可以替换为“ROI 511“”，“ROI 512”可以替换为“ROI 512“”。
示例性的，可以设定应用A为游戏应用，可以通过如下方式确定滑动触发的按下事件。
参阅图8C和图9C，可以采用快捷手势触发ROI 512(或ROI 511)。可以设定“v”字形快捷手势对应ROI 512(或ROI 511)。增强管理子模块可以根据触摸事件中子事件序列判断该触摸事件对应的触摸操作是否作用在快捷手势操作区，以及判断触摸操作的滑动轨迹符合预定的“v”字形手势，例如，可以判断夹角角度之间的差值是否小于角度阈值，若小于角度阈值，可确定触摸操作的滑动轨迹符合“v”字形手势。在具体实现时，以采用dollarl算法进行手势识别。若触摸操作的滑动轨迹符合“v”字形手势，可生成针对ROI 512(或ROI 511)的按下事件，该按下事件可以传递给system_server，由system_server传递给应用A，以触发应用A响应。该按下事件可以称为快捷手势触发的按下事件，也可以称为辅助触控按下事件。
示例性的，可以设定应用A为游戏应用，可以通过如下方式确定快捷手势触发的按下事件。
GestureInjectk＝Gesture2Clickk(GameConfk,HistoryTouchesk,GestureLib，CurScenek)
其中，GestureInjectk为快捷手势触发的按下事件，由Gesture2Clickk函数所生成。 GameConfk为配置文件。HistoryTouchesk为触摸事件中的历史子事件。GestureLib包括预设的快捷手势，以及快捷手势和ROI的对应关系。CurScenek为识别出的游戏场景。Gesture2Click函数主要逻辑是：获取用户的滑动操作的中的子事件，通过配置文件中预置的快捷手势算法识别滑动操作所属的快捷手势，快捷手势和ROI的对应关系，生成新的按下事件。快捷手势算法可以包括上文所述的快捷手势的识别阈值。
对于情况Q3，可以参阅图8C和图5G，增强管理子模块可以根据触摸事件中子事件序列判断该触摸事件对应的触摸操作是否作用在吸引区。该吸引区为图5G所示的高频操作区中除ROI之外的区域。该触摸操作可以为点击操作。若该点击操作作用在吸引区，则可以根据吸引力算法确定该点击操作的目标ROI。吸引力算法可以为上述公式(1)。在确定出目标 ROI时或之后，可以生成针对目标ROI的按下事件，该按下事件可以传递给system_server，由system_server传递给应用A，以触发应用A响应。该按下事件可以称为作用在吸引区的触摸操作触发的按下事件，也可以称为辅助触控按下事件。
需要说明的是，由于辅助触控ROI和运行图像中的ROI重叠，因此，情况Q3中的“辅助触控ROI”也可以替换为“ROI”。
示例性的，可以设定应用A为游戏应用，可以通过如下方式确定作用在吸引区的触摸操作触发的按下事件。
EnlargeInjectk＝AttractForcekk(GameConfk,HistoryTouchesk,CurScenek)
EnlargeInjectk为作用在吸引区的触摸操作触发的按下事件，由AttractForcek函数生成。 AttractForcek函数的主要逻辑是：获取用户起始的作用在吸引区的触摸操作的触摸事件，通过吸引力算法，识别该触摸操作的目标ROI，并生成针对目标ROI的按下事件。吸引力算法可以为上述公式(1)。
示例性的，增强服务模块向system_server传递的按下事件为SlideInjectk、GestureInjectk、 EnlargeInjectk的并集，可以通过如下形式表示。
InjectSeqk＝(SlideInjectk∪GestureInjectk∪EnlargeInjectk)
其中，InjectSeqk表示增强服务模块向system_server传递的辅助触控按下事件。
应用A在接收到上述情况Q1或情况Q2或情况Q3中的辅助触控按下事件时或之后，可以响应辅助触控按下事件，执行辅助触控按下事件对应的目标ROI的功能，并绘制渲染相应的运行图像。例如，辅助触控按下事件对应的目标ROI为“设置”ROI，应用A可以响应该辅助触控按下事件，绘制渲染“设置”ROI被触摸时的运行图像。该运行图像可以用于合成待显示图像，即合成的待显示图像包括该运行图像。合成的待显示图像可以发送给大屏设备200，以便大屏设备200更新图像A2。待显示图像的合成以及发送具体可以参考上文对图4A的介绍，在此不再赘述。
当应用A运行在大屏设备200上时，大屏设备200可以从便携式设备100获取触摸事件，使得大屏设备200中的增强管理子模块可以执行图8中的步骤801a和步骤801b，具体可以参考上文介绍，在此不再赘述。
可以理解，辅助触控按下事件可以触发应用A执行辅助触控按下事件对应的目标ROI的功能，因此，生成辅助触控按下事件，相当于便携式设备100接收到对应于目标ROI的触摸操作(例如点击操作)。由此，可以将非直接作用于ROI的触摸操作转换为直接作用于目标 ROI的触摸操作，以触发目标ROI对应的功能，使得用户在不借助眼睛的情况下(即盲操作)，可以快速、准确地操作应用。具体而言：
通过本申请实施例的方案，用户可以触控到一块能够准确定位的“初始化操作区”，并通过滑动操作的视觉反馈(由于人眼的视觉滞留效应，用户可以看到滑动轨迹，例如如图9A 所示)，定位自身手指的位置，从而可以将手指移动到目标ROI上，并触发目标ROI的功能，实现辅助触控。在实践中，可以将游戏的盲操作的准确率提升10％以上，达到可玩程度。
本申请实施例的方案，可以在便于用户操作的舒适区划出快捷手势操作区，可以将作用在快捷手势操作区中的简单快捷手势映射为针对远距离小尺寸ROI的点击操作，从而可以降低手指滑动时间和距离，从而提升对远距离小尺寸ROI的触控准确率和降低对远距离小尺寸 ROI的触发时间。在实践中，可以将对游戏的远距离小尺寸ROI的盲操作的准确率提升20％，大幅度提升了用户的游戏体验。
本申请实施例的方案，通过学习用户的点击习惯，对高频操作ROI所在区域进行扩大，得到吸引区。可以将作用在吸引区中的点击操作映射为针对高频操作ROI的操作，从而实现了在不借助眼睛的情况下，凭借原来的操作习惯实现对游戏的准确触控。在实践中，可以将对高频操作ROI的触控准确率提升10％以上。
结合上述实施例及相关附图，本申请实施例提供了一种人机交互方法，该方法可由便携式设备执行，便携式设备与大屏设备通信连接；其中，便携式设备运行应用，并且显示该应用的第一图像；大屏设备显示该应用的第二图像；第一图像和第二图像均具有功能区，且第一图像中的功能区和第二图像中的功能区一一对应。
参阅图10，该方法包括如下步骤。
步骤1001，接收作用于第一图像的第一触摸操作，其中，所述第一触摸操作直接作用于第一功能区之外的区域，所述第一功能区为所述第一图像中的一个功能区。
步骤1003，向大屏设备发送第一数据，所述第一数据包括所述便携式设备响应于第二触摸操作而生成的图像数据，所述第二触摸操作是根据所述第一触摸操作生成的直接作用于所述第一功能区的操作，所述第一数据用于所述大屏设备更新所述第二图像。
具体可以参考上文对图4A、图4B、图8C、图9A、图9C以及图5G所示各实施例的介绍，在此不再赘述。
在一些实施例中，所述第一图像包括初始操作区，所述初始操作区为所述第一功能区之外的区域，所述第一触摸操作为从所述初始操作区起始的滑动操作；其中，所述滑动操作经过或到达所述第一功能区。具体可以参考上文对图8C、图9A所示各实施例的介绍，在此不再赘述。
在这些实施例的一个示例中，所述滑动操作在所述第一功能区中的停留时间大于停留时间阈值。
在这些实施例的一个示例中，所述滑动操作在所述第一功能区中的滑动速度小于滑动速度阈值。
在一些实施例中，所述第一图像包括手势操作区，所述手势操作区为所述第一功能区之外的区域；所述第一触摸操作为作用在所述手势操作区中的触摸操作；所述第一功能区和所述手势操作区之间的距离大于距离阈值，和/或，所述第一功能区的尺寸小于尺寸阈值。
具体可以参考上文对图8C、图9C所示各实施例的介绍，在此不再赘述。
在一些实施例中，所述第一图像包括高频操作区，所述高频操作区通过历史触摸操作数据得到；所述第一触摸操作作用在第一区域中，所述第一区域为所述高频操作区中除功能区之外区域；所述第一触摸操作和所述第一功能区之间的关联紧密度大于所述第一触摸操作和其他功能区之间的关联紧密度，所述其他功能区为第一图像中的功能区中除第一功能区之外的功能区。具体可以参考上文对图8C、图5G所示各实施例的介绍，在此不再赘述。
在这些实施例的一个示例中，所述第一触摸操作和所述第一功能区之间的关联紧密度与所述第一功能区的面积正相关，与第一距离负相关；所述第一距离为所述第一触摸操作的触摸点和所述第一功能区之间的距离。具体可以参考上文对吸引力算法的介绍，在此不再赘述。
在一些实施例中，所述第二图像包括所述第一触摸操作的触摸点。具体可以参考上文对图9A所示实施例的介绍，在此不再赘述。
在本申请实施例提供的人机交互方法中，便携式设备可以将非直接作用于功能区的触摸操作，转化为直接作用于该功能区的触摸操作，由此，可以触发便携式设备执行该功能区对应的功能，以生成图像数据，该图像数据可以用于更新大屏设备显示的图像，从而使得用户在观赏大屏设备显示的图像时，可以在便携式设备上快速、准确地操作应用，改善抬头式交互的操作体验。
结合上述实施例及相关附图，本本申请实施例提供了另一种人机交互方法，该方法可由大屏设备执行，大屏设备与便携式设备通信连接；其中，便携式设备显示应用的第一图像；大屏设备运行该应用，并且显示该应用的第二图像；第一图像和第二图像均具有功能区，且第一图像中的功能区和第二图像中的功能区一一对应。
如图11所示，该方法包括如下步骤。
步骤1101，从便携式设备接收触摸信息，所述触摸信息表征作用于所述第一图像的第一触摸操作，其中，所述第一触摸操作直接作用于第一功能之外的区域，所述第一功能区为所述第一图像中的一个功能区；
步骤1103，更新第二图像，所述更新后的所述第二图像为所述大屏设备响应于第二触摸操作而生成的图像，所述第二触摸操作是根据所述触摸信息生成的直接作用于所述第一功能区的操作。
具体可以参考上文对图4C、图8C、图9A、图9C以及图5G所示各实施例的介绍，在此不再赘述。
在本申请实施例提供的人机交互方法中，大屏设备可以将非直接作用于功能区的触摸操作，转化为直接作用于该功能区的触摸操作，由此，可以触发大屏设备执行该功能区对应的功能，以生成图像，以更新大屏设备显示的图像，从而使得用户在观赏大屏设备显示的图像时，可以在便携式设备上快速、准确地操作应用，改善抬头式交互的操作体验。
参阅图12，本申请实施例提供了一种人机交互装置1200，装置1200可以配置于便携式设备；便携式设备与大屏设备通信连接；便携式设备运行应用，并且显示该应用的第一图像；大屏设备显示该应用的第二图像；第一图像和第二图像均具有功能区，且第一图像中的功能区和第二图像中的功能区一一对应。
如图12所示，装置1200包括接收单元1210和发送单元1220。
接收单元1210可以用于接收作用于第一图像的第一触摸操作，其中，第一触摸操作直接作用于第一功能区之外的区域，第一功能区为第一图像中的一个功能区。
发送单元1220用于向大屏设备发送第一数据，第一数据包括便携式设备响应于第二触摸操作而生成的图像数据，第二触摸操作是根据第一触摸操作生成的直接作用于第一功能区的操作，第一数据用于大屏设备更新第二图像。
本申请实施例可以根据图4A、图4B、图8C、图9A、图9C以及图5G所示各实施例对便携式设备等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
通过本申请实施例提供的人机交互装置，便携式设备可以将非直接作用于功能区的触摸操作，转化为直接作用于该功能区的触摸操作，由此，可以触发便携式设备执行该功能区对应的功能，以生成图像数据，该图像数据可以用于更新大屏设备显示的图像，从而使得用户在观赏大屏设备显示的图像时，可以在便携式设备上快速、准确地操作应用，改善抬头式交互的操作体验。
参阅图13，本申请实施例提供了一种人机交互装置1300，装置1300可以配置于大屏设备，大屏设备与便携式设备通信连接；其中，便携式设备显示应用的第一图像；大屏设备运行该应用，并且显示该应用的第二图像；第一图像和第二图像均具有功能区，且第一图像中的功能区和第二图像中的功能区一一对应。
如图13所示，装置1300包括接收单元1310和更新单元1320。
接收单元1310用于从便携式设备接收触摸信息，触摸信息表征作用于第一图像的第一触摸操作，其中，第一触摸操作直接作用于第一功能之外的区域，第一功能区为第一图像中的一个功能区。
更新单元1320用于更新第二图像，更新后的第二图像为大屏设备响应于第二触摸操作而生成的图像，第二触摸操作是根据触摸信息生成的直接作用于第一功能区的操作。
本申请实施例可以根据图4C、图8C、图9A、图9C以及图5G所示各实施例对大屏设备等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
通过本申请实施例提供的人机交互装置，大屏设备可以将非直接作用于功能区的触摸操作，转化为直接作用于该功能区的触摸操作，由此，可以触发大屏设备执行该功能区对应的功能，以生成图像，以更新大屏设备显示的图像，从而使得用户在观赏大屏设备显示的图像时，可以在便携式设备上快速、准确地操作应用，改善抬头式交互的操作体验。
上文主要从方法流程的角度对本申请实施例提供的装置进行了介绍。可以理解的是，便携式设备或大屏设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例提供了一种便携式设备。参阅图14，该便携式设备包括处理器1410、存储器1420、触摸屏1430和通信接口1440。存储器1420用于存储计算机指令；当便携式设备运行时，处理器1410执行该计算机指令，使得便携式设备执行图10所示方法。其中，处理器1410用于指示触摸屏1430接收作用于第一图像的第一触摸操作，其中，第一触摸操作直接作用于第一功能区之外的区域，第一功能区为第一图像中的一个功能区。处理器1410还用于指示通信接口1440向大屏设备发送第一数据，第一数据包括便携式设备响应于第二触摸操作而生成的图像数据，第二触摸操作是根据第一触摸操作生成的直接作用于第一功能区的操作，第一数据用于大屏设备更新第二图像。
本申请实施例的便携式设备的各个部件/器件的具体实施方式，可参照上文所述各方法实施例及相关附图实现，此处不再赘述。
由此，便携式设备可以将非直接作用于功能区的触摸操作，转化为直接作用于该功能区的触摸操作，由此，可以触发便携式设备执行该功能区对应的功能，以生成图像数据，该图像数据可以用于更新大屏设备显示的图像，从而使得用户在观赏大屏设备显示的图像时，可以在便携式设备上快速、准确地操作应用，改善抬头式交互的操作体验。
本申请实施例提供了一种大屏设备。参阅图15，包括处理器1510、存储器1520、显示屏1530和通信接口1540。存储器1520用于存储计算机指令；当大屏设备运行时，处理器1510 执行该计算机指令，使得大屏设备执行图11所示方法。其中，处理器1510用于指示通信接口1540从便携式设备接收触摸信息，触摸信息表征作用于第一图像的第一触摸操作，其中，第一触摸操作直接作用于第一功能之外的区域，第一功能区为第一图像中的一个功能区。处理器1510用于指示显示屏1530更新第二图像，更新后的第二图像为大屏设备响应于第二触摸操作而生成的图像，第二触摸操作是根据触摸信息生成的直接作用于第一功能区的操作。
本申请实施例的大屏设备的各个部件/器件的具体实施方式，可参照上文所述各方法实施例及相关附图实现，此处不再赘述。
由此，大屏设备可以将非直接作用于功能区的触摸操作，转化为直接作用于该功能区的触摸操作，由此，可以触发大屏设备执行该功能区对应的功能，以生成图像，以更新大屏设备显示的图像，从而使得用户在观赏大屏设备显示的图像时，可以在便携式设备上快速、准确地操作应用，改善抬头式交互的操作体验。
可以理解的是，本申请的实施例中的处理器可以是中央处理单元(centralprocessing unit， CPU)，还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。
本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmable rom，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。

Claims (20)

1.一种人机交互方法，其特征在于，应用于与大屏设备通信连接的便携式设备，所述便携式设备运行应用，且显示所述应用的第一图像；所述大屏设备显示所述应用的第二图像；其中，所述第一图像中的功能区和所述第二图像中的功能区一一对应；所述方法包括：
接收作用于所述第一图像的第一触摸操作，其中，所述第一触摸操作直接作用于第一功能区之外的区域，所述第一功能区为所述第一图像中的一个功能区；
向所述大屏设备发送第一数据，所述第一数据包括所述便携式设备响应于第二触摸操作而生成的图像数据，所述第二触摸操作是根据所述第一触摸操作生成的直接作用于所述第一功能区的操作，所述第一数据用于所述大屏设备更新所述第二图像。
2.根据权利要求1所述的方法，其特征在于，所述第一图像包括初始操作区，所述初始操作区为所述第一功能区之外的区域，所述第一触摸操作为从所述初始操作区起始的滑动操作；其中，所述滑动操作经过或到达所述第一功能区。
3.根据权利要求2所述的方法，其特征在于，所述滑动操作在所述第一功能区中的停留时间大于停留时间阈值。
4.根据权利要求2所述的方法，其特征在于，所述滑动操作在所述第一功能区中的滑动速度小于滑动速度阈值。
5.根据权利要求1所述的方法，其特征在于，所述第一图像包括手势操作区，所述手势操作区位于所述第一功能区之外的区域；所述第一触摸操作为作用在所述手势操作区中的触摸操作。
6.根据权利要求1所述的方法，其特征在于，所述第一图像包括高频操作区，所述高频操作区通过历史触摸操作数据得到；所述第一触摸操作作用在第一区域中，所述第一区域为所述高频操作区中除功能区之外区域。
7.根据权利要求6所述的方法，其特征在于，第一触摸操作和第一功能区之间的关联紧密度大于第一触摸操作和其他功能区之间的关联紧密度，其中其他功能区为第一图像中的功能区中除第一功能区之外的功能区；
所述第一触摸操作和所述第一功能区之间的关联紧密度与所述第一功能区的面积正相关，与第一距离负相关，其中所述第一距离为所述第一触摸操作的触摸点和所述第一功能区之间的距离。
8.根据权利要求1所述的方法，其特征在于，所述第二图像包括所述第一触摸操作的触摸点。
9.一种人机交互方法，其特征在于，应用于便携式设备通信连接的大屏设备，所述便携式设备显示应用的第一图像；所述大屏设备运行所述应用，且显示所述应用的第二图像；其中，所述第一图像中的功能区和所述第二图像中的功能区一一对应；所述方法包括：
从所述便携式设备接收触摸信息，所述触摸信息表征作用于所述第一图像的第一触摸操作，其中，所述第一触摸操作直接作用于第一功能之外的区域，所述第一功能区为所述第一图像中的一个功能区；
更新所述第二图像，所述更新后的所述第二图像为所述大屏设备响应于第二触摸操作而生成的图像，所述第二触摸操作是根据所述触摸信息生成的直接作用于所述第一功能区的操作。
10.一种便携式设备，其特征在于，包括：处理器、通信接口和触摸屏；所述通信接口用于连接大屏设备；所述处理器用于运行应用，且指示所述触摸屏显示所述应用的第一图像；所述大屏设备显示所述应用的第二图像；其中，所述第一图像中的功能区和所述第二图像中的功能区一一对应；其中，
所述处理器还用于指示所述触摸屏接收作用于所述第一图像的第一触摸操作，其中，所述第一触摸操作直接作用于第一功能区之外的区域，所述第一功能区为所述第一图像中的一个功能区；
所述处理器还用于指示所述通信接口向所述大屏设备发送第一数据，所述第一数据包括所述便携式设备响应于第二触摸操作而生成的图像数据，所述第二触摸操作是根据所述第一触摸操作生成的直接作用于所述第一功能区的操作，所述第一数据用于所述大屏设备更新所述第二图像。
11.根据权利要求10所述的便携式设备，其特征在于，所述第一图像包括初始操作区，所述初始操作区为所述第一功能区之外的区域，所述第一触摸操作为从所述初始操作区起始的滑动操作；其中，所述滑动操作经过或到达所述第一功能区。
12.根据权利要求11所述的便携式设备，其特征在于，所述滑动操作在所述第一功能区中的停留时间大于停留时间阈值。
13.根据权利要求11所述的便携式设备，其特征在于，所述滑动操作在所述第一功能区中的滑动速度小于滑动速度阈值。
14.根据权利要求10所述的便携式设备，其特征在于，所述第一图像包括手势操作区，所述手势操作区为所述第一功能区之外的区域；所述第一触摸操作为作用在所述手势操作区中的触摸操作。
15.根据权利要求10所述的便携式设备，其特征在于，所述第一图像包括高频操作区，所述高频操作区通过历史触摸操作数据得到；所述第一触摸操作作用在第一区域中，所述第一区域为所述高频操作区中除功能区之外区域。
16.根据权利要求15所述的便携式设备，其特征在于，所述第一触摸操作和所述第一功能区之间的关联紧密度大于所述第一触摸操作和其他功能区之间的关联紧密度，所述其他功能区为第一图像中的功能区中除第一功能区之外的功能区所述第一触摸操作和所述第一功能区之间的关联紧密度与所述第一功能区的面积正相关，与第一距离负相关；所述第一距离为所述第一触摸操作的触摸点和所述第一功能区之间的距离。
17.根据权利要求10所述的便携式设备，其特征在于，所述第二图像包括所述第一触摸操作的触摸点。
18.一种计算机设备，其特征在于，包括处理器、通信接口和显示屏，所述通信接口用于连接便携式设备，所述便携式设备显示应用的第一图像；所述处理器用于运行所述应用，且指示所述显示屏显示所述应用的第二图像；其中，所述第一图像中的功能区和所述第二图像中的功能区一一对应；其中，
所述处理器还用于指示所述通信接口从所述便携式设备接收触摸信息，所述触摸信息表征作用于所述第一图像的第一触摸操作，其中，所述第一触摸操作直接作用于第一功能之外的区域，所述第一功能区为所述第一图像中的一个功能区；
所述处理器还用于指示所述显示屏更新所述第二图像，所述更新后的所述第二图像为所述大屏设备响应于第二触摸操作而生成的图像，所述第二触摸操作是根据所述触摸信息生成的直接作用于所述第一功能区的操作。
19.一种计算机存储介质，其特征在于，所述计算机存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行权利要求1-8任一项所述的方法或权利要求9所述的方法。
20.一种计算机程序产品，其特征在于，所述计算机程序产品包含的程序代码被电子设备中的处理器执行时，实现权利要求1-8任一项所述的方法或权利要求9所述的方法。
CN202010177769.6A 2020-03-13 2020-03-13 一种人机交互方法及设备 Pending CN113391775A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010177769.6A CN113391775A (zh) 2020-03-13 2020-03-13 一种人机交互方法及设备
PCT/CN2021/074087 WO2021179829A1 (zh) 2020-03-13 2021-01-28 一种人机交互方法及设备
EP21769002.3A EP4108524A4 (en) 2020-03-13 2021-01-28 METHOD AND DEVICE FOR HUMAN-MACHINE INTERACTION
US17/941,082 US20230004287A1 (en) 2020-03-13 2022-09-09 Human-computer interaction method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010177769.6A CN113391775A (zh) 2020-03-13 2020-03-13 一种人机交互方法及设备

Publications (1)

Publication Number Publication Date
CN113391775A true CN113391775A (zh) 2021-09-14

Family

ID=77616221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010177769.6A Pending CN113391775A (zh) 2020-03-13 2020-03-13 一种人机交互方法及设备

Country Status (4)

Country Link
US (1) US20230004287A1 (zh)
EP (1) EP4108524A4 (zh)
CN (1) CN113391775A (zh)
WO (1) WO2021179829A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468863A (zh) * 2020-11-24 2021-03-09 北京字节跳动网络技术有限公司 投屏控制方法、设备及电子设备
CN114398019B (zh) * 2022-01-24 2024-02-23 广州文石信息科技有限公司 屏幕更新请求的处理方法、装置及电子墨水屏设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107305466A (zh) * 2016-04-19 2017-10-31 西安中兴新软件有限责任公司 一种移动终端的操作方法和装置
CN108108082A (zh) * 2017-12-29 2018-06-01 努比亚技术有限公司 一种信息处理的方法、终端及计算机存储介质
CN109177899A (zh) * 2018-08-30 2019-01-11 上海天马微电子有限公司 车载显示装置的交互方法和车载显示装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8368658B2 (en) * 2008-12-02 2013-02-05 At&T Mobility Ii Llc Automatic soft key adaptation with left-right hand edge sensing
AU2016202085A1 (en) * 2009-05-29 2016-04-28 Apple Inc. Radial menus
KR101286358B1 (ko) * 2011-08-11 2013-07-15 엘지전자 주식회사 영상표시방법 및 장치
KR101408168B1 (ko) * 2011-12-09 2014-06-17 도시바삼성스토리지테크놀러지코리아 주식회사 그래픽 사용자 인터페이스를 제공하는 방법 및 장치
RU2014141283A (ru) * 2012-04-20 2016-05-10 Сони Корпорейшн Устройство обработки информации, способ обработки информации и программа
US9268424B2 (en) * 2012-07-18 2016-02-23 Sony Corporation Mobile client device, operation method, recording medium, and operation system
US9686581B2 (en) * 2013-11-07 2017-06-20 Cisco Technology, Inc. Second-screen TV bridge
US11150798B2 (en) * 2016-03-28 2021-10-19 Apple Inc. Multifunction device control of another electronic device
KR102500666B1 (ko) * 2017-11-21 2023-02-16 삼성전자 주식회사 입력 인터페이스를 구성하는 방법 및 이를 사용하는 전자 장치
KR102604570B1 (ko) * 2018-03-23 2023-11-22 삼성전자주식회사 사용자 입력 지원 방법 및 이를 지원하는 전자 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107305466A (zh) * 2016-04-19 2017-10-31 西安中兴新软件有限责任公司 一种移动终端的操作方法和装置
CN108108082A (zh) * 2017-12-29 2018-06-01 努比亚技术有限公司 一种信息处理的方法、终端及计算机存储介质
CN109177899A (zh) * 2018-08-30 2019-01-11 上海天马微电子有限公司 车载显示装置的交互方法和车载显示装置

Also Published As

Publication number Publication date
US20230004287A1 (en) 2023-01-05
EP4108524A4 (en) 2023-08-30
EP4108524A1 (en) 2022-12-28
WO2021179829A1 (zh) 2021-09-16

Similar Documents

Publication Publication Date Title
CN112130742B (zh) 一种移动终端的全屏显示方法及设备
WO2021129326A1 (zh) 一种屏幕显示方法及电子设备
CN113645351B (zh) 应用界面交互方法、电子设备和计算机可读存储介质
CN109766066B (zh) 一种消息处理的方法、相关装置及***
WO2020134869A1 (zh) 电子设备的操作方法和电子设备
CN110244893B (zh) 一种分屏显示的操作方法及电子设备
WO2021036770A1 (zh) 一种分屏处理方法及终端设备
WO2020173370A1 (zh) 一种应用图标的移动方法及电子设备
CN112751954B (zh) 一种操作提示的方法和电子设备
CN114514498A (zh) 一种对电子设备的操作方法及电子设备
CN110559645B (zh) 一种应用的运行方法及电子设备
CN112671976A (zh) 电子设备的控制方法及电子设备
CN113805487B (zh) 控制指令的生成方法、装置、终端设备及可读存储介质
CN114887323B (zh) 一种电子设备操控方法及电子设备
US20230004287A1 (en) Human-computer interaction method and device
CN113010076A (zh) 一种显示要素的显示方法和电子设备
CN110658975A (zh) 一种移动终端操控方法及装置
CN115426521A (zh) 用于截屏的方法、电子设备、介质以及程序产品
US20240045557A1 (en) Method for Sharing Input Device, Electronic Device, and System
CN115185441A (zh) 控制方法、装置、电子设备及可读存储介质
CN113934352B (zh) 通知消息处理方法、电子设备和计算机可读存储介质
CN115291780A (zh) 一种辅助输入方法、电子设备及***
CN114764300A (zh) 一种窗口页面的交互方法、装置、电子设备以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210914