WO2015078020A1 - 一种手势操作的转换方法和装置 - Google Patents

一种手势操作的转换方法和装置 Download PDF

Info

Publication number
WO2015078020A1
WO2015078020A1 PCT/CN2013/088256 CN2013088256W WO2015078020A1 WO 2015078020 A1 WO2015078020 A1 WO 2015078020A1 CN 2013088256 W CN2013088256 W CN 2013088256W WO 2015078020 A1 WO2015078020 A1 WO 2015078020A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
keyboard
mouse
application
gesture
Prior art date
Application number
PCT/CN2013/088256
Other languages
English (en)
French (fr)
Inventor
陈普
许天锡
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to CN201380002623.6A priority Critical patent/CN105027054A/zh
Priority to PCT/CN2013/088256 priority patent/WO2015078020A1/zh
Publication of WO2015078020A1 publication Critical patent/WO2015078020A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • Embodiments of the present invention relate to computer technologies, and in particular, to a method, system, and apparatus for converting gesture operations. Background technique
  • the various operations of the user captured by the client can be referred to as the user's gesture operation.
  • the client's recognition software converts the captured user's gesture operation into a mouse and keyboard message and transmits the mouse and keyboard message to the operating system to complete the processing of the user operation.
  • the client saves the correspondence between the user's gesture operation and the mouse and keyboard message conversion, and the client identification software converts or recognizes accordingly.
  • the client presets a plurality of gesture operation schemes, and the user can select an operation scheme of a gesture through the menu on the client side, and the user selects a gesture operation scheme to select a certain operation.
  • the user needs to select a gesture operation scheme before the gesture operation.
  • the user In an actual application, the user often needs to switch to another gesture operation scheme according to the needs of the current operation scenario, so that the user's service needs to be interrupted and entered.
  • the selection mode of the gesture operation scheme operates. If such a handover occurs frequently, the user experience is greatly reduced and the system availability is reduced. Summary of the invention
  • the embodiment of the invention provides a method, a device and a system for converting a gesture operation, which can be The user's operating scene recognizes the user's gesture operation.
  • an embodiment of the present invention provides a method for converting a gesture operation, including: receiving information of a gesture operation of a user;
  • the method further includes:
  • the conversion policy set includes information of the application, a type of the gesture operation, and a type of the mouse and keyboard operation;
  • the information of the gesture operation is converted into information of a keyboard mouse according to the type of the current mouse and keyboard operation.
  • the method further includes:
  • each conversion policy set corresponds to a different application
  • each of the conversion policy sets includes a correspondence between a type of the gesture operation and a type of the mouse and keyboard operation, and the according to the focus application Information, converting the gesture operation information into mouse and keyboard information, including:
  • the information of the gesture operation is converted into information of a keyboard mouse according to the type of the current mouse and keyboard operation.
  • the method before the receiving the gesture operation information of the user, the method further includes:
  • the method further includes: transmitting the mouse and keyboard information to the server by using the remote session connection.
  • the method further includes:
  • the obtaining information of the focus application currently operated by the user includes:
  • the information about the focus application that is monitored by the user is:
  • the information of the front window of the current operation of the user is periodically detected, and the process name of the focus application is determined according to the information of the front window;
  • An application monitoring instruction is pre-installed in each application of the operating system, and when the focus application is pre-positioned, causes the operating system to acquire a process name of the focused application that is triggered according to the application monitoring instruction, The process name of the focus application is obtained and saved from the operating system.
  • the embodiment of the present invention provides a gesture operation conversion method, including: receiving information about a gesture operation of a user sent by the client after establishing a remote session connection with a client;
  • the method further includes:
  • the conversion policy set includes information of the application, a type of the gesture operation, and a type of the mouse and keyboard operation;
  • the information of the gesture operation is converted into information of a keyboard mouse according to the type of the current mouse and keyboard operation.
  • the method further includes:
  • each conversion policy set corresponds to a different application
  • each of the conversion policy sets includes a correspondence between a type of the gesture operation and a type of the mouse and keyboard operation, and the according to the focus application Information, converting the gesture operation information into mouse and keyboard information, including:
  • the information of the gesture operation is converted into information of a keyboard mouse according to the type of the current mouse and keyboard operation.
  • the method further includes: The mouse and keyboard information is sent to the server over the remote session connection.
  • the method further includes:
  • the obtaining information of the focus application currently operated by the user includes:
  • the information about the focus application that is currently being operated by the user is:
  • the information of the front window of the current operation of the user is periodically detected, and the process name of the focus application is determined according to the information of the front window;
  • An application monitoring instruction is pre-installed in each application of the operating system, and when the focus application is pre-positioned, causes the operating system to acquire a process name of the focused application that is triggered according to the application monitoring instruction, The process name of the focus application is obtained and saved from the operating system.
  • an embodiment of the present invention provides a client device, which is used to implement a conversion of a gesture operation of a user, including:
  • a user operation capturing module configured to capture information of a gesture operation of the user, and send the information of the gesture operation to the gesture conversion module to request a gesture conversion
  • a gesture conversion module configured to acquire information about a focus application currently operated by the user; the gesture conversion module is further configured to: match the preset conversion policy according to the information of the focus application, and convert the information of the gesture operation into a mouse keyboard Information, the conversion policy indicates the type of keyboard mouse operation corresponding to different gesture operation types under each application.
  • the embodiment of the present invention provides a server for implementing a user hand movement operation of a client, including:
  • a mouse and keyboard module configured to receive information about a gesture operation of a user sent by the client after establishing a remote session connection with the client; a gesture conversion module, configured to determine information of a focus application currently operated by the user; the gesture conversion module is further configured to: match the preset conversion policy according to the information of the focus application, and convert the information of the gesture operation into Mouse and keyboard information, the conversion policy indicates the type of keyboard and mouse operation corresponding to different gesture operation types under each application.
  • the embodiment of the present invention provides a remote session system, which is used to implement a conversion of a user's gesture, including:
  • a client device configured to establish a remote session connection with the server, receive information of a gesture operation of the user, obtain information about a focus application currently operated by the user, and match a preset conversion policy according to the information of the focus application,
  • the information of the gesture operation is converted into mouse and keyboard information, the conversion strategy indicates a type of keyboard and mouse operation corresponding to different gesture operation types under each application, and the mouse and keyboard information is sent to the remote session connection Server
  • a server configured to monitor information of a focus application currently operated by the user, and send the monitored information of the focus application to the client device.
  • the embodiment of the present invention provides a remote session system, which is used to implement a conversion of a user's gesture operation, including:
  • a client device configured to establish a remote session connection with the server, capture information of the gesture operation of the user, and send the information of the gesture operation to the server through the remote session connection;
  • the server is configured to receive the client to send Information of the user's gesture operation, determining information of the focus application currently operated by the user, matching the preset conversion policy according to the information of the focus application, and converting the information of the gesture operation into mouse and keyboard information.
  • the conversion strategy indicates the type of keyboard and mouse operation corresponding to different gesture operation types under each application.
  • the method, the device and the system provided by the embodiment of the present invention determine the current focus application after acquiring the gesture operation of the user, and match the conversion policy according to the type of the focus application and the gesture operation, thereby automatically performing the gesture operation of the user. Converted into mouse and keyboard information adapted to the current application scenario, the method allows the user to specify a gesture operation scheme in different operation scenarios, Using the gestures adapted to the operating scenario, the user experience and system efficiency are improved.
  • Figure 1 is a system architecture diagram of a remote desktop connection
  • FIG. 2 is a block diagram of a system according to an embodiment of the present invention.
  • FIG. 3 is a structural diagram of still another system according to an embodiment of the present invention.
  • FIG. 4 is a configuration diagram of a conversion policy set in accordance with an embodiment of the present invention.
  • FIG. 5 is a flowchart of a method according to an embodiment of the present invention.
  • FIG. 6 is a flow chart of still another method according to an embodiment of the present invention.
  • FIG. 7 is a structural diagram of a computer according to an embodiment of the present invention. detailed description
  • the embodiment of the present invention provides a method, a device, and a system for converting a gesture operation, which can identify a gesture operation of a user according to an operation scenario of the user, so that the user does not need to specify a gesture operation scheme in advance in different operation scenarios, and the operation can be adopted.
  • the scene adapts to the gesture and enables the system to switch to the appropriate keyboard and mouse information.
  • the method, the device and the system for converting the gesture operation proposed by the embodiment of the present invention can be applied to a common usage scenario of a client such as a smart phone or a tablet computer, such as a web browsing or an experience game, and can also be applied to a mobile office scene of the client.
  • a client such as a smart phone or a tablet computer
  • the remote computer transmits its desktop content to the client via remote desktop technology and displays the desktop content of the remote computer through the client's local device.
  • the remote desktop can include technologies such as display of desktop images of remote computers, remote sound transfer, or pluggable hardware mapping.
  • Remote desktops can also be called virtual desktops.
  • FIG. 1 The remote desktop infrastructure scenario is shown in FIG. 1. This embodiment is merely an exemplary description, and only the components related to the embodiment of the present invention are given, but FIG. 1 is not specifically limited to the application of the present invention.
  • the left side of FIG. 1 is a client of the remote desktop, and the device form of the client may be a tablet 101a, a smart phone 101b, or the like in the embodiment of the present invention. They access Remote Desktop Services over the network 102 using Remote Desktop Protocol 103.
  • the server 104a. 104n provides a remote desktop, and the user's remote desktop exists on the server in the form of virtual machines 105a, 105b - "105n.”
  • the remote desktop management system 106 is configured to provide functions such as mapping of the client's client to the virtual machine.
  • the client first connects to the remote desktop management system 106, obtains the virtual machine address of the user, and then connects to the virtual machine.
  • the remote desktop management system 106 can be a server or a general personal computer.
  • the present invention does not specifically limit the user.
  • the client accesses the virtual machine allocated to the user on the server, and the server transmits the content accessed by the user to the client of the user for display.
  • the server may be pre- A conversion policy is configured, which includes types of keyboard and mouse operations corresponding to different types of gesture operations under different applications; an application monitoring module is installed on the client or the server, and the module can monitor the focus application of the user's current operation.
  • the client or the server is further equipped with a gesture conversion module, which can acquire information about the focus application currently operated by the user and the gesture operation of the user, and convert the information of the current gesture operation of the user into a corresponding keyboard and mouse according to the conversion policy. Information.
  • the remote session system includes a client 21, a server 22, and a remote desktop management system 23.
  • the remote desktop management system 23 is configured to manage a set of conversion policies for gesture operations, for example, may include a conversion policy management module 231, which may provide a conversion policy input interface to the system administrator or directly to the user, so that management The user or the user can formulate a conversion strategy according to the preference or actual needs, and input the conversion policy to the remote desktop management system, form a conversion policy set and save in the conversion policy management module 231, and convert the policy management.
  • the module 231 may send the conversion policy set to the client 21.
  • the timing of the delivery may be based on the request of the client 21, or may be the time when the client logs in to the server 22. limited.
  • the resources of the server 22 are abstracted into multiple virtual machines, and each virtual machine can be allocated to one or more clients 21, and the operating system 221 can be installed on the virtual machine.
  • the operating system 221 can include an application monitoring module 2211.
  • the application monitoring module 2211 may monitor the focus application of the current operation of the user after the client 21 establishes a remote desktop session connection with the virtual machine, and send the information of the monitored focus application to the client 21
  • the focus application refers to an application that the user is currently operating or is ready to operate, or refers to an application corresponding to a front window in the system;
  • the mouse and keyboard module 2212 is configured to receive keyboard and mouse information sent by the client 21.
  • the client 21 may be a tablet or a mobile smartphone.
  • the client 21 includes a gesture conversion module 211 and a user operation capture module 212.
  • the user operation capture module 212 is configured to capture gesture operation information of the user, and send the information of the gesture operation.
  • the gesture conversion module 211 is configured to request the gesture conversion.
  • the gesture conversion module 211 is configured to acquire the gesture operation information of the user from the user operation capture module 212, obtain the information of the focus application currently operated by the user, and obtain the conversion policy from the remote desktop management system 23, according to The gesture operation information and the information of the focus application match a conversion strategy, and convert information of the gesture operation of the user into keyboard and mouse information, where the conversion policy indicates a keyboard and mouse operation corresponding to different gesture operation types under each application. type.
  • the gesture conversion is performed by the client.
  • the system composition diagram of the application scenario applied to the remote desktop according to another embodiment of the present invention includes the client 31 and the server 32. Unlike the remote desktop management system 33, unlike the embodiment shown in FIG.
  • the gesture conversion in this embodiment is performed by the server side.
  • the remote desktop management system 33 is still used to manage the conversion policy of the gesture operation, for example, may include the conversion policy management module 331, and the difference is that the conversion policy
  • the management module 331 may send the conversion policy set to the server 32.
  • the timing of the delivery may be based on the request of the server 32 or the periodic delivery. The specific delivery timing is not specifically limited in the embodiment of the present invention.
  • the client 31 can be a tablet or a mobile smartphone, and the client 31 can establish a remote session connection with the virtual machine 1 in the server 32, including a user operation capture module 311, which is used to capture gesture operation information of the user. And send gesture action information to virtual machine 1 over a remote session connection.
  • the resources of the server 32 are abstracted into a plurality of virtual machines, and each virtual machine can be allocated to one or more clients 31 for use.
  • An operating system 321 can be installed on the virtual machine 1, and the operating system 321 can include an application monitoring module 3211, a mouse and keyboard module 3212, and a gesture conversion module 3213.
  • the application monitoring module 3211 can establish a remote desktop session connection with the virtual machine 1 at the client 31. After that, the focus application of the current operation of the user is monitored and saved; the mouse and keyboard module 3212 is configured to receive the gesture operation information of the user sent by the client 31 through the remote session connection, and send the gesture operation information to the gesture conversion module 3213.
  • the gesture conversion module 3213 is configured to convert the information of the gesture operation into mouse and keyboard information according to the information of the focus application after receiving the conversion task. Specifically, the gesture conversion module 3213 obtains the information of the current focus application from the application monitoring module, and acquires the conversion policy from the remote desktop management system 33. Specifically, the gesture conversion module 3213 can obtain the cached remote desktop management system 33 in advance. The set of translation policies that are delivered may also be temporarily requested from the remote desktop management system 33 to obtain a conversion policy set), and the information of the gesture operation of the user is converted into keyboard and mouse information according to the information of the conversion policy and the focus application.
  • the converted keyboard and mouse information is returned to the mouse and keyboard module 3212, and the conversion policy indicates the type of keyboard and mouse operation corresponding to different gesture operation types under each application.
  • the keyboard and mouse module 3212 obtains the keyboard and mouse information
  • the keyboard and mouse information can also be converted into a keyboard and mouse event, and the keyboard and mouse events are notified to the operating system 321, so that the operating system 321 processes the transaction of the client 31.
  • the conversion policy set including the application, the type of the gesture operation, and the type of the keyboard and mouse operation is preset in advance, and the application is added in the virtual machine.
  • the monitoring module monitors the information of the focus application currently operated by the user in real time, so that the gesture conversion module can obtain the current focus application after obtaining the gesture operation of the user, and match the conversion strategy set according to the type of the focus application and the gesture operation. Therefore, the user's gesture operation is automatically converted into the mouse and keyboard information that is adapted to the current application scenario.
  • the method enables the user to adopt the gesture adapted to the operation scenario without using a gesture operation scheme in different operation scenarios, thereby improving the user experience and System efficiency.
  • the embodiments of the present invention are described below.
  • the preset conversion strategy indicates the type of keyboard and mouse operation corresponding to different gesture operation types under each application. It can be represented in the form of a set of transformation strategies.
  • One set of conversion strategy sets includes the information of the application, the type of gesture operation and the type of mouse and keyboard operation. The correspondence between the three can be saved by a data list, and each time the keyboard and mouse information is queried, the application needs to be used at the same time.
  • the information of the program and the type of the gesture operation are used as the query index; another form of expression may also be saved by multiple data lists, for example, multiple correspondences are respectively established, and multiple conversion policy sets of the application and the conversion policy set are first established.
  • Each conversion strategy set further includes a correspondence between the type of gesture operation and the type of mouse and keyboard operation, as shown in FIG.
  • the conversion policy set shown in FIG. 4 includes multiple conversion policy sets, each conversion policy set corresponding to one or more applications, and each conversion policy set may include a correspondence between a type of gesture operation and a type of keyboard and mouse operation.
  • the gesture operation of the virtual button layout corresponds to the relative keyboard key value, and the user touches which button of the virtual keyboard, and converts it into a corresponding keyboard key value, and the user slides down the screen.
  • the gesture operation corresponds to scrolling down the mouse wheel, and the user tilts the corresponding relationship of the left button of the corresponding keyboard of the client device to the left.
  • the default gesture conversion policy can also be configured in the conversion policy collection. When the policy is changed, the user's gesture operation can be converted according to the default gesture conversion strategy.
  • the gesture conversion module 211 of the client 21 may further include a first policy sub-module, configured to acquire a conversion policy set, where the conversion policy set includes information of the application, a gesture The corresponding relationship between the type of the operation and the type of the mouse and keyboard operation; or the gesture conversion module 211 of the client 21 may further include a second policy sub-module for acquiring a plurality of conversion policy sets, wherein each conversion policy The collection corresponds to different applications, and each of the conversion policy sets includes a correspondence between a type of gesture operation and a type of mouse and keyboard operation. As shown in FIG.
  • the gesture conversion module 3213 of the operating system of the virtual machine in the server 32 may further include a first policy sub-module, configured to acquire a conversion policy set, where the conversion policy set includes an application program.
  • the information, the type of the gesture operation, and the type of the mouse and keyboard operation; or the gesture conversion module 3213 of the server may further include a second policy sub-module, configured to acquire a plurality of conversion policy sets, where each conversion The policy set corresponds to different applications, and each of the conversion policy sets includes a correspondence between a type of gesture operation and a type of mouse and keyboard operation.
  • the application monitoring module can be set in the operating system of the virtual machine, which can monitor the focus application in the virtual machine, that is, the in-focus application that the user is operating or ready to operate, or the application that is being pre-positioned.
  • the first solution provided by the embodiment of the present invention is: the application monitoring module periodically or periodically detects the information of the front window currently operated by the user, and determines the process of the focus application according to the information of the front window. name. For example, the application monitoring module periodically calls the Windows operating system API function GetForegroundWindow to get the current pre-window, and then obtains the process name of the focus application by sequentially calling the Windows operating system API functions GetWindowThreadProcessId ⁇ PsGetCurrentProcess and PsGetProcessImageFileName.
  • the second solution provided by the embodiment of the present invention is: the application monitoring module is pre-processed in each application of the operating system.
  • the operating system acquires the process name of the triggered focus application according to the application monitoring instruction, and notifies the process name of the focus application to The application monitoring module.
  • the application monitoring module calls the Windows operating system API function SetWindowsHookEx to install a hook to inject the hook function into each application in the system.
  • the hook function will be called.
  • the above embodiment takes the Windows operating system as an example.
  • the operating system other than Windows is running on the server, such as Linux/UNIX or Mac OS, related process information can also be obtained through the corresponding API function in the system, and the present invention is implemented. The examples will not be described again.
  • the monitored current focus application information may be recorded, or the focus application information may be provided to the gesture conversion module for saving, for example, if the gesture conversion module is set.
  • the process name of the focus application is sent as a message to the client for gesture conversion.
  • the user operates a gesture operation that the capture module can recognize and capture.
  • a gesture operation that the capture module can recognize and capture.
  • the user uses gravity sensing and gyroscope-related operations to move the device up and down, tilt the device in all directions, and so on.
  • the user operation capture module sends the captured information of the user's gesture operation to the gesture conversion module for gesture conversion.
  • the user operation capture module can also be responsible for detecting the peripheral devices that the client device is currently inserted and activated, such as a USB handle, an external keyboard mouse. When it is found that the client device has activated such peripherals When you are able to disable gesture transitions, gesture transitions are automatically enabled when the peripheral is removed. Fourth, gesture conversion
  • the gesture conversion module is responsible for converting the user's gesture operations into corresponding keyboard and mouse information.
  • the module can be placed on the client (as shown in Figure 2) or placed on the server (as shown in Figure 3).
  • the gesture conversion module can obtain and save a set of conversion policies from the remote desktop management system when the client and the server establish a remote session connection. After the connection is established, the gesture conversion module can continuously receive the information of the gesture operation of the user sent by the user operation capture module, and may also continuously receive the process name of the current focus application from the application monitoring module, and of course the process of the focus application. The name may not be received in real time but will be obtained when there is a need.
  • the gesture conversion module After receiving the gesture operation information of the user, the gesture conversion module determines the type of the gesture operation, and queries from the conversion policy set to the corresponding mouse and keyboard operation according to the current process name of the focus application and the type of the gesture operation. Type, and convert information of the user's gesture operation into corresponding keyboard and mouse information according to the type of the mouse and keyboard operation.
  • the gesture conversion is completed by the client, and the conversion process of the gesture operation includes:
  • S501 The user client establishes a remote desktop connection with the user virtual machine through the remote desktop management system.
  • S502 The remote desktop management system sends the conversion policy set to the client's gesture conversion module to save the conversion policy set.
  • the conversion policy set includes information of an application, a type of gesture operation, and a type of mouse and keyboard operation; or, the conversion policy set includes a plurality of conversion policy sets, and each conversion policy set corresponds to a different application.
  • Each of the conversion policy sets includes a correspondence between a type of gesture operation and a type of mouse and keyboard operation.
  • an application module in the user virtual machine invokes an operating system API (Appl ication Programming Interface) to pre-position its window.
  • the operating system's window manager can record the application corresponding to the front window as the current focus application, or the operating system selects an application as the focus application due to the user's operation, and the window manager uses the application. Record as a focus application.
  • the application monitoring module monitors an operating system to obtain information of a focus application in the window manager.
  • the application monitoring module has previously recorded the focus application, it is also possible to compare whether the current focus application has been changed. If it has been changed, the application monitoring module updates the information of the recorded focus application.
  • Step S504 can be implemented in two specific implementation manners:
  • the application monitoring module periodically or periodically detects information of a front window currently being operated by the user, and determines a process name of the focus application according to the information of the front window.
  • the application monitoring module pre-installs an application monitoring instruction in each application of the operating system, and when the focus application is pre-positioned, the operating system acquires the triggered focus according to the application monitoring instruction The process name of the application, and notifying the application monitoring module of the process name of the focus application.
  • the application monitoring module packages the information of the currently recorded focus application (such as the process name) into a message, and sends the message to the client, and the gesture conversion module saves the information of the focus application.
  • this step can also be an optional step.
  • the application monitoring module obtains the latest focus application, it can just save the information of the current focus application, and does not execute S505 to send the information of the focus application to the gesture.
  • the information of the focus application is sent to the gesture conversion module after receiving the query request of the gesture conversion module.
  • the gesture conversion module may further query the conversion policy set according to the information of the focus application, and first determine the current conversion strategy set. After the current set of conversion policies is determined, the current conversion mode may be changed, so that after the subsequent gesture operation of the user is received, the conversion is directly performed in the current conversion mode, which saves conversion delay and improves efficiency.
  • Step S506 is also an optional execution step. If the conversion strategy includes multiple conversion policy sets, and each conversion policy set corresponds to one conversion mode, then S506 may be performed, if the conversion policy includes application information, gestures The correspondence between the type of operation and the type of mouse and keyboard operation, S506 need not be performed.
  • the user operation capture module captures a gesture operation of the user on the client device, and forwards information of the gesture operation of the user to the gesture conversion module.
  • the gesture conversion module determines the type of the gesture operation, and then queries the gesture operation information query step S506 to determine a current conversion strategy set, and determines the type of the gesture operation. Corresponding to the type of the current mouse and keyboard operation, and converting the information of the gesture operation into information of the keyboard and mouse according to the determined type of the current mouse and keyboard operation. If the type of the corresponding mouse and keyboard operation is not found, the type of the default mouse and keyboard operation is selected.
  • the gesture conversion module determines the type of the gesture operation after receiving the gesture operation message of the user, and queries the conversion policy set according to the focus application and the type of the gesture operation to determine the gesture.
  • the type of the operation corresponds to the type of the current mouse and keyboard operation, and then converts the information of the gesture operation into information of the keyboard and mouse according to the determined type of the current mouse and keyboard operation. If the corresponding conversion policy is not found, the default conversion policy is selected.
  • the gesture conversion module returns the converted mouse and keyboard information to the user operation capture module.
  • the mouse and keyboard module converts the mouse and keyboard message into a mouse and keyboard event feedback to the operating system of the virtual machine.
  • Example 2 of the process of the embodiment of the present invention With reference to the system shown in FIG. 3, an example of the process of the embodiment of the present invention is shown in FIG. 6.
  • the gesture conversion is performed by the virtual machine of the server, and the conversion process of the gesture operation includes:
  • S601 The user client establishes a remote desktop connection with the user virtual machine through the remote desktop management system.
  • the remote desktop management system sends the conversion policy to the gesture conversion module of the virtual machine to save the conversion policy.
  • the conversion policy set includes information of an application, a type of gesture operation, and a type of mouse and keyboard operation; or, the conversion policy set includes a plurality of conversion policy sets, and each conversion policy set corresponds to a different application.
  • Each of the conversion policy sets includes a correspondence between a type of gesture operation and a type of mouse and keyboard operation.
  • an application module in the user virtual machine invokes an operating system API (Application Programming Interface) to pre-position the window thereof, and the window manager of the operating system can use the application corresponding to the front window. Recorded as the current focus application, or due to the user's operation, the operating system selects an application as the focus application, and the window manager records the application as the focus application.
  • an operating system API Application Programming Interface
  • the application monitoring module monitors the operating system to obtain a focus application in the window manager. If the application monitoring module has previously recorded the focus application, it may compare whether the current focus application has been changed, and if it has been changed, the application monitoring module Update the information of the recorded focus application.
  • step S604 is similar to that of S504 in FIG. 5 above, and details are not described herein again.
  • the application monitoring module packages the information of the currently recorded focus application (such as the process name) into a message, and sends the message to the gesture conversion module, where the gesture conversion module saves the information of the focus application.
  • this step can also be an optional step.
  • the application monitoring module obtains the latest focus application, it can just save the information of the current focus application, and does not execute the S605.
  • the information of the point application is sent to the gesture conversion module, and after receiving the query request of the gesture conversion module, the information of the focus application is sent to the gesture conversion module.
  • the gesture conversion module may further query a conversion policy according to the information of the focus application, and first determine a conversion policy set corresponding to the focus application.
  • Step S606 is also an optional execution step. If the conversion policy includes multiple conversion policy sets, and each conversion policy set corresponds to one conversion mode, then S606 may be performed, if the conversion policy includes application information, gestures The correspondence between the type of operation and the type of mouse and keyboard operation, S606 need not be performed.
  • the user operation capture module of the client captures the gesture operation of the user to the client device, and forwards the information of the gesture operation of the user to the mouse and keyboard module of the virtual machine through the remote session connection.
  • the mouse and keyboard module sends the information of the gesture operation to the gesture conversion module to request the conversion of the gesture operation.
  • the gesture conversion module determines the type of the gesture operation, and then queries the gesture operation information query step S606 to determine the current conversion strategy set (or determine the current conversion mode). Determining a type of the current mouse and keyboard operation corresponding to the type of the gesture operation, and converting the information of the gesture operation into information of the keyboard and mouse according to the determined type of the current mouse and keyboard operation. If the type of the corresponding mouse and keyboard operation is not found, the type of the default mouse and keyboard operation is selected.
  • the gesture conversion module determines the type of the gesture operation after receiving the gesture operation message of the user, and queries the conversion policy set according to the focus application and the type of the gesture operation to determine the gesture.
  • the type of the operation corresponds to the type of the current mouse and keyboard operation, and then converts the information of the gesture operation into information of the keyboard and mouse according to the determined type of the current mouse and keyboard operation. If the corresponding conversion policy is not found, the default conversion policy is selected.
  • S611 The mouse and keyboard module converts the mouse and keyboard message into a mouse and keyboard event feedback to the virtual machine's operating system.
  • the conversion policy set including the application, the type of the gesture operation and the type of the keyboard and mouse operation is preset in advance, and the application monitoring module is further added to the virtual machine to monitor the user in real time.
  • the information of the currently operating focus application enables the gesture conversion module to determine the current focus application after acquiring the gesture operation of the user, and to match the conversion policy set according to the type of the focus application and the gesture operation, thereby automatically
  • the gesture operation is converted into mouse and keyboard information adapted to the current application scenario.
  • This method enables the user to adopt a gesture adapted to the operation scenario without using a gesture operation scheme in different operation scenarios, thereby improving the user experience and system efficiency.
  • the method for implementing gesture conversion provided by the embodiment of the present invention can be summarized as follows:
  • the application scenarios shown in FIG. 2 and FIG. 3, FIG. 5 and FIG. 6 are all scenarios of a remote desktop application, and in fact, the present invention can also be applied to a scenario of a non-remote application, for example, a client performs a service on a stand-alone basis.
  • the user operation capture module, the application monitoring module, and the gesture conversion module described in the foregoing embodiments are all installed on the client itself, and the method provided by the embodiment of the present invention can be implemented on the client.
  • FIG. 7 is a schematic structural diagram of a computer according to an embodiment of the present invention.
  • the computer of the embodiment of the present invention may include:
  • CPU 70K memory 702 and communication interface 705 are connected by system bus 704 and communicate with each other.
  • Processor 701 may be a single core or multi-core central processing unit, or a particular set of circuits, or one or more integrated circuits configured to implement embodiments of the present invention.
  • the memory 702 can be a high speed RAM memory or a nonvolatile memory.
  • non-volati le memory such as at least one disk storage.
  • Memory 702 is used by computer to execute instructions 703. Specifically, the program code may be included in the computer execution instruction 703.
  • the processor 701 runs the computer execution instructions 703, which may perform the methods provided by any of the embodiments of the present invention.
  • aspects of the present invention, or possible implementations of various aspects can be embodied as a system, method, or computer program product.
  • aspects of the invention, or possible implementations of various aspects may be in the form of an entirely hardware embodiment, an entirely software embodiment (including firmware, resident software, etc.), or a combination of software and hardware aspects, They are collectively referred to herein as "circuits," “modules,” or “systems.”
  • aspects of the invention, or possible implementations of various aspects may take the form of a computer program product, which is a computer readable program code stored in a computer readable medium.
  • the computer readable medium can be a computer readable signal medium or a computer readable storage medium.
  • the computer readable storage medium includes, but is not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, device, or device, or any suitable combination of the foregoing, such as random access memory (RAM), read only memory (ROM), Erase programmable read-only memory (EPR0M or flash memory), optical fiber, portable read-only memory (CD-ROM).
  • a processor in a computer reads computer readable program code stored in a computer readable medium, such that the processor is capable of performing the functional actions specified in each of the steps, or combinations of steps in the flowchart; A device for functional operation specified in each block of the block diagram or in a combination of blocks.
  • the computer readable program code can execute entirely on the user's computer, partly on the user's computer, as a separate software package, partly on the user's computer and partly on the remote computer, or entirely on the remote computer or server.
  • the functions noted in the various blocks of the flowchart, or in the block diagrams may not occur in the order noted. For example, depending on the functionality involved, two steps, or two blocks, shown in succession may actually be performed substantially concurrently, or the blocks may sometimes be executed in the reverse order.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提出了一种手势操作的转换方法、装置和***，包括接收用户的手势操作的信息，获取用户当前操作的焦点应用程序的信息，根据所述焦点应用程序的信息，将所述手势操作的信息转换为鼠标键盘信息。本发明实施例能够根据用户的操作场景识别用户的手势操作，使得用户在不同的操作场景中无需预先指定手势操作方案，即可采用该操作场景适应的手势并使得***能够转换到合适的键盘鼠标信息。

Description

一种手势操作的转换方法和装置 技术领域
本发明实施例涉及计算机技术， 特别是一种手势操作的转换方法、 *** 和装置。 背景技术
如今的智能客户端， 例如智能手机、 平板电脑等， 通常并不具备鼠标键 盘类的标准外设， 用户仅能通过操作触摸屏（触摸板）或改变客户端方向或 位置（比如上下左右晃动客户端等）来操作客户端， 客户端捕捉到的用户的 各种操作可称之为用户的手势操作。客户端的识别软件将捕捉到的用户的手 势操作转换为鼠标键盘消息， 并将该鼠标键盘消息传送到操作***， 以此完 成对用户操作的处理。客户端保存有用户的手势操作和鼠标键盘消息的转换 对应关系， 客户端识别软件据此进行转换或识别。
由于不同的用户具有不同的操作习惯， 不同的应用程序（如 Word, PPT, PDF等） 对用户的操作也有不同的要求， 如果单独配置一套手势操作方案， 会使得用户体验变差， 因此， 现有技术中， 为最大化的提升用户体验， 客户 端预置了多种手势操作的方案，用户可以在客户端通过菜单选择某种手势的 操作方案，用户选择了手势操作方案即选择了某种触摸屏上产生的手势操作 与键鼠消息的对应关系。 客户端在接收到用户的手势操作后， 根据该特定手 势操作方案下的特定的对应关系， 将触摸屏操作转换成鼠标键盘消息。
现有技术中， 用户在手势操作之前需要预先选择手势操作的方案， 而实 际应用中，用户经常需要根据当前操作场景的需要切换到另一种手势操作方 案， 这样用户的业务需要中断并进入到手势操作方案的选择模式进行操作， 如果这种切换发生的比较频繁， 将极大地降低用户体验的感受， 并降低*** 可用性。 发明内容
本发明实施例提出了一种手势操作的转换方法、 装置和***， 能够根据 用户的操作场景识别用户的手势操作。
第一方面， 本发明实施例提出了一种手势操作的转换方法， 包括： 接收用户的手势操作的信息；
获取用户当前操作的焦点应用程序的信息；
根据所述焦点应用程序的信息匹配预置的转换策略，将所述手势操作的 信息转换为鼠标键盘信息，所述转换策略指示每种应用程序下的不同手势操 作类型对应的键盘鼠标操作的类型。
结合第一方面， 在第一种可能的实现方式中， 还包括：
获取转换策略集合， 所述转换策略集合包含应用程序的信息、 手势操作 的类型与鼠标键盘操作的类型的对应关系；
则所述根据所述焦点应用程序的信息，将所述手势操作信息转换为鼠标 键盘信息， 包括：
确定所述手势操作的类型；
根据所述焦点应用程序的信息和所述手势操作的类型查询所述转换策 略集合， 确定当前鼠标键盘操作的类型；
根据所述当前鼠标键盘操作的类型，将所述手势操作的信息转换为键盘 鼠标的信息。
结合第一方面， 在第二种可能的实现方式中， 还包括：
获取多个转换策略集合，其中，每个转换策略集合对应不同的应用程序， 所述每个转换策略集合包含手势操作的类型与鼠标键盘操作的类型的对应 则所述根据所述焦点应用程序的信息，将所述手势操作信息转换为鼠标 键盘信息， 包括：
根据所述焦点应用程序的信息， 确定当前归属的转换策略集合； 确定所述手势操作的类型；
根据所述手势操作的类型查询所述当前归属的转换策略集合，确定当前 鼠标键盘操作的类型；
根据所述当前鼠标键盘操作的类型，将所述手势操作的信息转换为键盘 鼠标的信息。
结合第一方面或者第一方面的第一或二种可能的实现方式，在第三种可 能的实现方式中， 所述接收用户的手势操作信息之前， 还包括：
建立与服务器的远程会话连接；
所述将所述手势操作的信息转换为鼠标键盘信息之后， 还包括： 将所述鼠标键盘信息通过所述远程会话连接发送到所述服务器。
结合第一方面或第一方面的第一或二种可能的实现方式，在第四种可能 的实现方式中， 还包括：
监测所述用户当前操作的焦点应用程序的信息；
所述获取用户当前操作的焦点应用程序的信息包括：
获取监测得到的所述用户当前操作的焦点应用程序的信息。
结合第一方面的第四种可能的实现方式， 在第五种可能的实现方式中， 所述监测所述用户当前操作的焦点应用程序的信息， 包括：
定时探测所述用户当前操作的前置窗口的信息， 根据所述前置窗口的信 息确定所述焦点应用程序的进程名称； 或者，
在操作***的每个应用程序里预先安装应用监测指令， 当所述焦点应用 程序被前置时， 使得所述操作***根据所述应用监测指令获取被触发的所述 焦点应用程序的进程名称， 从所述操作***获取并保存所述焦点应用程序的 进程名称。
第二方面， 本发明实施例提出了一种手势操作转换方法， 包括： 在建立与客户端的远程会话连接后，接收所述客户端发送的用户的手势 操作的信息；
确定所述用户当前操作的焦点应用程序的信息；
根据所述焦点应用程序的信息匹配预置的转换策略，将所述手势操作的 信息转换为鼠标键盘信息，所述转换策略指示每种应用程序下的不同手势操 作类型对应的键盘鼠标操作的类型。
结合第二方面， 在第一种可能的实现方式中， 还包括：
获取转换策略集合， 所述转换策略集合包含应用程序的信息、 手势操作 的类型与鼠标键盘操作的类型的对应关系；
则所述根据所述焦点应用程序的信息，将所述手势操作信息转换为鼠标 键盘信息， 包括：
确定所述手势操作的类型；
根据所述焦点应用程序的信息和所述手势操作的类型查询所述转换策 略集合， 确定当前鼠标键盘操作的类型；
根据所述当前鼠标键盘操作的类型，将所述手势操作的信息转换为键盘 鼠标的信息。
结合第二方面， 在第二种可能的实现方式中， 还包括：
获取多个转换策略集合，其中，每个转换策略集合对应不同的应用程序， 所述每个转换策略集合包含手势操作的类型与鼠标键盘操作的类型的对应 则所述根据所述焦点应用程序的信息，将所述手势操作信息转换为鼠标 键盘信息， 包括：
根据所述焦点应用程序的信息， 确定当前归属的转换策略集合； 确定所述手势操作的类型；
根据所述手势操作的类型查询所述当前归属的转换策略集合，确定当前 鼠标键盘操作的类型；
根据所述当前鼠标键盘操作的类型，将所述手势操作的信息转换为键盘 鼠标的信息。
结合第二方面或者第一方面的第一或二种可能的实现方式，在第三种可 能的实现方式中， 还包括： 将所述鼠标键盘信息通过所述远程会话连接发送到所述服务器。
结合第二方面或第一方面的第一或二种可能的实现方式，在第四种可能 的实现方式中， 还包括：
监测所述用户当前操作的焦点应用程序的信息；
所述获取用户当前操作的焦点应用程序的信息包括：
获取监测得到的所述用户当前操作的焦点应用程序的信息。
结合第二方面的第四种可能的实现方式， 在第五种可能的实现方式中， 所述监测所述用户当前操作的焦点应用程序的信息， 包括：
定时探测所述用户当前操作的前置窗口的信息， 根据所述前置窗口的信 息确定所述焦点应用程序的进程名称； 或者，
在操作***的每个应用程序里预先安装应用监测指令， 当所述焦点应用 程序被前置时， 使得所述操作***根据所述应用监测指令获取被触发的所述 焦点应用程序的进程名称， 从所述操作***获取并保存所述焦点应用程序的 进程名称。
第三方面， 本发明实施例提出了一种客户端设备， 用于实现用户的手势 操作的转换， 包括：
用户操作捕获模块， 用于捕获用户的手势操作的信息， 并将所述手势操 作的信息发送给手势转换模块请求手势转换；
手势转换模块， 用于获取用户当前操作的焦点应用程序的信息； 手势转换模块，还用于根据所述焦点应用程序的信息匹配预置的转换策 略， 将所述手势操作的信息转换为鼠标键盘信息， 所述转换策略指示每种应 用程序下的不同手势操作类型对应的键盘鼠标操作的类型。
第四方面， 本发明实施例提出了一种服务器， 用于实现客户端的用户手 势操作的转换， 包括：
键鼠模块， 用于在建立与客户端的远程会话连接后， 接收所述客户端发 送的用户的手势操作的信息； 手势转换模块， 用于确定所述用户当前操作的焦点应用程序的信息； 手势转换模块，还用于根据所述焦点应用程序的信息匹配预置的转换策 略， 将所述手势操作的信息转换为鼠标键盘信息， 所述转换策略指示每种应 用程序下的不同手势操作类型对应的键盘鼠标操作的类型。
第五方面， 本发明实施例提出了一种远程会话***， 用于实现用户的手 势操作的转换， 包括：
客户端设备， 用于建立与服务器的远程会话连接， 接收用户的手势操作 的信息， 获取用户当前操作的焦点应用程序的信息， 根据所述焦点应用程序 的信息匹配预置的转换策略， 将所述手势操作的信息转换为鼠标键盘信息， 所述转换策略指示每种应用程序下的不同手势操作类型对应的键盘鼠标操 作的类型， 以及将所述鼠标键盘信息通过所述远程会话连接发送到所述服务 器；
服务器， 用于监测所述用户当前操作的焦点应用程序的信息， 并将监测 得到的所述焦点应用程序的信息发送给所述客户端设备。
第六方面， 本发明实施例提出了一种远程会话***， 用于实现用户的手 势操作的转换， 包括：
客户端设备， 用于建立与服务器的远程会话连接， 捕获用户的手势操作 的信息， 并将所述手势操作的信息通过所述远程会话连接发送给服务器； 服务器， 用于接收所述客户端发送的用户的手势操作的信息， 确定所述 用户当前操作的焦点应用程序的信息， 根据所述焦点应用程序的信息匹配预 置的转换策略， 将所述手势操作的信息转换为鼠标键盘信息， 所述转换策略 指示每种应用程序下的不同手势操作类型对应的键盘鼠标操作的类型。 本发明实施例提供的方法、装置和***，在获取到用户的手势操作之后， 确定当前的焦点应用程序， 并根据焦点应用程序和手势操作的类型去匹配转 换策略， 从而自动将用户的手势操作转换成了适应当前应用场景的鼠标键盘 信息， 该方法使得用户在不同的操作场景中无需指定手势操作方案， 即可采 用该操作场景适应的手势， 提升了用户体验和***效率。
附图说明
为了更清楚地说明本发明实施例的技术方案， 下面将对实施例中所需要 使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的 一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图 1是远程桌面连接的***架构图；
图 2是根据本发明实施例提供的一种***的架构图；
图 3是根据本发明实施例提供的又一种***的架构图；
图 4是根据本发明实施例中的转换策略集合的配置图；
图 5是根据本发明实施例提供的一种方法流程图；
图 6是根据本发明实施例提供的又一种方法流程图；
图 7是根据本发明实施例提供的一种计算机的组成图。 具体实施方式
本发明实施例提出了一种手势操作的转换方法、 装置和***， 能够根据 用户的操作场景识别用户的手势操作， 使得用户在不同的操作场景中无需预 先指定手势操作方案， 即可采用该操作场景适应的手势并使得***能够转换 到合适的键盘鼠标信息。
本发明实施例提出的手势操作的转换方法、 装置和***， 可以适用于智 能手机、 平板电脑这些客户端的通常意义的使用场景， 例如网络浏览或者体 验游戏， 也可以适用于客户端的移动办公场景， 例如， 用户通过客户端登录 远程计算机， 远程计算机将其桌面内容通过远程桌面技术传送到客户端， 并 通过客户端的本地设备显示远程计算机的桌面内容。远程桌面可以包括远程 计算机的桌面图像的显示、 远程声音传送或可插拔硬件映射等技术。 远程桌 面又可以称为虚拟桌面。在虚拟桌面场景下至少存在一台服务器和一台客户 端， 通过客户端上安装的虚拟桌面客户端软件登陆到远端服务器上。
远程桌面基础架构场景如图 1所示， 本实施场景仅是一种示例性说明， 只是给出了与本发明实施例相关的组成部分，但是图 1并不是对本发明应用 的具体限定。 图 1中左侧是远程桌面的客户端， 这些客户端的设备形式在本 发明实施例中可以是平板电脑 101a、 智能手机 101b等。 它们通过网络 102 使用远程桌面协议 103访问远程桌面服务。服务器 104a . 104η提供了远程 桌面， 用户的远程桌面以虚拟机 105a、 105b - " 105η的形式存在于服务器 上。远程桌面管理*** 106，用于提供用户的客户端与虚拟机的映射等功能。 客户端首先连接到远程桌面管理*** 106， 获取用户的虚拟机地址， 进而连 接到虚拟机， 远程桌面管理*** 106可以为服务器， 也可以为普通个人计算 机等， 本发明对此不作具体限定。用户通过客户端访问服务器上分配给该用 户的虚拟机， 服务器将用户访问的内容传输到用户的客户端进行显示。 本发明实施例为了实现不同应用场景下的用户手势操作的识别或转换， 可以预先配置转换策略， 该转换策略包含了不同的应用程序下不同的手势操 作的类型对应的键盘鼠标操作的的类型； 客户端或者服务器安装有应用监测 模块， 该模块可以监测用户当前操作的焦点应用程序； 客户端或者服务器还 安装有手势转换模块， 该手势转换模块能够获取用户当前操作的焦点应用程 序和用户的手势操作的信息， 并根据转换策略将用户当前的手势操作的信息 转换成对应的键盘鼠标信息。
如图 2所示， 为本发明实施例运用于远程桌面的应用场景下的***组成 图， 该远程会话***包括客户端 21、 服务器 22和远程桌面管理*** 23。 远程桌面管理*** 23用于对手势操作的转换策略集合进行管理， 例如 可以包含转换策略管理模块 231， 该远程桌面管理*** 23可以对***管理 员， 或者直接对用户提供转换策略输入接口， 使得管理员或者用户可以根据 喜好或者实际需求制定转换策略， 并将该转换策略输入到远程桌面管理系 统， 形成转换策略集合并在转换策略管理模块 231进行保存， 转换策略管理 模块 231可以将转换策略集合下发给客户端 21，下发的时机可以是根据客户 端 21的请求， 也可以是在客户端登录服务器 22的时候， 具体下发时机本发 明实施例并不作具体限定。 服务器 22 的资源被抽象成了多台虚拟机， 每台虚拟机可以分配给一台 或者多台客户端 21 使用， 虚拟机上可以安装有操作*** 221， 该操作*** 221可以包括应用监测模块 2211和键鼠模块 2212，应用监测模块 221 1可以 在客户端 21 与虚拟机建立远程桌面会话连接之后， 监测用户当前操作的焦 点应用程序， 并将监测到的焦点应用程序的信息发送给客户端 21， 其中， 所 述焦点应用程序指用户当前正在操作或者准备操作的应用程序， 或者指*** 中的前置窗口所对应的应用程序；键鼠模块 2212用来接收客户端 21发送过 来的键盘鼠标信息。 客户端 21可以是平板电脑或者移动智能手机， 客户端 21包括手势转换 模块 211、 用户操作捕获模块 212， 用户操作捕获模块 212用于捕获用户的 手势操作信息， 并将所述手势操作的信息发送给手势转换模块 211请求手势 转换； 手势转换模块 211用于从用户操作捕获模块 212获取用户的手势操作 信息， 获取用户当前操作的焦点应用程序的信息， 从远程桌面管理*** 23 获取转换策略， 根据所述手势操作信息和所述焦点应用程序的信息匹配转换 策略， 将用户的手势操作的信息转换为键盘鼠标信息， 所述转换策略指示每 种应用程序下的不同手势操作类型对应的键盘鼠标操作的类型。 上述图 2中， 手势转换由客户端完成， 如图 3所示， 为本发明又一实施 例运用于远程桌面的应用场景下的***组成图， 该手势操作转换***包括客 户端 31、 服务器 32和远程桌面管理*** 33， 与图 2所示实施例不同的是， 本实施例中的手势转换由服务器侧完成。 在图 3所示的***中， 远程桌面管理*** 33仍然用于对手势操作的转 换策略进行管理， 例如可以包含转换策略管理模块 331， 不同的是， 转换策 略管理模块 331可以将转换策略集合下发给服务器 32，下发的时机可以是根 据服务器 32 的请求， 也可以是周期性下发， 具体下发时机本发明实施例并 不作具体限定。 客户端 31可以是平板电脑或者移动智能手机， 客户端 31可以和服务器 32中的虚拟机 1建立远程会话连接， 其中包括用户操作捕获模块 311， 用户 操作捕获模块 311用于捕获用户的手势操作信息， 并将手势操作信息通过远 程会话连接发送到虚拟机 1。 服务器 32 的资源被抽象成了多台虚拟机， 每台虚拟机可以分配给一台 或者多台客户端 31使用。虚拟机 1上可以安装有操作*** 321，该操作*** 321可以包括应用监测模块 3211、 键鼠模块 3212和手势转换模块 3213， 应 用监测模块 3211可以在客户端 31与虚拟机 1建立远程桌面会话连接之后， 监测用户当前操作的焦点应用程序， 并进行保存； 键鼠模块 3212用来接收 客户端 31通过远程会话连接发送的用户的手势操作信息， 并将所述手势操 作信息发送到手势转换模块 3213进行转换， 手势转换模块 3213用于接收到 转换任务之后， 根据所述焦点应用程序的信息， 将所述手势操作的信息转换 为鼠标键盘信息。 具体地， 所述手势转换模块 3213从应用监测模块获取当 前的焦点应用程序的信息， 从远程桌面管理*** 33获取转换策略（具体地， 手势转换模块 3213可以获取自身缓存的远程桌面管理*** 33提前下发的转 换策略集合，也可以临时向远程桌面管理*** 33请求以获取转换策略集合）， 以及根据所述转换策略和焦点应用程序的信息，将用户的手势操作的信息转 换为键盘鼠标信息，并将转换得到的键盘鼠标信息返回给键鼠模块 3212，所 述转换策略指示每种应用程序下的不同手势操作类型对应的键盘鼠标操作 的类型。 键鼠模块 3212获取到键盘鼠标信息之后， 还可以将键盘鼠标信息转换 成键盘鼠标事件， 并将键盘鼠标事件通知到操作*** 321， 以使得操作*** 321处理客户端 31的事务。 在图 2和图 3所示的***中， 由于提前预置了包含应用程序、 手势操作 的类型与键盘鼠标操作的类型三者之间的对应关系的转换策略集合， 并且虚 拟机中还增设应用监测模块实时监测用户当前操作的焦点应用程序的信息， 使得手势转换模块可以获取到用户的手势操作之后，确定当前的焦点应用程 序， 并根据焦点应用程序和手势操作的类型去匹配转换策略集合， 从而自动 将用户的手势操作转换成了适应当前应用场景的鼠标键盘信息， 该方法使得 用户在不同的操作场景中无需指定手势操作方案， 即可采用该操作场景适应 的手势， 提升了用户体验和***效率。 下面对本发明实施例进行展开介绍。
一、 转换策略集合的配置 预置的转换策略指示每种应用程序下的不同手势操作类型对应的键盘 鼠标操作的类型。 可以通过转换策略集合的形式来表示。 其中一种转换策略 集合集合包含应用程序的信息、手势操作的类型与鼠标键盘操作的类型的对 应关系， 三者的对应关系可以由一个数据列表保存， 每次查询键盘鼠标信息 都需要同时使用应用程序的信息和手势操作的类型作为查询索引； 另一种表 现形式， 也可以由多个数据列表保存， 例如， 分别建立多个对应关系， 先建 立应用程序与转换策略集合的多个转换策略集合，每个转换策略集合又包含 手势操作的类型与鼠标键盘操作的类型的对应关系， 如图 4所示。 图 4所示 的转换策略集合包含多个转换策略集合， 每个转换策略集合对应一个或多个 应用程序， 每个转换策略集合里面可以包含手势操作的类型与键盘鼠标操作 的类型的对应关系， 例如图 4的转换策略集合 1中， 虚拟按键布局的手势操 作对应的是相对的键盘键值， 用户触摸到虚拟键盘的哪一个按键， 就将其转 换成对应的键盘键值， 用户向下滑屏的手势操作对应鼠标滚轮向下滚动， 用 户向左方倾斜客户端设备对应键盘的左键等对应关系。 转换策略集合中还可以配置默认的手势转换策略，在查询不到相应的转 换策略时， 可以将用户的手势操作按照默认的手势转换策略进行转换。
具体地， 如图 2所示的***， 所述的客户端 21的手势转换模块 211还 可以包含第一策略子模块， 用于获取转换策略集合， 所述转换策略集合包含 应用程序的信息、手势操作的类型与鼠标键盘操作的类型的对应关系；或者， 所述的客户端 21的手势转换模块 211还可以包含第二策略子模块， 用于获 取多个转换策略集合， 其中， 每个转换策略集合对应不同的应用程序， 所述 每个转换策略集合包含手势操作的类型与鼠标键盘操作的类型的对应关系。 如图 3所示的***， 所述的服务器 32中的虚拟机的操作***的手势转 换模块 3213还可以包含第一策略子模块， 用于获取转换策略集合， 所述转 换策略集合包含应用程序的信息、手势操作的类型与鼠标键盘操作的类型的 对应关系； 或者， 所述的服务器的手势转换模块 3213还可以包含第二策略 子模块， 用于获取多个转换策略集合， 其中， 每个转换策略集合对应不同的 应用程序，所述每个转换策略集合包含手势操作的类型与鼠标键盘操作的类 型的对应关系。
二、 焦点应用程序的监测
应用监测模块可以设置于虚拟机的操作***中， 它可以监测虚拟机中的 焦点应用程序， 即用户正在操作或者准备操作的处于焦点状态的应用程序， 或者是被前置的应用程序。
应用监测模块监测焦点应用程序可以有多种方案。 本发明实施例提供的 第一种方案为： 应用监测模块定时或者周期性地探测所述用户当前操作的前 置窗口的信息， 以及根据所述前置窗口的信息确定所述焦点应用程序的进程 名称。 例如， 应用监测模块定时调用 Windows 操作*** API 函数 GetForegroundWindow, 得到当前的前置窗口， 然后通过依次调用 Windows 操作*** API 函数 GetWindowThreadProcessId^ PsGetCurrentProcess 禾口 PsGetProcessImageFi leName以得到焦点应用程序的进程名称。 本发明实施 例提供的第二种方案为：所述应用监测模块在操作***的每个应用程序里预 先安装应用监测指令， 当所述焦点应用程序被前置时， 操作***根据所述应 用监测指令获取被触发的所述焦点应用程序的进程名称， 并将所述焦点应用 程序的进程名称通知到所述应用监测模块。 例如， 使用 Hook技术， 应用监 测模块调用 Windows操作*** API函数 SetWindowsHookEx安装一个钩子， 将钩子函数注入到***中的各应用程序中， 当某个应用程序被选中作为焦点 时， 安装到该应用程序的钩子函数会被调用， 在钩子函数中可以依次调用 Windows操作*** API 函数 GetCurrentProcessId^ PsGetCurrentProcess 和 PsGetProcessImageFi leName最终得到焦点应用程序的进程名称。上述实 施例以 Windows操作***为例，对于服务器中运行 Windows之外其他操作系 统的情况， 如 Linux/UNIX, Mac OS时， 相关进程信息也可通过***中相应 的 API函数获取到， 本发明实施例不再赘述。
应用监测模块在监测到当前的焦点应用程序之后， 可以记录监测到的当 前的焦点应用程序的信息， 或者也可以将焦点应用程序的信息提供给手势转 换模块进行保存， 例如若手势转换模块被设置于客户端时， 将焦点应用程序 的进程名称作为消息发送给客户端， 供其进行手势转换。 三、 用户手势操作信息的捕获
用户操作捕获模块可以识别并捕获的用户的手势操作。 例如：
1 ) 用户点击屏幕的某个位置；
2 ) 用户在屏幕上滑动；
3 ) 用户使用外设键盘鼠标， 或等价物；
4) 用户使用重力感应和陀螺仪相关操作， 如上下左右移动设备， 向 各个方向倾斜设备等。
用户操作捕获模块将捕获到的用户的手势操作的信息发送给手势转换 模块， 供其进行手势转换。
同时，用户操作捕获模块还可以负责检测客户端设备当前已***并激活 的外设， 如 USB手柄， 外接的键盘鼠标。 当发现客户端设备已激活此类外设 时， 则可以禁用手势转换， 拔出外设时自动启用手势转换。 四、 手势转换
手势转换模块负责将用户的手势操作转换成相应键盘鼠标信息， 该模块 可放置于客户端 （如图 2所示）， 也可放置于服务器（如图 3所示）。 手势转 换模块， 可以在客户端和服务器建立远程会话连接时， 从远程桌面管理*** 获取转换策略集合并进行保存。 在连接建立后， 手势转换模块可以不断接收 到用户操作捕获模块发送的用户的手势操作的信息， 也有可能会不断从应用 监测模块接收到当前的焦点应用程序的进程名称， 当然焦点应用程序的进程 名称也有可能并非实时接收而是有需求的时候再去获取。一旦收到用户的手 势操作信息后， 手势转换模块确定所述手势操作的类型， 根据当前的焦点应 用程序的进程名称和所述手势操作的类型， 从转换策略集合查询到相应的鼠 标键盘操作的类型， 并根据所述鼠标键盘操作的类型将用户的手势操作的信 息转换为对应的键盘鼠标信息。 本发明实施例的流程例一
结合图 2所示的***， 本发明实施例的一个流程示例如图 5所示， 本实 施例中， 手势转换由客户端完成， 手势操作的转换流程包括：
S501 : 用户客户端通过远程桌面管理***与用户虚拟机建立远程桌面连 接。
S502: 远程桌面管理***将转换策略集合发送给客户端的手势转换模块， 以使其保存转换策略集合。
所述转换策略集合包含应用程序的信息、 手势操作的类型与鼠标键盘操 作的类型的对应关系； 或者， 所述转换策略集合包含多个转换策略集合， 每 个转换策略集合对应不同的应用程序，所述每个转换策略集合包含手势操作 的类型与鼠标键盘操作的类型的对应关系。
S503 : 用户虚拟机中的某个应用程序模块调用了操作*** API (Appl ication Programming Interface,应用程序编程接口）将其窗口前置， 操作***的窗口管理器可以将该前置窗口对应的应用程序记录为当前的焦 点应用程序， 或者由于用户的操作， 操作***选择了某个应用程序作为焦点 应用程序， 窗口管理器将该应用程序记录为焦点应用程序。
S504: 应用监测模块监测操作***， 以获取窗口管理器中的焦点应用程 序的信息；
如果应用监测模块之前已经记录了焦点应用程序， 还可以对比发现当前 的焦点应用程序是否已经变更， 如果已经变更， 应用监测模块更新记录的焦 点应用程序的信息。
歩骤 S504可以采用两种具体实现方式实现：
S504-a , 应用监测模块定时或者周期性地探测所述用户当前正在操作的 前置窗口的信息， 以及根据所述前置窗口的信息确定所述焦点应用程序的进 程名称。
S504-b， 所述应用监测模块在操作***的每个应用程序里预先安装应用 监测指令， 当所述焦点应用程序被前置时， 操作***根据所述应用监测指令 获取被触发的所述焦点应用程序的进程名称， 并将所述焦点应用程序的进程 名称通知到所述应用监测模块。
S505: 应用监测模块将当前记录的焦点应用程序的信息 （如进程名称） 打包成消息， 并发送给客户端的手势转换模块， 手势转换模块保存该焦点应 用程序的信息。
当然此歩骤也可为可选歩骤， 应用监测模块在获取到最新的焦点应用程 序之后， 可以只是保存当前的焦点应用程序的信息， 并不执行 S505将该焦 点应用程序的信息发送给手势转换模块的歩骤， 而是在后续接收到手势转换 模块的查询请求之后， 再将焦点应用程序的信息发送给手势转换模块。
S506: 在接收到所述焦点应用程序的信息后， 手势转换模块还可以根据 所述焦点应用程序的信息查询转换策略集合， 先确定当前归属的转换策略集 在确定了当前归属的转换策略集合之后， 可以变更当前的转换模式， 使 得后续收到用户的手势操作之后， 直接在当前的转换模式下进行转换， 节约 转换时延， 提高效率。 歩骤 S506 同样为可选执行歩骤， 若转换策略包含了 多个转换策略集合，每个转换策略集合对应一种转换模式，则可以执行 S506 , 若转换策略包含的是应用程序的信息、手势操作的类型与鼠标键盘操作的类 型三者的对应关系， 则 S506无需执行。
S507: 用户操作捕获模块捕获到用户对客户端设备的手势操作， 将用户 的手势操作的信息转发给手势转换模块。
S508: 手势转换模块接收到用户的手势操作的信息后， 确定所述手势操 作的类型， 再查询所述手势操作信息查询歩骤 S506中确定当前归属的转换 策略集合， 确定所述手势操作的类型对应的当前鼠标键盘操作的类型， 再根 据确定的当前鼠标键盘操作的类型，将所述手势操作的信息转换为键盘鼠标 的信息。 若没有查找到相应鼠标键盘操作的类型， 则选择默认鼠标键盘操作 的类型。
如果上述歩骤 S506并未执行， 则手势转换模块接收到用户的手势操作消 息后， 确定所述手势操作的类型， 根据所述焦点应用程序和所述手势操作的 类型查询转换策略集合，确定手势操作的类型对应的当前鼠标键盘操作的类 型， 再根据确定的当前鼠标键盘操作的类型， 将所述手势操作的信息转换为 键盘鼠标的信息。 若没有查找到相应转换策略， 则选择默认转换策略。
S509: 手势转换模块将转换得到的鼠标键盘信息返回给用户操作捕获模 块。
S510: 用户操作捕获模块从手势转换模块中拿到转换好的鼠标键盘消息 后， 将消息打包发送给服务器中用户接入的虚拟机的键鼠模块。
S511 : 键鼠模块将鼠标键盘消息转换成鼠标键盘事件反馈给虚拟机的操 作***。 本发明实施例的流程例二 结合图 3所示的***， 本发明实施例的一个流程示例如图 6所示， 本实 施例中， 手势转换由服务器的虚拟机完成， 手势操作的转换流程包括：
S601 : 用户客户端通过远程桌面管理***与用户虚拟机建立远程桌面连 接。
S602 : 远程桌面管理***将转换策略发送给虚拟机的手势转换模块， 以 使其保存转换策略。
所述转换策略集合包含应用程序的信息、 手势操作的类型与鼠标键盘操 作的类型的对应关系； 或者， 所述转换策略集合包含多个转换策略集合， 每 个转换策略集合对应不同的应用程序，所述每个转换策略集合包含手势操作 的类型与鼠标键盘操作的类型的对应关系。
S603 : 用户虚拟机中的某个应用程序模块调用了操作*** API (Appl ication Programming Interface,应用程序编程接口）将其窗口前置， 操作***的窗口管理器可以将该前置窗口对应的应用程序记录为当前的焦 点应用程序， 或者由于用户的操作， 操作***选择了某个应用程序作为焦点 应用程序， 窗口管理器将该应用程序记录为焦点应用程序。
S604: 应用监测模块监测操作***， 获取窗口管理器中的焦点应用程序； 如果应用监测模块之前已经记录了焦点应用程序，可以对比发现当前的焦点 应用程序是否已经变更， 如果已经变更， 应用监测模块更新记录的焦点应用 程序的信息。
歩骤 S604可以的具体实现方式与上述图 5中的 S504类似， 在此不再赘 述。
S605: 应用监测模块将当前记录的焦点应用程序的信息 （如进程名称） 打包成消息， 发送给手势转换模块， 手势转换模块保存该焦点应用程序的信 息。
当然此歩骤也可为可选歩骤， 应用监测模块在获取到最新的焦点应用程 序之后， 可以只是保存当前的焦点应用程序的信息， 并不执行 S605将该焦 点应用程序的信息发送给手势转换模块， 而是在后续接收到手势转换模块的 查询请求之后， 再将焦点应用程序的信息发送给手势转换模块。
S606: 在接收到所述焦点应用程序的信息后， 手势转换模块还可以根据 所述焦点应用程序的信息查询转换策略， 先确定所述焦点应用程序对应的转 换策略集合。
在确定了对应的转换策略集合之后， 可以变更转换模式， 使得后续收到 用户的手势操作之后， 直接在对应的转换模式下进行转换， 节约转换时延， 提高效率。 歩骤 S606 同样为可选执行歩骤， 若转换策略包含了多个转换策 略集合， 每个转换策略集合对应一种转换模式， 则可以执行 S606 , 若转换策 略包含的是应用程序的信息、手势操作的类型与鼠标键盘操作的类型三者的 对应关系， 则 S606无需执行。
S607: 客户端的用户操作捕获模块捕获到用户对客户端设备的手势操作， 将用户的手势操作的信息通过远程会话连接转发给虚拟机的键鼠模块。
S608: 键鼠模块将手势操作的信息发送给手势转换模块， 请求手势操作 的转换。
S609: 手势转换模块接收到用户的手势操作的信息后， 确定所述手势操 作的类型， 再查询所述手势操作信息查询歩骤 S606中确定当前归属的转换 策略集合 （或者确定当前的转换模式）， 确定所述手势操作的类型对应的当 前鼠标键盘操作的类型， 再根据确定的当前鼠标键盘操作的类型， 将所述手 势操作的信息转换为键盘鼠标的信息。若没有查找到相应鼠标键盘操作的类 型， 则选择默认鼠标键盘操作的类型。
如果上述歩骤 S606并未执行， 则手势转换模块接收到用户的手势操作消 息后， 确定所述手势操作的类型， 根据所述焦点应用程序和所述手势操作的 类型查询转换策略集合，确定手势操作的类型对应的当前鼠标键盘操作的类 型， 再根据确定的当前鼠标键盘操作的类型， 将所述手势操作的信息转换为 键盘鼠标的信息。 若没有查找到相应转换策略， 则选择默认转换策略。 S610: 手势转换模块将转换得到的鼠标键盘的信息返回给键鼠模块。 S611 : 键鼠模块将鼠标键盘消息转换成鼠标键盘事件反馈给虚拟机的操 作***。 上述两个流程实施例， 由于提前预置了包含应用程序、 手势操作的类型 与键盘鼠标操作的类型三者之间的对应关系的转换策略集合， 并且虚拟机中 还增设应用监测模块实时监测用户当前操作的焦点应用程序的信息， 使得手 势转换模块可以获取到用户的手势操作之后， 确定当前的焦点应用程序， 并 根据焦点应用程序和手势操作的类型去匹配转换策略集合，从而自动将用户 的手势操作转换成了适应当前应用场景的鼠标键盘信息， 该方法使得用户在 不同的操作场景中无需指定手势操作方案， 即可采用该操作场景适应的手 势， 提升了用户体验和***效率。 结合上述两个完整的流程实施例， 本发明实施例提供的实现手势转换的 方法可以概括为：
( 1 ) 由客户端实现：
接收用户的手势操作的信息；
获取用户当前操作的焦点应用程序的信息； 根据所述焦点应用程序的信息匹配预置的转换策略，将所述手势操作的 信息转换为鼠标键盘信息，所述转换策略指示每种应用程序下的不同手势操 作类型对应的键盘鼠标操作的类型。
( 2 ) 由服务器实现：
在建立与客户端的远程会话连接后，接收所述客户端发送的用户的手势 操作的信息；
确定所述用户当前操作的焦点应用程序的信息；
根据所述焦点应用程序的信息匹配预置的转换策略，将所述手势操作的 信息转换为鼠标键盘信息，所述转换策略指示每种应用程序下的不同手势操 作类型对应的键盘鼠标操作的类型。
另外， 上述图 2和图 3， 图 5和图 6所示的应用场景皆为远程桌面应用 的场景， 而实际上， 本发明也可以应用于非远程应用的场景， 例如， 客户端 单机执行业务， 此时， 上述实施例中所述的用户操作捕获模块、 应用监测模 块和手势转换模块皆安装在客户端自身上， 本领域技术人员可以在客户端上 实现本发明实施例所提供的方法。
如图 7， 为本发明实施例的计算机的结构组成示意图。 本发明实施例的 计算机可包括：
处理器 701、 存储器 702、 ***总线 704和通信接口 705。 CPU70K 存储 器 702和通信接口 705之间通过***总线 704连接并完成相互间的通信。
处理器 701可能为单核或多核中央处理单元， 或者为特定集合成电路， 或者为被配置成实施本发明实施例的一个或多个集合成电路。
存储器 702可以为高速 RAM存储器， 也可以为非易失性存储器
( non-volati le memory ) , 例如至少一个磁盘存储器。
存储器 702用于计算机执行指令 703。 具体的， 计算机执行指令 703中 可以包括程序代码。
当计算机运行时， 处理器 701运行计算机执行指令 703， 可以执行本发 明实施例任意一个实施例所提供的方法。
本领域普通技术人员将会理解， 本发明的各个方面、 或各个方面的可能 实现方式可以被具体实施为***、 方法或者计算机程序产品。 因此， 本发明 的各方面、 或各个方面的可能实现方式可以采用完全硬件实施例、 完全软件 实施例 （包括固件、 驻留软件等等）， 或者组合软件和硬件方面的实施例的 形式， 在这里都统称为 "电路" 、 "模块"或者 "***" 。 此外， 本发明的 各方面、 或各个方面的可能实现方式可以采用计算机程序产品的形式， 计算 机程序产品是指存储在计算机可读介质中的计算机可读程序代码。
计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。 计算机可读存储介质包含但不限于电子、 磁性、 光学、 电磁、 红外或半导体 ***、 设备或者装置，或者前述的任意适当组合，如随机存取存储器 （RAM)、 只读存储器 （R0M)、 可擦除可编程只读存储器 (EPR0M或者快闪存储器）、 光 纤、 便携式只读存储器 (CD-ROM)。
计算机中的处理器读取存储在计算机可读介质中的计算机可读程序代 码， 使得处理器能够执行在流程图中每个歩骤、 或各歩骤的组合中规定的功 能动作；生成实施在框图的每一块、或各块的组合中规定的功能动作的装置。
计算机可读程序代码可以完全在用户的计算机上执行、部分在用户的计 算机上执行、 作为单独的软件包、 部分在用户的计算机上并且部分在远程计 算机上， 或者完全在远程计算机或者服务器上执行。 也应该注意， 在某些替 代实施方案中， 在流程图中各歩骤、 或框图中各块所注明的功能可能不按图 中注明的顺序发生。 例如， 依赖于所涉及的功能， 接连示出的两个歩骤、 或 两个块实际上可能被大致同时执行， 或者这些块有时候可能被以相反顺序执 行。
本领域普通技术人员可以意识到， 结合本文中所公开的实施例描述的各 示例的单元及算法歩骤， 能够以电子硬件、 或者计算机软件和电子硬件的结 合来实现。 这些功能究竟以硬件还是软件方式来执行， 取决于技术方案的特 定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方 法来实现所描述的功能， 但是这种实现不应认为超出本发明的范围。
以上所述， 仅为本发明的具体实施方式， 但本发明的保护范围并不局限 于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内， 可轻易 想到变化或替换， 都应涵盖在本发明的保护范围之内。 因此， 本发明的保护 范围应所述以权利要求的保护范围为准。

Claims

权利 要求
1、 一种手势操作的转换方法， 其特征在于， 包括：
接收用户的手势操作的信息；
获取用户当前操作的焦点应用程序的信息；
根据所述焦点应用程序的信息匹配预置的转换策略，将所述手势操作的 信息转换为鼠标键盘信息，所述转换策略指示每种应用程序下的不同手势操 作类型对应的键盘鼠标操作的类型。
2、 根据权利要求 1所述的方法， 其特征在于， 还包括：
获取转换策略集合， 所述转换策略集合包含应用程序的信息、 手势操作 的类型与鼠标键盘操作的类型的对应关系；
则所述根据所述焦点应用程序的信息，将所述手势操作信息转换为鼠标 键盘信息， 包括：
确定所述手势操作的类型；
根据所述焦点应用程序的信息和所述手势操作的类型查询所述转换策 略集合， 确定当前鼠标键盘操作的类型；
根据所述当前鼠标键盘操作的类型，将所述手势操作的信息转换为键盘 鼠标的信息。
3、 根据权利要求 1所述的方法， 其特征在于， 还包括：
获取多个转换策略集合，其中，每个转换策略集合对应不同的应用程序， 所述每个转换策略集合包含手势操作的类型与鼠标键盘操作的类型的对应 则所述根据所述焦点应用程序的信息，将所述手势操作信息转换为鼠标 键盘信息， 包括：
根据所述焦点应用程序的信息， 确定当前归属的转换策略集合； 确定所述手势操作的类型；
根据所述手势操作的类型查询所述当前归属的转换策略集合，确定当前 鼠标键盘操作的类型；
根据所述当前鼠标键盘操作的类型，将所述手势操作的信息转换为键盘 鼠标的信息。
4、 根据权利要求 1-3任一项所述的方法， 其特征在于， 所述接收用户 的手势操作信息之前， 还包括：
建立与服务器的远程会话连接；
所述将所述手势操作的信息转换为鼠标键盘信息之后， 还包括： 将所述鼠标键盘信息通过所述远程会话连接发送到所述服务器。
5、 根据权利要求 4所述的方法， 其特征在于， 所述获取用户当前操作 的焦点应用程序的信息包括：
向所述服务器发送查询请求， 以及获取所述服务器通过所述远程会话连 接发送的所述焦点应用程序的信息； 或者，
获取自身保存的所述服务器通过远程会话连接发送的所述焦点应用程 序的信息。
6、 根据权利要求 1-3任一项所述的方法， 其特征在于， 还包括： 监测所述用户当前操作的焦点应用程序的信息；
所述获取用户当前操作的焦点应用程序的信息包括：
获取监测得到的所述用户当前操作的焦点应用程序的信息。
7、 根据权利要求 6所述的方法， 其特征在于， 所述监测所述用户当前 操作的焦点应用程序的信息， 包括：
定时探测所述用户当前操作的前置窗口的信息， 根据所述前置窗口的信 息确定所述焦点应用程序的进程名称； 或者，
在操作***的每个应用程序里预先安装应用监测指令， 当所述焦点应用 程序被前置时， 使得所述操作***根据所述应用监测指令获取被触发的所述 焦点应用程序的进程名称， 从所述操作***获取并保存所述焦点应用程序的 进程名称。
8、 一种手势操作的转换方法， 其特征在于， 包括：
在建立与客户端的远程会话连接后，接收所述客户端发送的用户的手势 操作的信息；
确定所述用户当前操作的焦点应用程序的信息；
根据所述焦点应用程序的信息匹配预置的转换策略，将所述手势操作的 信息转换为鼠标键盘信息，所述转换策略指示每种应用程序下的不同手势操 作类型对应的键盘鼠标操作的类型。
9、 根据权利要求 8所述的方法， 其特征在于， 还包括：
获取转换策略集合， 所述转换策略集合包含应用程序的信息、 手势操作 的类型与鼠标键盘操作的类型的对应关系；
则所述根据所述焦点应用程序的信息，将所述手势操作信息转换为鼠标 键盘信息， 包括：
确定所述手势操作的类型；
根据所述焦点应用程序的信息和所述手势操作的类型查询所述转换策 略集合， 确定当前鼠标键盘操作的类型；
根据所述当前鼠标键盘操作的类型，将所述手势操作的信息转换为键盘 鼠标的信息。
10、 根据权利要求 8所述的方法， 其特征在于， 还包括：
获取多个转换策略集合，其中，每个转换策略集合对应不同的应用程序， 所述每个转换策略集合包含手势操作的类型与鼠标键盘操作的类型的对应 则所述根据所述焦点应用程序的信息，将所述手势操作信息转换为鼠标 键盘信息， 包括：
根据所述焦点应用程序的信息， 确定当前归属的转换策略集合； 确定所述手势操作的类型；
根据所述手势操作的类型查询所述当前归属的转换策略集合，确定当前 鼠标键盘操作的类型；
根据所述当前鼠标键盘操作的类型，将所述手势操作的信息转换为键盘 鼠标的信息。
11、 根据权利要求 8-10任一项所述的方法， 其特征在于， 所述将所述 手势操作的信息转换为鼠标键盘信息之后， 还包括：
将所述鼠标键盘信息转换为键盘鼠标事件， 向操作***通知所述键盘鼠 标事件。
12、 根据权利要求 8-11任一项所述的方法， 其特征在于， 还包括： 监测所述用户当前操作的焦点应用程序的信息；
所述获取用户当前操作的焦点应用程序的信息包括：。
获取监测得到的所述用户当前操作的焦点应用程序的信息。
13、 根据权利要求 12所述的方法， 其特征在于， 所述监测所述用户当 前操作的焦点应用程序的信息， 包括：
定时探测所述用户当前操作的前置窗口的信息， 根据所述前置窗口的信 息确定所述焦点应用程序的进程名称； 或者，
在操作***的每个应用程序里预先安装应用监测指令， 当所述焦点应用 程序被前置时， 使得所述操作***根据所述应用监测指令获取被触发的所述 焦点应用程序的进程名称， 从所述操作***获取并保存所述焦点应用程序的 进程名称。
14、 一种客户端设备， 其特征在于， 用于实现用户的手势操作的转换， 包括：
用户操作捕获模块， 用于捕获用户的手势操作的信息， 并将所述手势操 作的信息发送给手势转换模块请求手势转换；
手势转换模块， 用于获取用户当前操作的焦点应用程序的信息； 手势转换模块，还用于根据所述焦点应用程序的信息匹配预置的转换策 略， 将所述手势操作的信息转换为鼠标键盘信息， 所述转换策略指示每种应 用程序下的不同手势操作类型对应的键盘鼠标操作的类型。
15、 根据权利要求 14所述的客户端设备， 其特征在于， 所述手势操作 转换模块具体用于获取转换策略集合，所述转换策略集合包含应用程序的信 息、 手势操作的类型与鼠标键盘操作的类型的对应关系； 确定所述手势操作 的类型， 根据所述用户操作捕获模块获取的所述焦点应用程序的信息和所述 手势操作的类型查询所述第一策略模块获取的所述转换策略集合，确定当前 鼠标键盘操作的类型， 根据所述当前鼠标键盘操作的类型， 将所述手势操作 的信息转换为键盘鼠标的信息。
16、 根据权利要求 14所述的客户端设备， 其特征在于， 所述手势转换 模块， 具体用于获取多个转换策略集合， 其中， 每个转换策略集合对应不同 的应用程序，所述每个转换策略集合包含手势操作的类型与鼠标键盘操作的 类型的对应关系； 根据所述焦点应用程序的信息， 确定当前归属的转换策略 集合， 确定所述手势操作的类型， 根据所述用户操作捕获模块获取的所述手 势操作的类型查询所述当前归属的转换策略集合，确定当前鼠标键盘操作的 类型， 根据所述当前鼠标键盘操作的类型， 将所述手势操作的信息转换为键 盘鼠标的信息。
17、 根据权利要求 14-16任一项所述的客户端设备， 其特征在于， 所述 用户操作捕获模块还用于建立与服务器的远程会话连接，从所述手势转换模 块获取转换得到的鼠标键盘的信息， 并将所述鼠标键盘信息通过所述远程会 话连接发送到所述服务器。
18、 根据权利要求 17所述的客户端设备， 其特征在于， 所述手势转换 模块具体用于向所述服务器发送查询请求， 以及获取所述服务器通过所述远 程会话连接发送的所述焦点应用程序的信息； 或者， 获取自身保存的所述服 务器通过远程会话连接发送的所述焦点应用程序的信息。
19、 根据权利要求 14-16任一项所述的客户端设备， 其特征在于， 还包 括： 应用监测模块， 用于监测所述用户当前操作的焦点应用程序的信息； 所述手势转换模块具体用于获取监测得到的所述用户当前操作的焦点 应用程序的信息。
20、 根据权利要求 19所述的客户端设备， 其特征在于， 所述应用监测 模块， 具体用于定时探测所述用户当前操作的前置窗口的信息， 根据所述前 置窗口的信息确定所述焦点应用程序的进程名称； 或者， 在操作***的每个 应用程序里预先安装应用监测指令， 当所述焦点应用程序被前置时， 使得所 述操作***根据所述应用监测指令获取被触发的所述焦点应用程序的进程 名称， 从所述操作***获取并保存所述焦点应用程序的进程名称。
21、一种服务器，其特征在于，用于实现客户端的用户手势操作的转换， 包括：
键鼠模块， 用于在建立与客户端的远程会话连接后， 接收所述客户端发 送的用户的手势操作的信息；
手势转换模块， 用于确定所述用户当前操作的焦点应用程序的信息； 手势转换模块，还用于根据所述焦点应用程序的信息匹配预置的转换策 略， 将所述手势操作的信息转换为鼠标键盘信息， 所述转换策略指示每种应 用程序下的不同手势操作类型对应的键盘鼠标操作的类型。
22、 根据权利要求 21所述的服务器， 其特征在于， 所述手势转换模块， 具体用于获取转换策略集合， 所述转换策略集合包含应用程序的信息、 手势 操作的类型与鼠标键盘操作的类型的对应关系； 确定所述手势操作的类型， 根据所述用户操作捕获模块获取的所述焦点应用程序的信息和所述手势操 作的类型查询所述第一策略模块获取的所述转换策略集合，确定当前鼠标键 盘操作的类型， 根据所述当前鼠标键盘操作的类型， 将所述手势操作的信息 转换为键盘鼠标的信息。
23、 根据权利要求 21所述的服务器， 其特征在于， 所述手势转换模块， 具体用于获取多个转换策略集合， 其中， 每个转换策略集合对应不同的应用 程序，所述每个转换策略集合包含手势操作的类型与鼠标键盘操作的类型的 对应关系； 根据所述焦点应用程序的信息， 确定当前归属的转换策略集合， 确定所述手势操作的类型， 根据所述用户操作捕获模块获取的所述手势操作 的类型查询所述当前归属的转换策略集合， 确定当前鼠标键盘操作的类型， 根据所述当前鼠标键盘操作的类型，将所述手势操作的信息转换为键盘鼠标 的信息。
24、 根据权利要求 21-23任一项所述的服务器， 其特征在于， 所述手势 转换模块还用于将转换得到的鼠标键盘信息发送给所述键鼠模块；
所述键鼠模块， 还用于将所述鼠标键盘信息转换为键盘鼠标事件， 向操 作***通知所述键盘鼠标事件。
25、 根据权利要求 21-24任一项所述的服务器， 其特征在于， 还包括 应用监测模块， 用于监测所述用户当前操作的焦点应用程序的信息； 所述手势转换模块具体用于获取监测得到的所述用户当前操作的焦点 应用程序的信息。
26、 根据权利要求 25所述的服务器， 其特征在于， 所述应用监测模块， 具体用于定时探测所述用户当前操作的前置窗口的信息，根据所述前置窗口 的信息确定所述焦点应用程序的进程名称； 或者， 在操作***的每个应用程 序里预先安装应用监测指令， 当所述焦点应用程序被前置时， 使得所述操作 ***根据所述应用监测指令获取被触发的所述焦点应用程序的进程名称， 从 所述操作***获取并保存所述焦点应用程序的进程名称。
27、一种远程会话***，其特征在于，用于实现用户的手势操作的转换， 包括：
客户端设备， 用于建立与服务器的远程会话连接， 接收用户的手势操作 的信息， 获取用户当前操作的焦点应用程序的信息， 根据所述焦点应用程序 的信息匹配预置的转换策略， 将所述手势操作的信息转换为鼠标键盘信息， 所述转换策略指示每种应用程序下的不同手势操作类型对应的键盘鼠标操 作的类型， 以及将所述鼠标键盘信息通过所述远程会话连接发送到所述服务 器；
服务器， 用于监测所述用户当前操作的焦点应用程序的信息， 并将监测 得到的所述焦点应用程序的信息发送给所述客户端设备。
28、一种远程会话***，其特征在于，用于实现用户的手势操作的转换， 包括：
客户端设备， 用于建立与服务器的远程会话连接， 捕获用户的手势操作 的信息， 并将所述手势操作的信息通过所述远程会话连接发送给服务器； 服务器， 用于接收所述客户端发送的用户的手势操作的信息， 确定所述 用户当前操作的焦点应用程序的信息， 根据所述焦点应用程序的信息匹配预 置的转换策略， 将所述手势操作的信息转换为鼠标键盘信息， 所述转换策略 指示每种应用程序下的不同手势操作类型对应的键盘鼠标操作的类型。
29、 一种计算机， 其特征在于， 包括： 处理器、 存储器、 总线和通信接
P ;
所述存储器用于存储计算机执行指令， 所述处理器与所述存储器通过 所述总线连接， 当所述计算机运行时， 所述处理器执行所述存储器存储的 所述计算机执行指令， 以使所述计算机执行如权利要求 1-13任意一项所述 的方法。
30、 一种计算机可读介质， 其特征在于， 包括计算机执行指令， 当计 算机的处理器执行所述计算机执行指令时， 所述计算机执行如权利要求 1-13任意一项所述的方法。
PCT/CN2013/088256 2013-11-30 2013-11-30 一种手势操作的转换方法和装置 WO2015078020A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380002623.6A CN105027054A (zh) 2013-11-30 2013-11-30 一种手势操作的转换方法和装置
PCT/CN2013/088256 WO2015078020A1 (zh) 2013-11-30 2013-11-30 一种手势操作的转换方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/088256 WO2015078020A1 (zh) 2013-11-30 2013-11-30 一种手势操作的转换方法和装置

Publications (1)

Publication Number Publication Date
WO2015078020A1 true WO2015078020A1 (zh) 2015-06-04

Family

ID=53198259

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/088256 WO2015078020A1 (zh) 2013-11-30 2013-11-30 一种手势操作的转换方法和装置

Country Status (2)

Country Link
CN (1) CN105027054A (zh)
WO (1) WO2015078020A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961289A (zh) * 2021-10-19 2022-01-21 北京百度网讯科技有限公司 一种数据处理方法、装置、设备以及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112274916B (zh) * 2020-11-20 2024-05-31 杭州雾联科技有限公司 一种键鼠输入方法、装置、设备及介质
CN113064483A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种手势识别方法以及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200830A (zh) * 2010-03-25 2011-09-28 夏普株式会社 基于静态手势识别的非接触控制***和控制方法
CN102323875A (zh) * 2011-10-26 2012-01-18 中国人民解放军国防科学技术大学 基于鼠标事件的多点触摸手势交互方法及中间件
CN102855077A (zh) * 2011-07-01 2013-01-02 宫润玉 多功能触控板模式切换方法
CN103019687A (zh) * 2012-11-20 2013-04-03 北京奇虎科技有限公司 用于弹窗信息的展示方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102778954B (zh) * 2012-06-29 2016-05-11 Tcl集团股份有限公司 一种手势操作管理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200830A (zh) * 2010-03-25 2011-09-28 夏普株式会社 基于静态手势识别的非接触控制***和控制方法
CN102855077A (zh) * 2011-07-01 2013-01-02 宫润玉 多功能触控板模式切换方法
CN102323875A (zh) * 2011-10-26 2012-01-18 中国人民解放军国防科学技术大学 基于鼠标事件的多点触摸手势交互方法及中间件
CN103019687A (zh) * 2012-11-20 2013-04-03 北京奇虎科技有限公司 用于弹窗信息的展示方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961289A (zh) * 2021-10-19 2022-01-21 北京百度网讯科技有限公司 一种数据处理方法、装置、设备以及存储介质
WO2023066183A1 (zh) * 2021-10-19 2023-04-27 北京百度网讯科技有限公司 数据处理方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN105027054A (zh) 2015-11-04

Similar Documents

Publication Publication Date Title
JP6141361B2 (ja) コンテキストアウェアネス近接度ベースの、ワイヤレス通信接続の確立
EP3525417A1 (en) Data processing method, device, storage medium, electronic device and server
JP5743174B2 (ja) シンクライアントサーバシステム及びｕｓｂデバイスのドライバの管理方法
WO2015090248A1 (zh) 服务器的过载保护方法及装置
US20130271672A1 (en) Television manipulation method, handheld device, television, and television manipulation system
JP2015513815A (ja) デバイス制御方法および装置
EP2849080B1 (en) Image display method and device
WO2019029618A1 (zh) Ims语音通话网络的切换方法、存储设备及移动终端
WO2014101213A1 (zh) 鼠标同步的方法、装置和***
US20170168766A1 (en) Content displaying method and device
WO2017096909A1 (zh) 建立数据连接的方法及装置
WO2018040813A1 (zh) 音视频通信方法、终端、服务器及存储介质
US20230138804A1 (en) Enhanced video call method and system, and electronic device
JP2016519913A (ja) 話中回線を処理する方法、装置、およびシステム
CN111245854B (zh) 一种媒体传输方法、媒体控制方法及装置
EP2658304A1 (en) Setting an Optimal Ping Interval
WO2018161788A1 (zh) 多媒体数据共享方法及装置
WO2015172447A1 (zh) 一种云桌面迁移的方法、装置及分布式云桌面***
WO2015062234A1 (zh) 移动终端资源处理方法、装置和设备
WO2015078020A1 (zh) 一种手势操作的转换方法和装置
EP4242826A1 (en) Enhanced screen sharing method and system and electronic device
JP6163788B2 (ja) 通信端末、通信方法、及びプログラム
US10628078B2 (en) Data access method and related device
WO2016095449A1 (zh) 一种虚拟桌面的显示方法、终端和存储介质
WO2014139428A1 (en) Biometric recognition based session matching and routing

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380002623.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13898196

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13898196

Country of ref document: EP

Kind code of ref document: A1