CN113296865B - 一种云桌面鼠标位置感知与鼠标操作事件管理方法 - Google Patents

一种云桌面鼠标位置感知与鼠标操作事件管理方法 Download PDF

Info

Publication number
CN113296865B
CN113296865B CN202110589599.7A CN202110589599A CN113296865B CN 113296865 B CN113296865 B CN 113296865B CN 202110589599 A CN202110589599 A CN 202110589599A CN 113296865 B CN113296865 B CN 113296865B
Authority
CN
China
Prior art keywords
mouse
cloud desktop
information
data
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110589599.7A
Other languages
English (en)
Other versions
CN113296865A (zh
Inventor
李凡
王流一
陈刚
马勇
张锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Haiyou Science And Technology Co ltd
Original Assignee
Guizhou Haiyou Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Haiyou Science And Technology Co ltd filed Critical Guizhou Haiyou Science And Technology Co ltd
Priority to CN202110589599.7A priority Critical patent/CN113296865B/zh
Publication of CN113296865A publication Critical patent/CN113296865A/zh
Application granted granted Critical
Publication of CN113296865B publication Critical patent/CN113296865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供了一种云桌面鼠标位置感知与鼠标操作事件管理方法，将原有通过访问GPU直通云桌面虚拟单元时鼠标渲染模式调整为客户端渲染模式，同时将终端鼠标位置信息、鼠标控制事件等信息传至云桌面虚拟单元，同时云桌面虚拟单元内鼠标图形图像根据应用变化而变化时，通知终端绘制正确的鼠标图像。从而解决在直通GPU设备的云桌面中，其鼠标移动、鼠标位置与鼠标图像存在显示延迟的问题。

Description

一种云桌面鼠标位置感知与鼠标操作事件管理方法
技术领域
本发明涉及虚拟化和云计算领域，特别是涉及一种云桌面鼠标位置感知与鼠标操作事件管理方法。
背景技术
目前基于QEMU-KVM的虚拟化云桌面根据图形渲染使用场景分类，主要包含面向普通办公环境以及三维设计环境等两大类。在虚拟化云桌面中图形渲染所使用的显卡主要有纯虚拟显卡以及物理主机GPU直通两种方式，其中纯虚拟显卡主要用于常规图形显示，涉及到三维设计等软件使用时，必须采用物理机GPU直通方式来提高图形处理性能。
用于直通的物理机GPU根据是否共享使用，分为整体GPU直通及基于SR-IOV的GPU直通。
SR-IOV即Single-Root I/O Virtualization，这种虚拟化技术（通过PCI-SpecialInterest Group或PCI-SIG创建）在单根复杂实例中提供设备虚拟化。
通过SR-IOV，一个PCIe设备不仅可以导出多个PCI物理功能，还可以导出共享该I/O设备上的资源的一组虚拟功能。在该模型中，不需要任何透传，因为虚拟化在主机设备上发生，从而允许管理程序简单地将虚拟功能映射到云桌面虚拟机上以实现本机设备功能、性能和隔离安全。
SR-IOV规范的目标为每个云桌面虚拟机的直通设备提供独立内存空间、中断和Direct Memory Access（DMA）流。SR-IOV架构的设计允许一个I/O设备支持多个虚拟功能，同时将每个功能的硬件成本降至最低。
直通至云桌面虚拟机内的GPU设备即可作为操作***（如：Windows）使用的显卡，可用于图形渲染以及高性能计算等功能。
在直通GPU设备的云桌面中，云桌面虚拟机内的鼠标渲染模式分为服务器渲染和客户端渲染两种模式。
当采用服务端渲染模式时，鼠标位置与图像能正常显示，但存在移动延迟，用户体验不佳的问题，这是因为这种渲染模式下的传输方式受到传输过程中网络带宽或者其他传输过程中干扰因素的影响；当采用客户端渲染模式时，使用GPU直通，此情况下的图片渲染是对背景图像进行一次性绘制，只要背景图像不发生变化，图像就不需要重传，将直接在客户端进行渲染，而由于鼠标的前景移动轨迹发生变化的同时，会造成背景图像跟随发生相应的变化，从而需要在客户端进行二次背景图像的渲染，造成鼠标图形无法正常显示到终端问题。
发明内容
有鉴于此，本发明提出一种云桌面鼠标位置感知与鼠标操作事件管理方法，用于问题。
为解决上述技术问题，本发明采用的一个技术方案是：提出一种云桌面鼠标位置感知与鼠标操作事件管理方法，其特征在于,包括以下步骤：
步骤一，云桌面虚拟单元鼠标渲染模式设置为客户端渲染，终端计算机单元通过基于开源的spice协议连接到虚拟机管理单元，发送鼠标配置信息和终端计算机单元分辨率信息，并切换到vGPU显示模式；
步骤二，鼠标管理控制模块监控终端鼠标位置、终端鼠标控制事件，将事件信息信令通过鼠标事件协商协议发送至虚拟机管理单元；
步骤三，虚拟机管理单元收到所述事件信息信令后，调用信令发送模块将事件信息信令发送到云桌面虚拟单元内的vGPU管理器；
步骤四， vGPU管理器的数据获取模块接收到事件信息信令后，调用鼠标管理模块进行像素比例调整，控制点划分，模拟执行云桌面虚拟单元的鼠标动作；
步骤五，vGPU管理器的鼠标管理模块监控到云桌面虚拟单元的鼠标图形图像变化后，开始处理事件信息信令，并将处理后的数据信息转换为鼠标图像信息通过数据发送模块发送给VMM信令接收模块；
步骤六，VMM信令接收模块收到鼠标图像信息后，调用VMM信令发送模块，将数据信息发送到终端数据接收模块；
步骤七，终端计算机单元收到数据信息后，成像模块开始模拟描绘渲染图像。
进一步的，所述鼠标配置信息，包括默认鼠标配置信息以及个性化鼠标配置信息。
进一步的，所述步骤五还包括：鼠标管理模块在启动后开始监控云桌面虚拟单元内的鼠标图形图像变化事件；
其中，鼠标管理模块在监控到鼠标图形图像发生变化后，将当前鼠标图像转化为标准bitmap图像数据，将操作事件转化为I/O流数据。
进一步的，所述通过鼠标事件协商协议发送至虚拟机管理单元，包括：
鼠标管理控制模块发送数据至虚拟机管理单元，虚拟机管理单元接收到信息数据后操作***由默认状态切换为中间态来处理数据；
vGPU管理器接收到数据后，操作***由中间态切换到内核态调用vGPU管理器中的鼠标管理模块进行鼠标动作模拟；
鼠标管理模块监测到鼠标位置信息变化后，操作***由内核态切换为中间态进行数据处理；
vGPU调用管理控制模块，发送鼠标图像信息到虚拟机管理单元；
VMM信令接收模块收到信令数据后，操作***切换至用户态使用VMM信令发送模块，发送至终端计算机单元；
所述默认状态为用户态；
所述中间态是操作***处于用户态与核心态之间的一种状态，***核心态指的是R0，用户态指的是R3，中间态指R1、R2；***中一共有四个权限级别，R1和R2运行设备驱动，R0到R3权限依次降低，R0和R3的权限分别为最高和最低。
进一步的，所述终端鼠标位置包括鼠标的实时移动的位置信息；
所述终端鼠标控制事件包括左击、右击和双击；
所述终端鼠标位置，传输时转换为图像数据进行传输；
所述终端鼠标控制事件，传输时通过I/O流通道进行传输。
进一步的，所述像素比例调整包括：
云桌面虚拟单元获取终端计算机单元的分辨率信息和显示窗口大小，得到终端有效显示像素值；
对比云桌面虚拟单元有效显示像素进行比例计算；
根据传输到云桌面虚拟单元的鼠标事件信息的绝对位置坐标，按比例转换，计算出绝对值信息；
所述绝对值信息为云桌面虚拟单元显示设备上的鼠标具体坐标位置数据。
进一步的，所述比例计算为计算终端计算机单元和云桌面虚拟单元的有效像素比值关系，根据比值的大小进而调整鼠标在云桌面虚拟单元上显示的位置，从而实现本地终端与云桌面虚拟单元上显示的位置相对一致。
进一步的，所述控制点划分包括：
鼠标事件的传输过程中在移动轨迹上划分中间控制点，对轨迹图像信息进行分段传输。
进一步的，所述控制点的划分对应移动轨迹中的拐点，控制点与控制点之间的连接方式近似为直线。
进一步的，所述vGPU管理器的数据获取模块接收到事件信息信令后，判断传输时间是否超过感知阈值时间：
若小于等于阈值，则进行后续操作；
若大于阈值时间，则发送超时提示。
本发明的有益效果在于：将GPU直通云桌面虚拟单元的鼠标渲染模式由服务器渲染更改为客户端渲染，客户端渲染具有传输速度快的特点，可以将终端鼠标位置、控制事件等信息快速传至云桌面虚拟单元，同时云桌面虚拟单元内鼠标图形图像根据应用变化而变化，快速通知终端计算机单元绘制正确的鼠标图像。
附图说明
图1是本发明一种云桌面鼠标位置感知与鼠标操作事件管理方法的鼠标传输协商协议的工作流程图。
图2是本发明一种云桌面鼠标位置感知与鼠标操作事件管理方法的***结构图。
图3是本发明一种云桌面鼠标位置感知与鼠标操作事件管理方法的一实施例的鼠标操作示意图。
图4是本发明一种云桌面鼠标位置感知与鼠标操作事件管理方法的一实施例的鼠标事件传输示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请涉及一种云桌面鼠标位置感知与鼠标操作事件管理方法，该方法所基于的***，包括：虚拟云服务器和多个终端计算机单元，所述虚拟云服务器由物理主机、Hypervisor层、云桌面层组成；
所述物理主机用于提供硬件资源；
所述云桌面层中至少包括一个云桌面虚拟单元；
进一步的，所述云桌面虚拟单元，包含VMM及部署在VMM中的vGPU、vGPU代理；
所述vGPU为虚拟机操作***使用的显卡，用于3D计算以及2D渲染；
所述vGPU代理用于vGPU图像数据获取、H264视频压缩编码、视频流数据发送以及检测vGPU是否正常驱动、操作***版本、显示分辨率和颜色位；
其中，云桌面虚拟单元内的鼠标渲染模式分为服务器渲染和客户端渲染两种模式。
所述服务器渲染：鼠标渲染模式在云桌面服务器内进行模拟渲染。
所述客户端渲染：鼠标渲染模式在终端进行模拟渲染。
所述Hypervisor层中至少包含一个虚拟机管理单元，所述虚拟机管理单元与所述云桌面虚拟单元一一对应连接；
所述终端计算机单元，与所述虚拟机管理单元一一对应连接；
进一步的，所述物理主机包含至少一个物理GPU；
其中，物理GPU通过SR-IOV导出多个提供GPU计算功能的vGPU。
进一步的，所述虚拟机管理单元，包括VMM及部署在VMM中的：
VMM信令发送模块，用于向终端数据接收模块发送图像或I/O流数据；将信令数据发送到云桌面虚拟单元的vGPU管理器；
VMM信令接收模块，用于接收终端发送的图像或I/O流数据和vGPU数据发送模块发送的数据信息。
进一步的，所述终端计算机单元，包括终端计算机及部署在终端计算机上的终端数据发送模块、终端数据接收模块、鼠标管理控制模块、成像模块；
所述终端数据发送模块，用于向VMM信令接收模块发送图像或I/O流数据；
所述终端数据接收模块，用于接收VMM信令发送模块的图像或I/O流数据；
所述鼠标管理控制模块,用于监控终端鼠标位置、终端鼠标控制事件；
所述成像模块，用于模拟渲染鼠标动作事件。
进一步的，所述vGPU管理器，包括鼠标管理模块、数据获取模块、数据发送模块：
所述鼠标管理模块，用于模拟执行云桌面虚拟单元内的鼠标动作；
所述数据获取模块，用于接收VMM信令发送模块的图像或I/O流数据；
所述数据发送模块，用于向VMM信令接收模块发送图像或I/O流数据；
请参阅图2，本实施例包括：
一种云桌面鼠标位置感知与鼠标操作事件管理方法，采取上述***，其特征在于，包括以下步骤：
步骤一，云桌面虚拟单元的鼠标渲染模式调整为客户端渲染，终端计算机通过基于开源的spice协议连接到虚拟机管理单元，并切换到直通vGPU显示模式，发送当前终端鼠标配置信息、终端计算机单元有效显示像素信息；
所述客户端渲染模式是云桌面鼠标渲染模式中的一种，该渲染模式的特点是传输速度快，但因为使用GPU直通，鼠标图像无法正常显示到终端，利用客户端显示模式的传输速度快的优势，将鼠标图像，I/O流这些数据快速传输回终端，在终端进行模拟，从而实现降低延迟的目的。所述终端鼠标配置信息，包括默认鼠标参数配置、个性化鼠标参数配置。
步骤二，鼠标管理控制模块监控终端鼠标位置、终端鼠标控制事件，将所有事件信息通过终端数据发送模块发送至虚拟机管理单元；
所述事件信息，包括鼠标操作事件和鼠标图像，事件包括鼠标的移动、点击等操作，鼠标图像包括鼠标的实时的位置信息；操作事件通过I/O流传输，图像信息则是转化为bitmap图像数据进行传输。
步骤三，虚拟机管理单元收到信息信令后，调用信令发送模块，将数据发送到云桌面虚拟单元内的vGPU管理器；
终端计算机单元与虚拟机管理单元通信连接方式以及虚拟机管理单元与云桌面虚拟单元通信连接方式可以采用鼠标事件协商协议。
步骤四，vGPU管理器的数据获取模块接收到事件信息信令后，调用鼠标管理模块进行像素比例调整，控制点划分，模拟执行云桌面虚拟单元的鼠标动作；
所述步骤四包括以下步骤：
步骤4-1，获取当前鼠标的坐标数据和终端计算机的有效显示像素信息，与云桌面虚拟单元有效像素进行对照，进行比例计算，按照对应比例在云桌面虚拟单元上对鼠标进行展示；
步骤4-2，根据传输到云桌面虚拟单元的鼠标动作事件的起始相对位置坐标计算出绝对值数据，按照比例进行放缩调整，通过转换得到云桌面虚拟单元上的绝对位置坐标；
步骤4-3，vGPU管理器进行感知阈值比较，若传输时间大于阈值，则发送超时提示，否则，则对传输的事件进行更新并展示。
鼠标管理模块设置了感知阈值时间，vGPU管理器接收到事件信息信令后与感知阈值时间作对比，接收到若小于等于感知阈值时间的信息，则进行后续操作，对鼠标信息进行展示并更新，若大于感知阈值时间，则发送超时提示。
如果超出阈值，可能导致鼠标动作失去了连续性，无法形成一套完成的操作信息，这样影响用户的使用。基于时差是否超阈值的判断，可以获取从数据中心发出到云桌面虚拟单元的显示是否满足预设要求。进而可以判断当前鼠标动作的连续性。
若所述vGPU管理器识别到鼠标动作信息，则表明操作人员需要通过本地鼠标对远端的设备进行操作，此时需要将连同该动作信息对应的位置信息和操作信息发送给虚拟机管理单元，再发送至终端计算机单元，以供终端计算机单元能够获知执行该动作信息的桌面位置。
步骤五，当监控到鼠标图形图像发生变化后，进行数据处理，并调用vGPU管理控制模块，发送数据信息到VMM信令接收模块；
步骤六，VMM信令接收模块收到鼠标图像信息后，通过VMM信令发送模块，发送到终端；
步骤七，终端数据接收模块接收到数据信息后，调用成像模块开始模拟绘制鼠标动作操作过程，调整终端应用渲染鼠标图像；
重复上述步骤直至鼠标动作完成全部展示。
在普通用户的使用场景中会在终端计算机单元上通过鼠标对***作物进行移动、放大、缩小和轮轴滚动等动作。
例如：对鼠标进行移动点击的操作，如图3所示，在终端计算机单元操作鼠标，打开“此电脑”。此操作过程中，鼠标从A点移动到B点，包括如下步骤：
云桌面虚拟单元获取当前鼠标的坐标数据和终端计算机的有效显示像素信息，与云桌面虚拟单元有效显示像素进行对照，进行比例计算。
例如终端有效显示像素为1000*750，云端有效显示像素为800*600，则对鼠标横坐标值按125%的大小进行调整，纵坐标按125%的大小进行调整。
再根据传输到云桌面虚拟单元的鼠标起始相对位置坐标A（X1，Y1）、B（X2，Y2），划分控制点M1、M2和M3，将轨迹图像划分为BM1M2、M1M2M3和M2M3A三段进行传输，控制点之间近似为直线连接，每段的横纵坐标偏移量ΔX1、ΔX2和ΔX3，ΔY1、ΔY2和ΔY3，按照比例计算出对应的绝对值数据，得到云桌面虚拟单元上的绝对位置坐标。
最后vGPU管理器进行感知阈值比较，得到传输时间小于感知阈值时间，则对传输的事件信息进行传输；
所述事件信息包括：鼠标移动的轨迹图像信息，鼠标的I/O流操作事件。
进一步的，所述轨迹图像信息如图4所示，所述I/O流操作事件为双击事件。
从以上技术方案可以看出，本发明具有以下优点：
本发明通过终端计算机单元向云桌面虚拟单元发送鼠标动作信息，将GPU直通云桌面虚拟单元内的鼠标渲染模式由服务器渲染切换为客户端渲染，vGPU基于鼠标动作信息，模拟出虚拟鼠标移动图像，云桌面虚拟单元上的虚拟鼠标直接根据物理鼠标的移动而移动，利用客户端渲染模式传输数据快的特点，将传输的信令数据转换为数据图像和I/O流数据快速发送给终端计算机单元，返回终端成像模块进行图像渲染，从而解决远程访问GPU直通云桌面虚拟单元时鼠标移动延迟与显示的问题。
以上所述仅为本发明的实施例、并非因此限制本发明的专利范围、凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换、或直接或间接运用在其他相关的技术领域、均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种云桌面鼠标位置感知与鼠标操作事件管理方法，其特征在于，包括：
步骤一，云桌面虚拟单元鼠标渲染模式设置为客户端渲染，终端计算机单元通过基于开源的spice协议连接到虚拟机管理单元，发送鼠标配置信息和终端计算机单元分辨率信息，并切换到vGPU显示模式；
步骤二，鼠标管理控制模块监控终端鼠标位置、终端鼠标控制事件，将事件信息信令通过鼠标事件协商协议发送至虚拟机管理单元；
步骤三，虚拟机管理单元收到所述事件信息信令后，调用信令发送模块将事件信息信令发送到云桌面虚拟单元内的vGPU管理器；
步骤四， vGPU管理器的数据获取模块接收到事件信息信令后，调用鼠标管理模块进行像素比例调整，控制点划分，模拟执行云桌面虚拟单元的鼠标动作；
步骤五，vGPU管理器的鼠标管理模块监控到云桌面虚拟单元的鼠标图形图像变化后，开始处理事件信息信令，并将处理后的数据信息转换为鼠标图像信息通过数据发送模块发送给VMM信令接收模块；
步骤六，VMM信令接收模块收到鼠标图像信息后，调用VMM信令发送模块，将数据信息发送到终端数据接收模块；
步骤七，终端计算机单元收到数据信息后，成像模块开始模拟描绘渲染图像。
2.如权利要求1所述的一种云桌面鼠标位置感知与鼠标操作事件管理方法，其特征在于，所述鼠标配置信息，包括默认鼠标配置信息以及个性化鼠标配置信息。
3.如权利要求2所述的 一种云桌面鼠标位置感知与鼠标操作事件管理方法，其特征在于，所述步骤五还包括：鼠标管理模块在启动后开始监控云桌面虚拟单元内的鼠标图形图像变化事件；
其中，鼠标管理模块在监控到鼠标图形图像发生变化后，将当前鼠标图像转化为标准bitmap图像数据，将操作事件转化为I/O流数据。
4.如权利要求3所述的一种云桌面鼠标位置感知与鼠标操作事件管理方法，其特征在于，所述通过鼠标事件协商协议发送至虚拟机管理单元，包括：
鼠标管理控制模块发送数据至虚拟机管理单元，虚拟机管理单元接收到信息数据后操作***由默认状态切换为中间态来处理数据；
vGPU管理器接收到数据后，操作***由中间态切换到内核态调用vGPU管理器中的鼠标管理模块进行鼠标动作模拟；
鼠标管理模块监测到鼠标位置信息变化后，操作***由内核态切换为中间态进行数据处理；
vGPU调用管理控制模块，发送鼠标图像信息到虚拟机管理单元；
VMM信令接收模块收到信令数据后，操作***切换至用户态使用VMM信令发送模块，发送至终端计算机单元；
所述默认状态为用户态；
所述中间态是操作***处于用户态与核心态之间的一种状态，***核心态指的是R0，用户态指的是R3，中间态指R1、R2；***中一共有四个权限级别，R1和R2运行设备驱动，R0到R3权限依次降低，R0和R3的权限分别为最高和最低。
5.如权利要求4所述的一种云桌面鼠标位置感知与鼠标操作事件管理方法，其特征在于，
所述终端鼠标位置包括鼠标的实时移动的位置信息；
所述终端鼠标控制事件包括左击、右击和双击；
所述终端鼠标位置，传输时转换为图像数据进行传输；
所述终端鼠标控制事件，传输时通过I/O流通道进行传输。
6.如权利要求5所述的一种云桌面鼠标位置感知与鼠标操作事件管理方法，其特征在于，所述像素比例调整包括：
云桌面虚拟单元获取终端计算机单元的分辨率信息和显示窗口大小，得到终端有效显示像素值；
对比云桌面虚拟单元有效显示像素进行比例计算；
根据传输到云桌面虚拟单元的鼠标事件信息的绝对位置坐标，按比例转换，计算出绝对值信息；
所述绝对值信息为云桌面虚拟单元显示设备上的鼠标具体坐标位置数据。
7.如权利要求6所述的一种云桌面鼠标位置感知与鼠标操作事件管理方法，其特征在于，
所述比例计算为计算终端计算机单元和云桌面虚拟单元的有效像素比值关系，根据比值的大小进而调整鼠标在云桌面虚拟单元上显示的位置，从而实现本地终端与云桌面虚拟单元上显示的位置相对一致。
8.如权利要求7所述的一种云桌面鼠标位置感知与鼠标操作事件管理方法，其特征在于，所述控制点划分包括：
鼠标事件的传输过程中在移动轨迹上划分中间控制点，对轨迹图像信息进行分段传输。
9.如权利要求8所述的一种云桌面鼠标位置感知与鼠标操作事件管理方法，其特征在于，
所述控制点的划分对应移动轨迹中的拐点，控制点与控制点之间的连接方式近似为直线。
10.如权利要求9所述的一种云桌面鼠标位置感知与鼠标操作事件管理方法，其特征在于，所述vGPU管理器的数据获取模块接收到事件信息信令后，判断传输时间是否超过感知阈值时间：
若小于等于阈值，则进行后续操作；
若大于阈值时间，则发送超时提示。
CN202110589599.7A 2021-05-28 2021-05-28 一种云桌面鼠标位置感知与鼠标操作事件管理方法 Active CN113296865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110589599.7A CN113296865B (zh) 2021-05-28 2021-05-28 一种云桌面鼠标位置感知与鼠标操作事件管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110589599.7A CN113296865B (zh) 2021-05-28 2021-05-28 一种云桌面鼠标位置感知与鼠标操作事件管理方法

Publications (2)

Publication Number Publication Date
CN113296865A CN113296865A (zh) 2021-08-24
CN113296865B true CN113296865B (zh) 2022-09-06

Family

ID=77325856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110589599.7A Active CN113296865B (zh) 2021-05-28 2021-05-28 一种云桌面鼠标位置感知与鼠标操作事件管理方法

Country Status (1)

Country Link
CN (1) CN113296865B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810639B (zh) * 2021-09-28 2023-09-29 深圳万兴软件有限公司 一种录制鼠标信息可再编辑的方法、装置及相关介质
CN115883854A (zh) * 2021-09-29 2023-03-31 中兴通讯股份有限公司 云桌面显示方法、终端、云桌面***、设备及可读介质
CN113934493B (zh) * 2021-10-12 2023-08-11 北京百度网讯科技有限公司 基于云服务的键盘通信方法、装置、设备、***和介质
CN115660092B (zh) * 2022-11-11 2024-07-05 北京百度网讯科技有限公司 量子门组件渲染方法、装置、设备、存储介质及程序产品

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888485A (zh) * 2012-12-19 2014-06-25 华为技术有限公司 云计算资源的分配方法、装置及***
CN106020756A (zh) * 2016-05-13 2016-10-12 江苏云途腾科技有限责任公司 一种更新虚拟桌面的方法和装置
CN107483390A (zh) * 2016-06-08 2017-12-15 成都赫尔墨斯科技股份有限公司 一种云渲染网络部署子***、***及云渲染平台
CN109712060A (zh) * 2018-12-04 2019-05-03 成都雨云科技有限公司 一种基于gpu容器技术的云桌面显卡共享方法及***
CN109800042A (zh) * 2018-12-28 2019-05-24 广东纬德信息科技有限公司 云桌面的图形显示方法和***
CN110174946A (zh) * 2019-05-16 2019-08-27 上海达龙信息科技有限公司 鼠标操作模拟方法、模拟***、存储介质、及电子设备
CN110647375A (zh) * 2019-09-23 2020-01-03 天津卓朗科技发展有限公司 云桌面的图像渲染方法、装置和云服务器
CN111209115A (zh) * 2020-01-08 2020-05-29 北京和信创天科技股份有限公司 云桌面vGPU超分配方法
CN111240631A (zh) * 2020-02-20 2020-06-05 湖南麒麟信安科技有限公司 基于AMD显卡虚拟化传输Linux虚拟机屏幕画面的方法及***
CN111399964A (zh) * 2020-03-27 2020-07-10 重庆海云捷迅科技有限公司 一种基于视频串流技术的云桌面平台
CN111767150A (zh) * 2020-07-02 2020-10-13 中国铁建重工集团股份有限公司 一种vGPU资源的动态调整方法
CN111782318A (zh) * 2020-06-16 2020-10-16 贵州省广播电视信息网络股份有限公司 远程挂载本地磁盘到云桌面虚拟机中共享访问***及方法
CN112486609A (zh) * 2020-11-25 2021-03-12 湖南麒麟信安科技股份有限公司 一种基于云桌面的虚拟显卡实现方法和装置
CN112614202A (zh) * 2020-12-24 2021-04-06 北京元心科技有限公司 Gui渲染显示的方法、终端、服务器、电子设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888485A (zh) * 2012-12-19 2014-06-25 华为技术有限公司 云计算资源的分配方法、装置及***
CN106020756A (zh) * 2016-05-13 2016-10-12 江苏云途腾科技有限责任公司 一种更新虚拟桌面的方法和装置
CN107483390A (zh) * 2016-06-08 2017-12-15 成都赫尔墨斯科技股份有限公司 一种云渲染网络部署子***、***及云渲染平台
CN109712060A (zh) * 2018-12-04 2019-05-03 成都雨云科技有限公司 一种基于gpu容器技术的云桌面显卡共享方法及***
CN109800042A (zh) * 2018-12-28 2019-05-24 广东纬德信息科技有限公司 云桌面的图形显示方法和***
CN110174946A (zh) * 2019-05-16 2019-08-27 上海达龙信息科技有限公司 鼠标操作模拟方法、模拟***、存储介质、及电子设备
CN110647375A (zh) * 2019-09-23 2020-01-03 天津卓朗科技发展有限公司 云桌面的图像渲染方法、装置和云服务器
CN111209115A (zh) * 2020-01-08 2020-05-29 北京和信创天科技股份有限公司 云桌面vGPU超分配方法
CN111240631A (zh) * 2020-02-20 2020-06-05 湖南麒麟信安科技有限公司 基于AMD显卡虚拟化传输Linux虚拟机屏幕画面的方法及***
CN111399964A (zh) * 2020-03-27 2020-07-10 重庆海云捷迅科技有限公司 一种基于视频串流技术的云桌面平台
CN111782318A (zh) * 2020-06-16 2020-10-16 贵州省广播电视信息网络股份有限公司 远程挂载本地磁盘到云桌面虚拟机中共享访问***及方法
CN111767150A (zh) * 2020-07-02 2020-10-13 中国铁建重工集团股份有限公司 一种vGPU资源的动态调整方法
CN112486609A (zh) * 2020-11-25 2021-03-12 湖南麒麟信安科技股份有限公司 一种基于云桌面的虚拟显卡实现方法和装置
CN112614202A (zh) * 2020-12-24 2021-04-06 北京元心科技有限公司 Gui渲染显示的方法、终端、服务器、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
一种基于微服务架构的新型云件PaaS平台;郭栋等;《信息网络安全》;20151110(第11期);第15-20页 *
基于Android与Linux的云终端实现方案;杨雄等;《延边大学学报(自然科学版)》;20180620(第02期);第79-82页 *
基于VMware Horizon云桌面技术的研究与应用;姜新;《信息***工程》;20200720(第07期);第104-105页 *
基于云端GPU的三维容积重建;袁戎等;《计算机应用》;20161215;第41-44页 *

Also Published As

Publication number Publication date
CN113296865A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN113296865B (zh) 一种云桌面鼠标位置感知与鼠标操作事件管理方法
US10334238B2 (en) Method and system for real-time rendering displaying high resolution virtual reality (VR) video
US9798436B2 (en) Remote computing with a low latency mouse mode
US8868642B2 (en) System and method for dynamically switching between mouse modes
US8878833B2 (en) Systems, methods, and apparatus for recording of graphical display
RU2445705C2 (ru) Способ подготовки отображения данных в серверах (варианты) и машиночитаемый носитель
AU596909B2 (en) Console emulation for a graphics workstation
CN102591493B (zh) 一种用于ipkvm***的鼠标光标同步方法
US20110102299A1 (en) Display Configuration Method for a Remote Visualization System
CN108845783B (zh) 一种基于kvm装置的多视窗合屏显示方法和***
US20120011280A1 (en) Method And System For Transforming Cursor Graphics Information
CN112614202A (zh) Gui渲染显示的方法、终端、服务器、电子设备及存储介质
CN111240631A (zh) 基于AMD显卡虚拟化传输Linux虚拟机屏幕画面的方法及***
CN112596843B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN104731546B (zh) 抓取高分辨率图像在大屏幕上显示的方法及***
WO2019134368A1 (en) Image processing method of virtual reality and apparatus thereof
CN108762934B (zh) 远程图形传输***、方法及云服务器
JP7506171B2 (ja) カーソルコントロールユニット制御方法並びにその、装置、電子デバイス、およびコンピュータプログラム
CN113655975B (zh) 图像显示方法、装置、电子设备和介质
MX2013008070A (es) Visualizacion de la formacion de la tierra en tres dimensiones.
WO2018171084A1 (zh) 一种虚拟现实图像发送方法及装置
CN116821040B (zh) 基于gpu直接存储器访问的显示加速方法、装置及介质
CN113254129B (zh) 一种云桌面gpu直通虚拟化重定向管理***及方法
CN110928509A (zh) 显示控制方法、显示控制装置、存储介质、通信终端
CN113254130B (zh) 一种自适应调整云桌面分辨率的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant