CN111506374A - 基于不同对象的云应用ui交互方法及装置 - Google Patents

基于不同对象的云应用ui交互方法及装置 Download PDF

Info

Publication number
CN111506374A
CN111506374A CN202010282394.XA CN202010282394A CN111506374A CN 111506374 A CN111506374 A CN 111506374A CN 202010282394 A CN202010282394 A CN 202010282394A CN 111506374 A CN111506374 A CN 111506374A
Authority
CN
China
Prior art keywords
image
compression
graphic data
compression algorithm
cloud application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010282394.XA
Other languages
English (en)
Inventor
闫飞
黄燕
张柯
陈敏杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING HUARU TECHNOLOGY CO LTD
Original Assignee
BEIJING HUARU TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING HUARU TECHNOLOGY CO LTD filed Critical BEIJING HUARU TECHNOLOGY CO LTD
Priority to CN202010282394.XA priority Critical patent/CN111506374A/zh
Publication of CN111506374A publication Critical patent/CN111506374A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

一种基于不同对象的云应用UI交互方法及装置，该方法包括从服务器端获取将要传输的图形数据；判断将要传输的图形数据的类型，是属于第一图像类型还是第二图像类型；对于第一图像类型采用第一压缩算法进行图像压缩编码，对于第二图像类型采用第二压缩算法进行图像压缩编码；将压缩后的图形数据传输至远程客户端；图形恢复步骤S150：对压缩后的图形数据进行解码显示。本发明通过两种不同的压缩算法进行压缩，在保证画质的前提下减少带宽，以寻求画质和带宽的平衡，实现更好的用户体验。

Description

基于不同对象的云应用UI交互方法及装置
技术领域
本发明涉及一种图像传输领域，具体的，涉及一种在云应用中基于不同对象，从而采用不同压缩算法的云应用UI交互方法及装置。
背景技术
云应用是云计算的子集，它的工作原理是把传统软件“本地安装、本地运算”的方式变为“即取即用”的服务，通过互联网或局域网连接并操控远程服务器集群，完成业务逻辑或运算任务的一种新型应用。因其具有跨平台性、易用性、轻量性的特点，传统软件向云应用转型的发展是大势所趋。
云计算的发展给人们带来了数据集中的好处，使得资源可以合理地分配和管理，且可对数据中心的数据进行保护，安全性更高，相对于众多不易管理的分散的计算机，还可以有助于防止敏感信息的流失。因此很多人尝试结合数据集中的思想提出高效云桌面***，实现服务器桌面的虚拟化。
传统的云桌面交互方式为，当终端登录后，服务器提供压缩算法，将虚拟机桌面图像进行压缩输出，终端通过解码进行显示。图像处理是一种非常复杂的技术，一般厂家都是全屏截屏后采用一种压缩率做压缩，这样协议最简单，潜在的问题也最多。显然，图像压缩率越大，带宽越小，速度越快，图像失真度就越大。而图像压缩率越小，图像失真率越低，对应的带宽也增加了不少。为保证图像不失真，一般都采用无损压缩的算法，这种方式占用带宽较多，影响终端显示效率，用户体验不佳。
因此，在云应用传输中，如何既降低图像传输带宽，又保证终端显示质量，保持用户体验，成为现有技术亟需解决的技术问题。
发明内容
本发明的目的在于提出一种基于不同对象的云应用UI交互方法及装置，将静态图像部分和非静态图像部分分开处理，通过不同的压缩算法进行压缩，以寻求画质和带宽的平衡，实现更好的用户体验。
为达此目的，本发明采用以下技术方案：
一种基于不同对象的云应用UI交互方法，包括如下步骤：
图形数据获取步骤S110：从服务器端获取将要传输的图形数据；
图形数据类型判断步骤S120：判断将要传输的图形数据的类型，是属于第一图像类型还是第二图像类型；
图像压缩编码步骤S130：对于第一图像类型采用第一压缩算法进行图像压缩编码，对于第二图像类型采用第二压缩算法进行图像压缩编码；
图形传输步骤S140：将压缩后的图形数据传输至远程客户端；例如通过网络传输至Web端。
图形恢复步骤S150：对压缩后的图形数据进行解码显示。
可选的，所述图形数据获取步骤S110具体为，在服务器端调用底层图形库API接口进行图形绘制的过程中，通过Hook获取图形数据。
可选的，所述第一图像类型为静态图像，第二图像类型为非静态图像；
其中第一压缩算法的压缩损耗小于第二压缩算法的压缩损耗。
可选的，所述第一压缩算法为无损压缩算法，第二压缩算法为有损压缩算法。
本发明还公开了一种基于不同对象的云应用UI交互装置，其特征在于，包括如下单元：
图形数据获取单元210：用于从服务器端获取将要传输的图形数据；
图形数据类型判断单元220：用于判断将要传输的图形数据的类型，是属于第一图像类型还是第二图像类型；
第一编码单元230：用于对第一图像类型采用第一压缩算法进行图像压缩编码；
第二编码单元240：用于对于第二图像类型采用第二压缩算法进行图像压缩编码；
图形传输单元250：用于将压缩后的图形数据传输至远程客户端；例如通过网络传输至Web端。
图形恢复单元260：用于将压缩后的图形数据进行解码显示。
可选的，所述图形数据获取单元210具体为，在服务器端调用底层图形库API接口进行图形绘制的过程中，通过Hook获取图形数据。
可选的，所述第一图像类型为静态图像，第二图像类型为非静态图像；
其中第一压缩算法的压缩损耗小于第二压缩算法的压缩损耗。
可选的，所述第一压缩算法为无损压缩算法，第二压缩算法为有损压缩算法。
本发明还公开了一种存储介质，用于存储计算机可执行指令，其特征在于：
所述计算机可执行指令在被处理器执行时执行上述的基于不同对象的云应用UI交互方法。
本发明的基于不同对象的云应用UI交互方法及装置，在服务器端调用底层图形库API接口进行图形绘制的过程中，通过Hook获取图形数据，并将获取的数据按静态图像部分和非静态图像部分分开处理，通过两种不同的压缩算法进行压缩，在保证画质的前提下减少带宽，以寻求画质和带宽的平衡，实现更好的用户体验。
附图说明
图1是根据本发明的基于不同对象的云应用UI交互方法的流程图；
图2是根据本发明的基于不同对象的云应用UI交互方法的流程图；
图3是本发明的具体实施例的云应用UI交互方法与现有技术UI交互方法的示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在本发明中技术术语具有如下定义：
1.OpenGL
OpenGL(Open Graphics Library)是定义了一个跨编程语言、跨平台的编程接口规范的专业的图形程序接口。它用于三维图像(二维的也可以)，是一个功能强大、调用方便的底层图形库。
2.Hook
在计算机程序中，Hook是一种通过截取函数调用，或者截取软件组件间传递的消息或事件，来改变或增加应用程序的行为的一种技术。处理截取函数调用、事件或消息的代码称为“Hook”。
因为人眼视觉暂留的关系，对变化的图片形成的动画(也就是视频)，相对来说敏感度较低，看到一个概貌即可。而对于静态图像部分(如可供用户进行交互的界面控件)，更多的是以静止的形态展现，若其失真度较高，用户会较明显的感觉到。因此，本发明将云服务器中的静态图像部分和非静态图像部分分开处理，通过两种不同的压缩算法进行压缩，以寻求画质和带宽的平衡，实现更好的用户体验。
具体的，参见图1，示出了根据本发明的基于不同对象的云应用UI交互方法的流程图，包括如下步骤：
图形数据获取步骤S110：从服务器端获取将要传输的图形数据；
具体的，在服务器端调用底层图形库API接口进行图形绘制的过程中，通过诸如Hook技术，获取图形数据。
图形数据类型判断步骤S120：判断将要传输的图形数据的类型，是属于第一图像类型还是第二图像类型。
图像压缩编码步骤S130：对于第一图像类型采用第一压缩算法进行图像压缩编码，对于第二图像类型采用第二压缩算法进行图像压缩编码。
进一步的，其中，所述第一图像类型为静态图像，第二图像类型为非静态图像；
其中，所述静态图像主要指的是以静止的形态展示的图像，包括可供用户进行交互的界面控件，桌面显示图标等。
所述非静态图像主要指的是变化的图片形成的动画、视频等。
其中第一压缩算法的压缩损耗小于第二压缩算法的压缩损耗。
图形传输步骤S140：将压缩后的图形数据传输至远程客户端；例如通过网络传输至Web端。
图形恢复步骤S150：对压缩后的图形数据进行解码显示。
其中，第一压缩算法可以为无损压缩算法，第二压缩算法为有损压缩算法。相对于无损压缩算法，有损压缩算法从原始文件中丢弃其中一些数据，该过程不可逆，一旦有了损耗便不能回到原始状态，压缩次数越多，图像退化越严重。
因此，本发明对于底层图形数据进行类型判断，对于静态图像部分和非静态图像部分分开处理，通过两种不同的压缩算法进行压缩，通过Hook技术获取到的图形数据属于变化的数据，数据量相对于每次全屏截取并压缩传输而言更小，对于网络传输的压力更小。以寻求画质和带宽的平衡，实现更好的用户体验
更进一步的，参见图2，示出了根据本发明的基于不同对象的云应用UI交互装置的模块图，包括如下单元：
图形数据获取单元210：用于从服务器端获取将要传输的图形数据；
具体的，所述图形数据获取单元在服务器端调用底层图形库API接口进行图形绘制的过程中，通过诸如Hook技术，获取图形数据。
图形数据类型判断单元220：用于判断将要传输的图形数据的类型，是属于第一图像类型还是第二图像类型。
第一编码单元230，用于对第一图像类型采用第一压缩算法进行图像压缩编码。
第二编码单元240，用于对于第二图像类型采用第二压缩算法进行图像压缩编码。
进一步的，其中，所述第一图像类型为静态图像，第二图像类型为非静态图像；
其中，所述静态图像主要指的是以静止的形态展示的图像，包括可供用户进行交互的界面控件，桌面显示图标等。
所述非静态图像主要指的是变化的图片形成的动画、视频等。
其中第一压缩算法的压缩损耗小于第二压缩算法的压缩损耗。
图形传输单元250：用于将压缩后的图形数据传输至远程客户端；例如通过网络传输至Web端。
图形恢复单元260：用于将压缩后的图形数据进行解码显示。
实施例：
参见图3，示出了本发明的具体实施例的云应用UI交互方法与现有技术UI交互方法的示意图。
在图3中可见，传统的显示方式为，在图形绘制过程中进行屏幕截图，将截图或以有损编码算法的方式压缩，或以无损编码算法的方式压缩，压缩后通过网络传输到Web端进行显示。
而本发明为，在调用接口进行图形显示的过程中，通过Hook技术获取底层图形库API接口输出的图形数据，在获取底层图形库输出的图形数据时，分别通过调用获取静态图像部分的API和获取非静态图像部分的API，将获取的数据分别存储、并将这些数据分为静态图像部分和非静态图像部分，分别进行编码压缩。
其中非静态图像部分按有损压缩算法(对于有损压缩算法，从原始文件中丢弃其中一些数据，该过程不可逆，一旦有了损耗便不能回到原始状态，压缩次数越多，图像退化越严重)进行编码，静态图像部分按无损压缩算法进行编码。编码后的数据通过网络传输到达Web端，再通过解码技术进行解码显示。其中通过Hook技术获取到的图形数据属于变化的数据，数据量相对于每次全屏截取并压缩传输而言更小，对于网络传输的压力更小。
本发明进一步公开了一种存储介质，用于存储计算机可执行指令，其特征在于：所述计算机可执行指令在被处理器执行时执行上述的基于不同对象的云应用UI交互方法。
因此，本发明的基于不同对象的云应用UI交互方法及装置，在服务器端调用底层图形库API接口进行图形绘制的过程中，通过Hook获取图形数据，并将获取的数据按静态图像部分和非静态图像部分分开处理，通过两种不同的压缩算法进行压缩，在保证画质的前提下减少带宽，以寻求画质和带宽的平衡，实现更好的用户体验。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。

Claims (9)

1.一种基于不同对象的云应用UI交互方法，包括如下步骤：
图形数据获取步骤S110：从服务器端获取将要传输的图形数据；
图形数据类型判断步骤S120：判断将要传输的图形数据的类型，是属于第一图像类型还是第二图像类型；
图像压缩编码步骤S130：对于第一图像类型采用第一压缩算法进行图像压缩编码，对于第二图像类型采用第二压缩算法进行图像压缩编码；
图形传输步骤S140：将压缩后的图形数据传输至远程客户端；
图形恢复步骤S150：对压缩后的图形数据进行解码显示。
2.根据权利要求1所述的云应用UI交互方法，其特征在于：
所述图形数据获取步骤S110具体为，在服务器端调用底层图形库API接口进行图形绘制的过程中，通过Hook获取图形数据。
3.根据权利要求1所述的云应用UI交互方法，其特征在于：
所述第一图像类型为静态图像，第二图像类型为非静态图像；
其中第一压缩算法的压缩损耗小于第二压缩算法的压缩损耗。
4.根据权利要求3所述的云应用UI交互方法，其特征在于：
所述第一压缩算法为无损压缩算法，第二压缩算法为有损压缩算法。
5.一种基于不同对象的云应用UI交互装置，其特征在于，包括如下单元：
图形数据获取单元(210)：用于从服务器端获取将要传输的图形数据；
图形数据类型判断单元(220)：用于判断将要传输的图形数据的类型，是属于第一图像类型还是第二图像类型；
第一编码单元(230)：用于对第一图像类型采用第一压缩算法进行图像压缩编码；
第二编码单元(240)：用于对于第二图像类型采用第二压缩算法进行图像压缩编码；
图形传输单元(250)：用于将压缩后的图形数据传输至远程客户端；
图形恢复单元(260)：用于将压缩后的图形数据进行解码显示。
6.根据权利要求5所述的云应用UI交互装置，其特征在于：
所述图形数据获取单元(210)具体为，在服务器端调用底层图形库API接口进行图形绘制的过程中，通过Hook获取图形数据。
7.根据权利要求5所述的云应用UI交互装置，其特征在于：
所述第一图像类型为静态图像，第二图像类型为非静态图像；
其中第一压缩算法的压缩损耗小于第二压缩算法的压缩损耗。
8.根据权利要求7所述的云应用UI交互装置，其特征在于：
所述第一压缩算法为无损压缩算法，第二压缩算法为有损压缩算法。
9.一种存储介质，用于存储计算机可执行指令，其特征在于：
所述计算机可执行指令在被处理器执行时执行权利要求1-4中任意一项所述的基于不同对象的云应用UI交互方法。
CN202010282394.XA 2020-04-12 2020-04-12 基于不同对象的云应用ui交互方法及装置 Pending CN111506374A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010282394.XA CN111506374A (zh) 2020-04-12 2020-04-12 基于不同对象的云应用ui交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010282394.XA CN111506374A (zh) 2020-04-12 2020-04-12 基于不同对象的云应用ui交互方法及装置

Publications (1)

Publication Number Publication Date
CN111506374A true CN111506374A (zh) 2020-08-07

Family

ID=71863960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010282394.XA Pending CN111506374A (zh) 2020-04-12 2020-04-12 基于不同对象的云应用ui交互方法及装置

Country Status (1)

Country Link
CN (1) CN111506374A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104025561A (zh) * 2012-11-23 2014-09-03 华为技术有限公司 图像压缩方法及图像处理装置
CN108184118A (zh) * 2016-12-08 2018-06-19 中兴通讯股份有限公司 云桌面内容编码与解码方法及装置、***
CN108848082A (zh) * 2018-05-31 2018-11-20 深圳市腾讯网络信息技术有限公司 数据处理方法、装置、存储介质及计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104025561A (zh) * 2012-11-23 2014-09-03 华为技术有限公司 图像压缩方法及图像处理装置
CN108184118A (zh) * 2016-12-08 2018-06-19 中兴通讯股份有限公司 云桌面内容编码与解码方法及装置、***
CN108848082A (zh) * 2018-05-31 2018-11-20 深圳市腾讯网络信息技术有限公司 数据处理方法、装置、存储介质及计算机设备

Similar Documents

Publication Publication Date Title
US11824913B2 (en) Video stream management for remote graphical user interfaces
CN111399964B (zh) 一种基于视频串流技术的云桌面平台
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
US8254704B2 (en) Remote computing platforms providing high-fidelity display and interactivity for clients
CN1856819B (zh) 通过分布式应用程序的图形数据的网络传输的***和方法
Lu et al. Virtualized screen: A third element for cloud–mobile convergence
US20160255400A1 (en) Remote Display Performance Measurement Triggered by Application Display Upgrade
US8910228B2 (en) Measurement of remote display performance with image-embedded markers
CN104660687A (zh) 虚拟桌面显示的实现方法和***
CN109309842B (zh) 直播数据处理方法和装置、计算机设备和存储介质
EP3410302B1 (en) Graphic instruction data processing method, apparatus
US8995763B2 (en) Systems and methods for determining compression methods to use for an image
US20090006977A1 (en) Method and System of Computer Remote Control that Optimized for Low Bandwidth Network and Low Level Personal Communication Terminal Device
CN112843676B (zh) 数据处理方法、装置、终端、服务器及存储介质
US8760366B2 (en) Method and system for remote computing
CN104253804B (zh) 一种传输图像数据的方法及装置
CN110740352B (zh) 显卡透传环境下基于spice协议的差异图像显示方法
KR20120058227A (ko) 프리젠테이션 가상화를 위한 화면 부호화 방법 및 서버
CN114938408A (zh) 一种云手机的数据传输方法、***、设备及介质
CN112565869A (zh) 一种视频重定向的窗口融合方法、装置及设备
CN108769715B (zh) 图形指令数据的处理方法及装置
CN111506374A (zh) 基于不同对象的云应用ui交互方法及装置
CN111327863A (zh) 一种视频通话处理方法及装置
CN110868614B (zh) 显卡透传环境下基于spice协议的差异图像显示***
KR101251879B1 (ko) 멀티미디어 클라우드 시스템에서 화면변화에 따른 광고영상 출력 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200807