CN107665128A - 图像处理方法、***、服务器及可读存储介质 - Google Patents

Abstract

本发明公开了一种基于虚拟桌面环境的图像处理方法，所述图像处理方法包括以下步骤：虚拟化服务器对原始图像数据分别进行有损编码处理与差分编码处理，得到对应的有损编码数据和该有损编码数据的差分编码数据；将所述有损编码数据和所述差分编码数据发送到虚拟客户端，以供虚拟客户端解码后进行增强合成，得到增强图像数据并进行显示。本发明还公开了一种虚拟化服务器、图像处理***以及计算机可读存储介质。本发明可有效降低传输的图像数据量，提高网络带宽资源的利用率，同时不影响图像画面质量，进而提升了用户使用虚拟桌面的体验。

Description

图像处理方法、***、服务器及可读存储介质

技术领域

本发明涉及虚拟化图像技术领域，尤其涉及一种图像处理方法、***、虚拟化服务器及计算机可读存储介质。

背景技术

随着科学技术的进步及桌面虚拟化技术的发展，越来越多的计算机辅助设计应用被部署到VDI虚拟桌面上，而虚拟桌面中的内容是以图像的方式传输到客户端进行显示的。

目前，在虚拟桌面的图像传输过程中，由于彩色图像的数据量大，通常需要对图像进行压缩编码。现有的图像压缩编码方式通常可划分为两大类：有损编码和无损编码。无损编码能够较好地保存图像质量，但压缩效率小无法有效减小数据量和降低网络带宽，而有损编码的方法能够有效降低数据量的传输，但又无法保证图像质量，使得在客户端所显示的画面质量差，出现偏色、模糊等问题，也即现有的图像压缩编码方式不能同时满足用户对图像传输效率与图像清晰度的要求，从而降低了用户使用虚拟桌面的体验。

发明内容

本发明的主要目的在于提供一种图像处理方法、***、虚拟化服务器及计算机可读存储介质，旨在解决如何降低图像数据传输量，同时又不影响图像画面质量的技术问题。

为实现上述目的，本发明提供的一种基于虚拟桌面环境的图像处理方法，所述图像处理方法包括以下步骤：

虚拟化服务器对原始图像数据分别进行有损编码处理与差分编码处理，得到对应的有损编码数据和该有损编码数据的差分编码数据；

将所述有损编码数据和所述差分编码数据发送到虚拟客户端，以供虚拟客户端解码后进行增强合成，得到增强图像数据并进行显示。

优选地，所述虚拟化服务器对原始图像数据分别进行有损编码处理与差分编码处理，得到对应的有损编码数据和该有损编码数据的差分编码数据的步骤包括：

所述虚拟化服务器将所述原始图像数据转换成第一格式图像数据，并对所述第一格式图像数据进行有损编码处理，得到所述有损编码数据；

所述虚拟化服务器将所述原始图像数据分别转换成所述第一格式图像数据和第二格式图像数据，并对所述第一格式图像数据与所述第二图像格式数据进行差分计算，得到差分图像数据；对所述差分图像数据进行无损编码处理，得到所述差分编码数据。

优选地，所述虚拟化服务器将所述原始图像数据分别转换成所述第一格式图像数据和第二格式图像数据，并对所述第一格式图像数据与所述第二图像格式数据进行差分计算，得到差分图像数据的步骤包括：

所述虚拟化服务器识别所述原始图像数据中的特定区域，所述特定区域至少包括文字区域和/或自然图像区域；

将所述特定区域的原始图像数据分别转换成所述第一格式图像数据和所述第二格式图像数据，并对所述特定区域的所述第一格式图像数据与所述第二图像格式数据进行差分计算，得到所述特定区域的差分图像数据。

优选地，所述第一格式数据为YUV420图像数据，所述第二格式数据为YUV444图像数据。

为实现上述目的，本发明还提供一种虚拟化服务器，所述虚拟化服务器包括：

存储有图像处理程序的存储器；

处理器，配置为执行图像处理程序以执行下述操作：

对原始图像数据分别进行有损编码处理与差分编码处理，得到对应的有损编码数据和该有损编码数据的差分编码数据；

将所述有损编码数据和所述差分编码数据发送到虚拟客户端，以供虚拟客户端解码后进行增强合成，得到增强图像数据并进行显示。

优选地，执行所述对原始图像数据分别进行有损编码处理与差分编码处理，得到对应的有损编码数据和该有损编码数据的差分编码数据的操作包括：

将所述原始图像数据转换成第一格式图像数据，并对所述第一格式图像数据进行有损编码处理，得到所述有损编码数据；

将所述原始图像数据分别转换成所述第一格式图像数据和第二格式图像数据，并对所述第一格式图像数据与所述第二图像格式数据进行差分计算，得到差分图像数据；对所述差分图像数据进行无损编码处理，得到所述差分编码数据。

优选地，执行所述将所述原始图像数据分别转换成所述第一格式图像数据和第二格式图像数据，并对所述第一格式图像数据与所述第二图像格式数据进行差分计算，得到差分图像数据的操作包括：

识别所述原始图像数据中的特定区域，所述特定区域至少包括文字区域和/或自然图像区域；

将所述特定区域的原始图像数据分别转换成所述第一格式图像数据和所述第二格式图像数据，并对所述特定区域的所述第一格式图像数据与所述第二图像格式数据进行差分计算，得到所述特定区域的差分图像数据。

此外，为实现上述目的，本发明还提供一种图像处理***，所述图像处理***包括上述任一项所述的虚拟化服务器，所述图像处理***还包括若干虚拟客户端，所述虚拟客户端包括：

存储有图像处理程序的存储器；

处理器，配置为执行所述图像处理程序以执行下述操作：

接收所述虚拟化服务器发送的所述有损编码数据和所述差分编码数据，并对所述有损编码数据和所述差分编码数据分别进行解码；

将解码后的所述有损编码数据和所述差分编码数据进行增强合成处理，得到增强图像数据并进行显示。

优选地，执行所述将解码后的所述有损编码数据和所述差分编码数据进行增强合成处理，得到增强图像数据并进行显示的操作包括：

当所述虚拟化服务器发送的所述差分编码数据为由原始图像数据中特定区域的差分图像数据编码形成时，基于所述特定区域，对解码后的所述有损编码数据和所述差分编码数据进行增强合成处理，得到所述增强图像数据并进行显示。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如上述任一项所述的基于虚拟桌面环境的图像处理方法的步骤。

本发明在图像处理过程中，由于虚拟化服务器对原始图像数据分别进行有损编码处理和差分编码处理，得到对应的有损编码数据和该有损编码数据的差分编码数据，有损编码数据和差分编码数据占用的数据量小，因而能够有效降低图像数据的传输量，提高网络带宽资源的利用率。虚拟化服务器再将有损编码数据和差分编码数据发送到虚拟客户端，以供虚拟客户端解码后进行增强合成，得到增强图像数据并进行显示，从而达到图像画面质量高清的效果，进而提升了用户使用虚拟桌面的体验。进一步地，可以根据网络自动决定是否传输差分数据，若网络环境较好，则传输差分数据，若网络环境不好，则可以不传输差分数据，继而优先满足用户查看到图像的需求。

附图说明

图1为本发明图像处理方法一实施例的流程示意图；

图2为图1中步骤S10中生成差分编码数据一实施例的流程示意图；

图3为本发明图像处理方法一较佳实施例的流程示意图；

图4为本发明图像处理***的结构示意图；

图5为本发明图像处理***中虚拟客户端执行图像处理程序一较佳实施例的流程示意图；

图6为本发明图像处理***中虚拟客户端执行图像处理程序一实施例的效果示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于虚拟桌面环境的图像处理方法。

参照图1，图1为本发明图像处理方法一实施例的流程示意图。本实施例中，基于虚拟桌面环境的图像处理方法包括：

步骤S10，虚拟化服务器对原始图像数据分别进行有损编码处理与差分编码处理，得到对应的有损编码数据和该有损编码数据的差分编码数据。

本实施例中，虚拟桌面是建立在虚拟桌面基础架构(Virtual DesktopInfrastructure，简称VDI)下，而VDI是一种基于服务器的计算模型，将桌面***的远程动态访问与数据中心进行托管并统一管理的技术，使得用户可以通过平板电脑、智能手机等客户端随时随地访问在网络上属于用户个人的桌面环境，而虚拟桌面中的内容就是以图像的方式传输到客户端进行显示的。

图像是以像素为基本单位的，用数字数值描述像素点、强度和颜色等，并可以被电子计算机存储和处理。而一个像素的最小显示单位是由红(R)、绿(G)、蓝(B)三个值组成的,通过三个颜色值的变化以及相互之间亮度、色彩的叠加来得到丰富多彩的颜色，屏幕上的任何一个颜色都可以由一组RGB值来记录和表达，也即是说一帧图像就是由每个不同颜色的小色块密密麻麻排列组成的。当显示器收到描述图像的图像数据时，就可以按照程序设定转换成制定的红、绿、蓝组成图像进行显示，从而使用户得以查看。

本实施例中，用于描述图像的原始图像数据存储量较大，通常以压缩格式进行传输和存储。有损编码处理是其中一种处理方式，是指经过压缩、解压的数据与原始数据不同，是以牺牲图像的准确率来达到加大压缩率的目的，也就是减少表示图像的原始数字数值，使得编码后的图像数据丢失某些信息，而这种信息丢失是不可逆的，无法恢复的。丢失的数据率与压缩比有关，压缩比越大，丢失的数据越多，解压缩后的效果一般越差。因而解码时图像数据有损失，显示图像出现偏色、模糊等问题，影响画面质量。例如保持颜色的逐渐变化，删除图像中颜色的突然变化，或是删除图像数据中重复的色块等。有损编码处理包括TIF、JPEG、MJPEG、H264、HEVC、VP8、VP9等编解码技术，具体根据实际需要进行设置。

本实施例中，由于描述图像的信息文件占用的数据量大，为了提高体验和降低带宽，图像需要被压缩。通常采用有损编码的算法进行压缩编码，但有损编码的特性使得解码后的图像或模糊或暗淡等，因此无法满足高清画质的场景。差分编码处理是利用图像像素值之间的相关性，编码保留有损编码处理所减少的原始数字数值，得到有损编码数据的差分编码数据，其差分编码数据包含有损编码处理所丢失的大部分信息，使得有损编码数据和差分编码数据解码后合成的增强图像数据与原始图像数据近乎相同。具体地，差分编码数据解码后与编码前的数据一致，差分编码处理至少包括MJPEG、Huffman、LZW(Lenpel-Ziv&Welch)、RLE(Run Length Encoding)等编解码技术，具体根据实际需要进行设置。

具体地，虚拟化服务器对原始图像数据创建多个副本，并对原始图像数据分别进行有损编码处理与差分编码处理，其处理的先后顺序可根据实际需要进行设置，比如先进行有损编码处理，再进行差分编码处理，或是同时进行处理等。在有损编码处理与差分编码处理后，得到对应的有损编码数据和差分编码数据，并基于原始图像数据保存对应的坐标或位置等关系，以便虚拟客户端解码时可根据相应的关系进行合成处理。

步骤S20，将有损编码数据和差分编码数据发送到虚拟客户端，以供虚拟客户端解码后进行增强合成，得到增强图像数据并进行显示。

本实施例中，虚拟客户端是网络体系中的计算机终端，可以是智能手机、掌上电脑、瘦客户端等，将鼠标、键盘等输入传送到虚拟化服务器处理，虚拟化服务器把处理结果回传到虚拟客户端进行显示。不同的虚拟客户端可以同时登录到虚拟化服务器上，模拟出一个相互独立的工作环境。具体地，虚拟化服务器将上述实施例中处理得到的有损编码数据和差分编码数据发送到虚拟客户端。发送的方式可以是打包一起发送，也可以是分开发送，还可以是直接或间接、连续或断续等。优选，将有损编码数据和差分编码数据分开发送，可有效提高数据传输的速率，进而提高网络带宽资源的利用率。

需要进一步说明的是，虚拟化服务器还可以根据网络环境自动决定是否传输差分数据。例如当网络环境较好时，虚拟化服务器将有损编码数据和差分编码数据发送到虚拟客户端，使得用户能够快速查看到高质量的图像。当网络环境较差时，数据在传输过程中速度慢且花费较长时间，那么即可优选将有损编码数据发送到虚拟客户端进行解码与显示，而不传输差分数据，继而能够优先满足用户查看到图像的需求，避免图像因网络环境差而显示不出来，降低用户体验。通常把300b/s以下的比特率称为低速，300-2400b/s的称为中速，2400b/s以上的称为高速。即当数据传输速度在300b/s以下时，选择发送有损编码数据，在300b/s以上时，选择发送有损编码数据和差分编码数据；或者当数据传输速度在2400b/s以下时，选择发送有损编码数据，在2400b/s以上时，选择发送有损编码数据和差分编码数据，具体根据实际需要进行设置。

具体地，虚拟客户端在接收到有损编码数据和差分编码数据时，先进行解码，然后合成得到增强图像数据，最后再进行显示。虚拟客户端解码后进行增强合成，得到增强图像数据，也就是通过差分编码数据恢复有损编码数据所丢失的信息，填补有损编码数据的压缩了的像素值。合成后的增强图像数据与原始图像数据基本一致，所显示的图像比有损编码数据解码后显示的图像更为明亮清晰，达到高清的图像质量效果。

本实施例在图像处理过程中，由于虚拟化服务器对原始图像数据分别进行有损编码处理和差分编码处理，得到对应的有损编码数据和该有损编码数据的差分编码数据，有损编码数据和差分编码数据占用的数据量小，因而能够有效降低图像数据的传输量，提高网络带宽资源的利用率。虚拟化服务器再将有损编码数据和差分编码数据发送到虚拟客户端，以供虚拟客户端解码后进行增强合成，得到增强图像数据与原始图像数据基本一致，即完成一帧完整的图像，从而达到图像画面质量高清的效果，比将原始图像数据进行无损压缩编码享有更低的网络带宽，进而提升了用户使用虚拟桌面的体验。

进一步可选地，原始图像数据为RGB格式，RGB是按红、绿、蓝三基色加光***的原理来描述颜色，但是，占用的数据量庞大冗长。通常将原始图像数据转化为其它格式，用以占用更少的数据量。有损编码数据的格式包括MJPEG、H264、HEVC、VP8、VP9等，考虑到其输入格式大部分为YUV格式数据，且在图像质量上没有明显的下降，通常将RGB格式的图像数据转化为YUV格式数据进行传输、储存。YUV是一种颜色编码方法，亮度信号Y和两个色差信号B－Y(即U)、R－Y(即V)，而YUV的采样格式又有多种。第一格式图像数据可为YUV444、YUV411、YUV422、YUV420等YUV图像数据，具体根据实际需要进行设置。例如，采用H264编码，其输入格式为YUV420图像数据，因而第一格式图像数据为YUV420，即将原始图像数据转换成YUV420图像数据。

本实施例中，有损编码处理可以调用软件或硬件编码处理。调用软件编码就是直接用CPU进行编码，会极大地消耗CPU的运算能力，但在硬件编码本身不支持编码的提前下被广泛调用。而硬件编码是由显卡硬件厂商提供的，可直接对图像进行编码，不仅能够达到良好的压缩质量，还能够大幅度提高图像数据的传输速度，包括但不限于目前已知的硬件编码，如NVENC、AMD VEC、Intel Media SDK等，具体根据实际需要进行设置。优先，调用硬件编码对第一格式图像数据进行有损编码处理，从而提高图像处理效率。例如，调用NVENC对YUV420图像数据进行H264编码，实现加速H264编码的过程。

参照图2，图2为图1中步骤S10中生成差分编码数据一实施例的流程示意图。

步骤S121，将原始图像数据分别转换成第一格式图像数据和第二格式图像数据；

本实施例中，利用现有已知的编码处理器，或函数算法，将原始图像数据转换成第一格式图像数据和第二格式图像数据。第二格式图像数据比第一格式图像数据的数据量大，所包含的描述图像信息也更为完整。其转换成第一格式图像数据与第二格式图像数据的先后顺序不做限定，也可以是同时进行转换，具体根据实际需要进行设置。

步骤S122，对第一格式图像数据与第二图像格式数据进行差分计算，得到差分图像数据；

本实施例中，差分计算是对两幅图像进行对应位置的像素值相减操作，或是在一幅图像里对某个区域内的像素值进行相减操作。YUV采样格式多种，每个像素对应的三个分量信息不同，即像素值不同。具体地，第一格式数据与有损编码处理所转换的第一格式图像数据一致，为原始图像数据的有损格式，其像素值较低，而第二格式数据为原始图像数据的无损格式，用于描述图像的完整的数据信息，像素值较高。在对应位置上或某个区域内高像素值减去低像素值，得到差分图像数据。例如，第一格式图像数据为YUV411图像数据，第二格式图像数据为YUV444图像数据，将YUV444图像数据和YUV411图像数据进行相减，得到差分图像数据。

步骤S123，对差分图像数据进行无损编码处理，得到差分编码数据；

本实施例中，无损编码处理是指使用编码处理后的数据进行还原或解码后的数据，与原来的数据完全相同，保留有编码前描述图像时所需的所有数据量。差分编码数据依图像区域/位置进行标识并保存，用以填补有损编码数据丢失的数据，增强有损编码数据显示的图像质量。差分编码数据比原始图像数据占用的数据量小，可以有效降低网络带宽，同时减缓编解码压力。具体地，调用显卡通用计算能力用以对差分计算后的差分图像数据进行无损编码处理，优化差分图像数据，同时采用显卡通用计算能力加速实现无损编码处理，从而进一步提高图像处理效率。显卡通用计算能力是专为执行复杂的数学和几何计算而设计的，显卡通用计算能力的运算速率高能够满足复杂的图像要求，目前显卡通用计算能力主要有CUDA、DirectCompute、OpenCL、ATI Stream，具体根据实际需要进行设置。

进一步可选地，识别原始图像数据中的特定区域，在图像处理领域，特定区域又称为感兴趣区域(Region of Interest，简称ROI)，从图像中选择的一个图像区域，这个区域是图像分析所关注的重点，包括文字区域、背景区域、人物图像区域、自然图像区域等。图像区域包含有用于描述该图像区域的所有信息，根据图像的原始特征、阈值、边缘信息、梯度信息等对图像中文字、自然图像区域等进行区域识别，或者通过Halcon、OpenCV、Matlab等机器视觉软件利用各种算子(Operator)和函数来进行区域识别。识别原始图像数据中的特定区域，用以圈定想读取的目标，也就是该区域对应的原始图像数据，以便进行进一步处理，可以有效减少图像处理的时间，同时避免繁琐的对整个图像区域的重复操作，从而达到精简的目的。

具体地，根据特定区域的原始图像数据进行处理，得到的差分编码数据占用的数据量更小，进一步精简了数据占有量，减低网络带宽的消耗，提高图像处理的效率，以及减轻解码压力。该特定区域形成的差分编码数据，用于有选择的增强该区域的显示质量。例如增强人脸图像、突出文字亮度等图像处理，具体根据实际需要进行设置。以及特定区域进行差分编码处理和有损编码处理，而非特定区域则只有有损编码处理。

进一步可选地，第一格式数据为YUV420图像数据，是每四个Y共用一对U和V，占用的数据量最少表达颜色有一定偏差，为有损的转换方式。第二格式数据为YUV444图像数据，是每一个Y对应一个U和一个V，占用的数据量大能够完整表达颜色，保留原始图像数据的所有信息，为无损的转换方式。YUV444与YUV420之间可互为转换，但转换不可避免有误差，因此采用原始图像数据分别进行转换。

参照图3，图3为本发明图像处理方法一较佳实施例的流程示意图。

为了辅助理解本发明图像处理方法，在此提供基于虚拟桌面环境的图像处理方法一较佳实施例；

1.将原始图像数据转换成YUV420图像数据；

本实施例中，原始图像数据占用的数据量庞大冗长，将其转换为YUV420图像数据，用以占用更少的数据量，YUV420图像数据表达颜色有一定偏差，为有损图像数据。

2.对YUV420图像数据进行有损编码处理，得到有损编码数据，跳转到第7步；

对YUV420图像数据进行有损编码处理，使得编码后的图像数据丢失某些信息，而这种信息丢失是不可逆的，无法恢复的。丢失的数据率与压缩比有关，压缩比越大，丢失的数据越多，解压缩后的效果一般越差。因而有损编码数据解码时，会出现偏色、模糊等问题，影响图像在虚拟客户端所显示的质量。

3.识别原始图像数据中的特定区域；

特定区域至少包括文字区域和/或自然图像区域，可根据边缘信息、梯度信息等，或者通过Halcon、OpenCV、Matlab等机器视觉软件利用各种算子(Operator)和函数来进行区域识别。识别原始图像数据中的特定区域，用以圈定想读取的目标，也就是该区域对应的原始图像数据，进行进一步处理。

4.将特定区域的原始图像数据分别转换成YUV420图像数据和YUV444图像数据；

第一格式数据为YUV420图像数据，是每四个Y共用一对U和V，占用的数据量最少表达颜色有一定偏差，为有损的转换方式。第二格式数据为YUV444图像数据，是每一个Y对应一个U和一个V，占用的数据量大能够完整表达颜色，保留原始图像数据的所有信息，为无损的转换方式。转换成YUV420图像数据和YUV444图像数据的顺序可分先后，也可同时进行。

5.对特定区域的YUV420图像数据和YUV444图像数据进行差分计算，得到差分图像数据；

差分计算是对两幅图像进行对应位置的像素值相减操作，或是在一幅图像里对某个区域内的像素值进行相减操作。在特定区域内，YUV444图像数据减去YUV420图像数据，得到差分图像数据。

6.对特定区域的差分图像数据进行无损编码处理，得到差分编码数据；

差分编码数据，用于有选择的增强该特定区域的显示质量，其占用的数据量更小，进一步精简了数据占有量，减低网络带宽的消耗，提高图像处理的效率，以及减轻解码压力。

7.将有损编码数据和差分编码数据发送到虚拟客户端。

将有损编码数据和差分编码数据分开发送，可有效提高数据传输的速率，进而提高网络带宽资源的利用率。

基于本发明上述实施例中的图像处理方法，本实施例还提供一种虚拟化服务器，包括：

存储有图像处理程序的存储器；

处理器，配置为执行图像处理程序以执行下述操作：

对原始图像数据分别进行有损编码处理与差分编码处理，得到对应的有损编码数据和该有损编码数据的差分编码数据；

将有损编码数据和差分编码数据发送到虚拟客户端，以供虚拟客户端解码后进行增强合成，得到增强图像数据并进行显示。

本实施例中，用于描述图像的原始图像数据存储量较大，通常以压缩格式进行传输和存储。有损编码处理是以牺牲图像的准确率来达到加大压缩率的目的，使得编码后的图像数据丢失某些信息。因而解码时图像数据有损失，影响画面质量。差分编码处理是利用图像像素值之间的相关性，编码保留有损编码处理所减少的原始数字数值，得到有损编码处理所丢失的全部信息。具体地，虚拟客户端将接收到的有损编码数据和差分编码数据进行解码再合成，得到的增强图像数据与原始图像数据基本一致，所显示的图像比有损编码数据解码后显示的图像更为明亮清晰，达到高清的图像质量效果，且传输中消耗的网络带宽比用原始图像数据进行无损编码的要少很多。

进一步地，在本发明另一实施例中，通常将原始图像数据转换为其它格式，用以占用更少的数据量。有损编码数据的格式包括TIF、JPEG、MJPEG、H264、HEVC、VP8、VP9等，其输入格式大部分为YUV格式数据，将原始图像数据转换为YUV格式数据进行传输、储存，而YUV的采样格式又有多种。第一格式图像数据可为YUV444、YUV411、YUV422、YUV420等YUV图像数据，具体根据实际需要进行设置。例如，原始图像数据转换为YUV420图像数据，再进行H246编码。

进一步地，在本发明另一实施例中，差分计算是在对应位置上或某个区域内高像素值减去低像素值，得到差分图像数据。第一格式数据与有损编码处理所转换的第一格式图像数据一致，为原始图像数据的有损格式，其像素值较低，而第二格式数据为原始图像数据的无损格式，用于描述图像的完整的数据信息，像素值较高。无损编码处理是指使用编码处理后的数据进行还原或解码后的数据，与原来的数据完全相同，保留有编码前描述图像时所需的所有数据量。差分编码数据依图像区域/位置进行标识并保存，用以填补有损编码数据丢失的数据，增强有损编码数据显示的图像质量。差分编码数据比原始图像数据占用的数据量小，可以有效降低网络带宽，同时减缓编解码压力。

进一步地，在本发明另一实施例中，特定区域又称为感兴趣区域，是图像分析所关注的重点，包括文字区域、背景区域、人物图像区域、自然图像区域等。识别原始图像数据中的特定区域，根据特定区域的原始图像数据进行处理，得到特定区域的差分图像数据占用的数据量更小，进一步精简了数据占有量，减低网络带宽的消耗，提高图像处理的效率，以及减轻解码压力。

进一步地，本发明还提供一种图像处理***，包括上述实施例中的任一虚拟化服务器，图像处理***还包括若干虚拟客户端，虚拟客户端包括：

存储有图像处理程序的存储器；

处理器，配置为执行图像处理程序以执行下述操作：

接收虚拟化服务器发送的有损编码数据和差分编码数据，并对有损编码数据和差分编码数据分别进行解码；

将解码后的有损编码数据和差分编码数据进行增强合成处理，得到增强图像数据并进行显示。

本实施例中，在接收到有损编码数据时，先进行解码，解码方式和虚拟化服务器进行有损编码处理方式相同。在接收到差分编码数据时，先进行解码，解码方式和虚拟化服务器进行差分编码处理方式相同，并且解码后的数据应和有损编码数据解码后的数据格式一致。将解码后的有损编码数据和差分编码数据进行合成处理，得到增强图像数据，也就是通过差分编码数据恢复有损编码数据所丢失的信息，填补有损编码数据的压缩了的像素值。合成后的增强图像数据与原始图像数据基本一致，使完成一帧完整的图像，所显示的图像比有损编码数据解码后显示的图像更为明亮清晰，达到高清的图像质量效果。

进一步可选地，有损编码数据和差分编码数据解码后，根据原始图像数据划分的特定区域进行增强合成处理，差分解码数据与有损解码数据关系一一对应，将差分编码数据补偿到有损编码数据中，即恢复该特定区域中有损编码数据解码后损失的信息数据。增强合成得到的增强图像数据为一帧完整的图像，其特定区域的图像数据与该特定区域的原始图像数据基本一致，而非特定区域因无相对应的差分编码数据而得不到数据填补，但得到的图像质量比有损编码数据解码后显示的图像更为明亮清晰，且消耗更少的网络带宽。

参照图4，图4为本发明图像处理***的结构示意图。

本实施例中，图像处理***包括一个虚拟化服务器10，若干个虚拟客户端20。虚拟化服务器10可同时处理多个虚拟客户端20发出的多个图像数据请求，并将处理结果发送到对应的虚拟客户端20。如图所示，是以图像处理***包括一个虚拟化服务器10和三个虚拟客户端20举例说明，实际虚拟客户端20可以是一个或多个。虚拟化服务器10对原始图像数据分别进行有损编码处理与差分编码处理，并将处理结果发送到对应的某个虚拟客户端。当图像处理***中的一个虚拟客户端20接收到虚拟化服务器10发送的有损编码数据和差分编码数据时，虚拟客户端20执行相应处理。

参照图5，图5为本发明图像处理***中虚拟客户端执行图像处理程序一较佳实施例的流程示意图。

为了辅助理解本发明图像处理***中虚拟客户端，在此提供图像处理***中虚拟客户端执行图像处理程序一较佳实施例；

1.接收到虚拟化服务器发送的有损编码数据和差分编码数据，根据接收到的有损编码数据跳转到第2步，根据接收到的差分编码数据第3步；

2.对有损编码数据进行相应的解码，跳转到第4步；

3.对差分编码数据进行相应的解码；

4.基于原始图像数据的特定区域，对解码后的有损编码数据和差分编码数据进行增强合成处理，得到增强图像数据；

5.将增强图像数据进行显示。

为进一步辅助理解本发明图像处理***中虚拟客户端执行图像处理程序，参照图6，图6为本发明图像处理***中虚拟客户端执行图像处理程序一实施例的效果示意图。

如图所示，差分编码数据在虚拟化服务器进行编码处理时，保存有对应的坐标和区域位置。基于图像坐标和区域位置，将解码后的差分编码数据与有损编码数据进行增强合成，得到增强图像数据。即由两组数据增强合成为一组数据，增强图像数据包括有损编码数据和差分编码数据，且差分编码数据在增强图像数据所处的坐标位置或区域与标识一致，而不是其他任一图像坐标位置或区域。解码后的有损编码数据因其编码特性，显示的图像画面质量差，而通过差分编码数据与有损编码数据进行增强合成的增强图像数据，比有损编码数据显示的图像画面质量高，因而虚拟客户端最终显示的是高清的图像。

进一步地，本发明还提供一种计算机可读存储介质，在本实施例中提出的计算机可读存储介质上存储有图像处理程序，包括图像数据、中间预处理结果和最终编码处理结果等。存储的图像处理程序能够被处理器读取、解读并执行，从而实现上述任一图像处理方法实施例中所述的图像处理方法的步骤。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于虚拟桌面环境的图像处理方法，其特征在于，所述图像处理方法包括以下步骤：

虚拟化服务器对原始图像数据分别进行有损编码处理与差分编码处理，得到对应的有损编码数据和该有损编码数据的差分编码数据；

将所述有损编码数据和所述差分编码数据发送到虚拟客户端，以供虚拟客户端解码后进行增强合成，得到增强图像数据并进行显示。

2.如权利要求1所述的图像处理方法，其特征在于，所述虚拟化服务器对原始图像数据分别进行有损编码处理与差分编码处理，得到对应的有损编码数据和该有损编码数据的差分编码数据的步骤包括：

所述虚拟化服务器将所述原始图像数据转换成第一格式图像数据，并对所述第一格式图像数据进行有损编码处理，得到所述有损编码数据；

所述虚拟化服务器将所述原始图像数据分别转换成所述第一格式图像数据和第二格式图像数据，并对所述第一格式图像数据与所述第二图像格式数据进行差分计算，得到差分图像数据；对所述差分图像数据进行无损编码处理，得到所述差分编码数据。

3.如权利要求2所述的图像处理方法，其特征在于，所述虚拟化服务器将所述原始图像数据分别转换成所述第一格式图像数据和第二格式图像数据，并对所述第一格式图像数据与所述第二图像格式数据进行差分计算，得到差分图像数据的步骤包括：

所述虚拟化服务器识别所述原始图像数据中的特定区域，所述特定区域至少包括文字区域和/或自然图像区域；

将所述特定区域的原始图像数据分别转换成所述第一格式图像数据和所述第二格式图像数据，并对所述特定区域的所述第一格式图像数据与所述第二图像格式数据进行差分计算，得到所述特定区域的差分图像数据。

4.如权利要求2或3所述的图像处理方法，其特征在于，所述第一格式数据为YUV420图像数据，所述第二格式数据为YUV444图像数据。

5.一种虚拟化服务器，其特征在于，所述虚拟化服务器包括：

存储有图像处理程序的存储器；

处理器，配置为执行所述图像处理程序以执行下述操作：

对原始图像数据分别进行有损编码处理与差分编码处理，得到对应的有损编码数据和该有损编码数据的差分编码数据；

将所述有损编码数据和所述差分编码数据发送到虚拟客户端，以供虚拟客户端解码后进行增强合成，得到增强图像数据并进行显示。

6.如权利要求5所述的虚拟化服务器，其特征在于，执行所述对原始图像数据分别进行有损编码处理与差分编码处理，得到对应的有损编码数据和该有损编码数据的差分编码数据的操作包括：

将所述原始图像数据转换成第一格式图像数据，并对所述第一格式图像数据进行有损编码处理，得到所述有损编码数据；

将所述原始图像数据分别转换成所述第一格式图像数据和第二格式图像数据，并对所述第一格式图像数据与所述第二图像格式数据进行差分计算，得到差分图像数据；对所述差分图像数据进行无损编码处理，得到所述差分编码数据。

7.如权利要求6所述的虚拟化服务器，其特征在于，执行所述将所述原始图像数据分别转换成所述第一格式图像数据和第二格式图像数据，并对所述第一格式图像数据与所述第二图像格式数据进行差分计算，得到差分图像数据的操作包括：

识别所述原始图像数据中的特定区域，所述特定区域至少包括文字区域和/或自然图像区域；

将所述特定区域的原始图像数据分别转换成所述第一格式图像数据和所述第二格式图像数据，并对所述特定区域的所述第一格式图像数据与所述第二图像格式数据进行差分计算，得到所述特定区域的差分图像数据。

8.一种图像处理***，其特征在于，所述图像处理***包括权利要求5-7中任一项所述的虚拟化服务器，所述图像处理***还包括若干虚拟客户端，所述虚拟客户端包括：

存储有图像处理程序的存储器；

处理器，配置为执行所述图像处理程序以执行下述操作：

接收所述虚拟化服务器发送的所述有损编码数据和所述差分编码数据，并对所述有损编码数据和所述差分编码数据分别进行解码；

将解码后的所述有损编码数据和所述差分编码数据进行增强合成处理，得到增强图像数据并进行显示。

9.如权利要求8所述的图像处理***，其特征在于，执行所述将解码后的所述有损编码数据和所述差分编码数据进行增强合成处理，得到增强图像数据并进行显示的操作包括：

当所述虚拟化服务器发送的所述差分编码数据为由原始图像数据中特定区域的差分图像数据编码形成时，基于所述特定区域，对解码后的所述有损编码数据和所述差分编码数据进行增强合成处理，得到所述增强图像数据并进行显示。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如权利要求1至4中任一项所述的基于虚拟桌面环境的图像处理方法的步骤。