CN105745924A

CN105745924A - 色度下转换和上转换处理

Info

Publication number: CN105745924A
Application number: CN201480060259.3A
Authority: CN
Inventors: L·朱; S·桑库拉提; B·A·库马; N·阿布多
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2013-11-01
Filing date: 2014-10-27
Publication date: 2016-07-06
Anticipated expiration: 2034-10-27
Also published as: CN105745924B; US20150124873A1; WO2015065911A1; EP3063937B1; EP3063937A1; KR20160082521A

Abstract

公开了用于处理屏幕内容的色度，包括屏幕内容的上转换和下转换，的方法和***。一种方法包括在计算设备处将屏幕内容的色度从第一格式下采样为第二格式，所述第二格式与视频编解码器兼容。该方法还包括使用所述视频编解码器压缩所述第二格式的经下转换的屏幕内容来生成经压缩的经下转换的屏幕内容。该方法进一步包括将所述经压缩的经下转换的屏幕内容传送到第二计算设备。

Description

色度下转换和上转换处理

背景

屏幕内容，或由计算***在显示器上向用户显示的描述信息的数据，通常包括多个不同类型的内容。这些内容可包括，例如，文本内容、视频内容、静态图像(例如，窗口或其它GUI元素的显示)、以及幻灯片或其它呈现素材。屏幕内容被越来越多地远程递送，例如使得两个或多个远程计算***可共享公共的显示从而允许两个位于远程的个体同时查看相同屏幕，或另外地在电话会议中递送使得屏幕在多个个体之间共享。

一般而言，在工作室中通过相机或基于其它基于图像或基于文本的屏幕图像(例如，显示窗口)捕捉的屏幕内容是按照RGB格式捕捉的。特定RGB格式可在用于每个颜色通道的比特数方面变化，诸如R8B8G8(R、G和B颜色通道中的每一者都有8个比特)或R16G16B16(每个通道16比特)。如果此数据随后被转换为相应的亮度-色度(luminance-chrominance)布置(即，YUV格式的)，则相应的格式将为YUV444，其需要每个像素总共6个信息字节。

由于屏幕内容被远程递送，并且归因于渐增的屏幕分辨率，希望将此内容压缩到低于其本身位图尺寸的大小、以节省带宽并增强传输效率。相应地，被配置成发送和/或接收视频或屏幕数据的许多设备仅能够接受较低客观质量数据但是具有视觉上较少丢失的主观质量，诸如YUV422数据，其需要4个字节来描述2个像素，或YUV411数据，其需要6个字节来描述4像素，或者甚至因为能带来视频内容的视觉上无损的质量而常用的YUV420数据，其也需要6个字节来描述4个像素，但是其被重新排序以对Y、U和V值编组。此类设备仅能够管理此类较小数据大小以处理和压缩(例如，使用移动图片专家组(MPEG)编解码器，诸如基于H.264或HEVC的编解码器)。然而，从YUV444到这些其它格式之一的转换通常通过丢弃描述每个像素的部分数据来执行(即，下采样)，这导致一些颜色信息的丢失。

越来越多地因为屏幕内容被传送以在远程***上观看，所以从YUV444到YUV420或通常仅被用于视频传送的某种其它较低质量格式数据的丢失是必须的；然而，因为屏幕内容不仅包括视频内容还包括静态图像以及文本内容，所以使用较低质量格式是不期望的。然而，当设备接收到此类经编码的屏幕内容并解码/解压该内容时，该设备在其中屏幕内容被接收的较低质量格式(例如，YUV420等)中这样做。在一些情况下，经解码的内容随后被上转换到YUV444。这导致多个问题。例如，这种上转换通常使用最近像素方法或双线性方法来实现上转换来执行。使用这些技术导致在屏幕内容被上转换到YUV444格式之后在屏幕内容中造成伪像。例如，如果文本是特定颜色的，则该文本可能消失，或其它伪像可能出现(例如，所得到的图像中的线条或阴影)。这些伪像导致屏幕内容的清晰度的缺失，即使被上转换。

概述

概括而言，本公开涉及色度下转换技术，该技术能用于最小化原本将在将高质量格式(例如，YUV444)的图像数据转换为较低质量格式以进行编码并向远程***传送时产生的视觉伪像。在一些方面，本公开应用上转换技术，该技术与那些下转换技术互补来确保在远程***处重构高质量图像数据。

在第一方面，公开了一种处理屏幕内容的色度的方法。该方法包括在计算设备处将屏幕内容的色度从第一格式下采样为第二格式，该第二格式与视频编解码器兼容。该方法还包括使用该视频编解码器压缩该第二格式的经下转换的屏幕内容来生成经压缩的经下转换的屏幕内容。该方法进一步包括将该经压缩的经下转换的屏幕内容传送到第二计算设备。

在第二方面，一种屏幕内容转换***包括下转换组件，该下转换组件能在计算设备上操作以接收屏幕内容并将该屏幕内容的色度从第一格式下转换到第二格式，该第二格式与视频编解码器兼容，其中该下转换组件向该屏幕内容应用9抽头滤波器、双边滤波器、或离散余弦变换中的至少一者以生成经下转换的屏幕内容。该屏幕内容转换***进一步包括压缩组件，该压缩组件能在该计算设备上操作以接收该经下转换的屏幕内容并通过应用该视频编解码器来生成经压缩的经下转换的屏幕内容。该屏幕内容转换***还包括传送组件，该传送组件能操作以将该经压缩的经下转换的屏幕内容传送到远程计算设备。

在第三方面，公开了一种包括计算机可执行指令的计算机可读存储介质，该计算机可执行指令在被执行时使得计算***执行一种处理屏幕内容的色度的方法。该方法包括在计算设备处将屏幕内容的色度从第一格式下转换到第二格式，该第二格式与视频编解码器兼容，其中该下转换包括向该屏幕内容应用9抽头滤波器、双边滤波器或离散余弦转换中的至少一者来生成经下转换的屏幕内容。该方法进一步包括使用该视频编解码器压缩该第二格式的经下转换的屏幕内容来生成经压缩的经下转换的屏幕内容。该方法还包括将该经压缩的经下转换的屏幕内容传送到第二计算设备。

提供本发明内容以便以简化的形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

附图简述

图1示出***的示例说明性安排，其中在计算***处从远程源接收到的图形数据被处理；

图2是下转换和上转换色度以供结合使用视频编解码器的屏幕数据的压缩来使用的方法的流程图；

图3A是根据一示例实施例的使用9抽头滤波器来下转换和上转换色度的方法的过程流；

图3B是根据一示例实施例的使用色调、饱和度和亮度转换以及双边滤波器来下转换和上转换色度的方法的过程流；

图3C是根据一示例实施例的使用离散余弦变换和互补逆离散余弦变换来下转换和上转换色度的方法的过程流；

图4是根据图3A的实施例能使用的9抽头滤波器的示例图示；

图5是能接合图4的滤波器布局使用的9抽头滤波器的示例加权；

图6是示出根据一示例实施例的使用如图3B中所示的色调、饱和度和亮度转换和双边滤波器进行色度的下转换的框图；

图7是根据一示例实施例的对屏幕内容执行的离散余弦变换的示意图；

图8是根据一示例实施例的对经下转换屏幕内容执行的逆离散余弦变换的示意图；

图9是示出可用来实施本发明的各实施例的计算设备的示例物理组件的框图；

图10A和10B是可用来实施本发明的各实施例的移动计算设备的简化框图；以及

图11是可用来实施本发明的各实施例的分布式计算***的简化框图。

详细描述

如上简述，本发明的各实施例针对色度上转换(up-conversion)和下转换(down-conversion)处理。具体而言，本公开一般涉及用于处理屏幕内容的方法和***，该屏幕内容诸如包括多个不同类型的屏幕内容的屏幕帧。这样的屏幕内容可包括文本、视频、图像、特殊效果或其它类型的内容。本文描述的色度上转换和下转换过程维持了高质量色彩和图像保真度，同时将此类屏幕内容转换为经压缩格式以用于使用视频编码和传送协议来传送。

为解决在远程屏幕显示***中的某些限制，华盛顿州雷蒙德市的微软公司开发了远程桌面协议(RDP)。在这个协议中，屏幕帧被分析，其中不同的内容被不同地分类。当RDP被使用时，基于要被压缩且被传送到远程***以供后续重构和显示的屏幕内容的类型，可应用混合的编解码器集合。

在RDB解决方案的近期迭代中，视频编解码器(诸如基于MPEG的编解码器(例如HEVC或H.264/MPEG-4AVC))已被用于压缩和分发屏幕内容。这些视频编解码器通常需要使用图像的紧凑表示，所述表示使用少量比特来描述像素数据(或至少比用于全保真图像数据的更少量的数据)。如同上面指出的，像素数据的简单下采样可丢失关键信息，从而导致所得到的经编码、传送和解码的屏幕内容中的视觉伪像。

在一些示例中，且与现有RDP解决方案相对，本文讨论的色度下转换和上转换过程格式化屏幕内容以供与视频编解码器结合使用，其通常接收较低质量的格式，诸如YUV420格式。通过应用本文讨论的一种或多种技术，诸如使用9抽头滤波器，使用色调、饱和度以及亮度(HSL)格式化和双边滤波器，或使用离散余弦变换(和用于上转换的伴随的逆离散余弦变换)，将避免原本将因为简单地下采样较高质量格式(诸如YUV444)的色度分量而出现的视觉伪像。

图1示出***100的示例说明性安排，其中远程屏幕内容分布可被执行并且其中通用编解码器可被实现。如所示，***100包括计算设备102，其包括诸如CPU的可编程电路104。计算设备102还包括配置用于存储可以由可编程电路104执行的计算指令的存储器106。适合用作计算设备102的计算***的示例类型以下结合图9－11讨论。

通常，存储器106包括远程桌面协议软件108和编码器110。远程桌面协议软件108通常被配置来将呈现在计算设备102的本地显示器112上的屏幕内容复制到远程计算设备(被示为远程设备120)上。在一些实施例中，远程桌面协议软件108生成与华盛顿州雷蒙德市的Corporation(微软公司)定义的远程桌面协议(RDP)兼容的内容。

如在以下更加详细地讨论的，编码器110可被配置成将通用内容编解码器应用到多个内容类型的内容(例如，文本、视频、图像)，使得内容被压缩以供传输到远程设备120。在各示例实施例中，编码器110可生成符合基于标准的编解码器(诸如基于MPEG的编解码器)的比特流。在特定示例中，编码器110可符合一个或多个编解码器，诸如MPEG-4AVC/H.264或HEVC/H.265编解码器。其它类型的基于标准的编码方案或编解码器也可被使用。

如图1所示，经编码的屏幕内容可通过计算设备102的通信接口114被传送到远程设备120，该通信接口114将经编码的屏幕内容经由通信连接116(例如，互联网)提供到远程设备120的通信接口134。通常，如以下所讨论的，例如归因于在形成通信连接116的网络上发生的附加的流量，通信连接116可具有不可预测的可用带宽。因此，可经由通信连接116传送不同质量的数据。

在本发明的上下文中，在一些实施例中，远程设备120包括主可编程电路124(诸如CPU)以及专用可编程电路125。在示例实施例中，专用可编程电路125是基于标准的解码器，诸如被设计来编码或解码具有特定标准(例如MPEG-4AVC/H.264或HEVC/H.265)的内容的MPEG解码器。在特定实施例中，远程设备120对应于这样的客户端设备：其相对于计算设备102是本地或远程的，且用作可用于接收屏幕内容的客户端设备。因此，从远程设备120的角度而言，计算设备102对应于图形(例如，显示)内容的远程源。

此外，远程设备120包括存储器126和显示器128。存储器126包括远程桌面客户端130和显示缓冲器132。远程桌面客户端130可以是，例如，被配置用于接收并解码接收自计算设备102的屏幕内容的软件组件。在一些实施例中，远程桌面客户端130被配置来接收并处理屏幕内容以供在显示器128上呈现远程屏幕。在一些实施例中，屏幕内容可以，根据华盛顿州雷蒙德市的Corporation(微软公司)定义的远程桌面协议来传送。显示缓冲器132在存储器中将要被显示在显示器128上的屏幕内容的当前副本存储为例如位图，其中各区域在更新可用时可被选择或替代。

参考图2，公开了下转换色度以结合使用视频编解码器的屏幕数据的压缩来使用的方法200。方法200例如可使用上述的图1的***100来执行，或按照计算***的任何其它布置来执行，诸如在下面结合图9-11所讨论的那些布置。

在所示实施例中，方法200包括帧接收操作202，其对应于在转换组件处接收表示一个或多个帧的屏幕内容。例如，帧接收操作202可对应于在计算***的转换组件处接收来自该同一计算***的另一软件子组件的屏幕内容；在替换实施例中，帧接收操作202可对应于接收来自与执行方法200的一个或多个操作的***相比独立的计算***或设备的屏幕内容。

色度下转换操作204对屏幕内容的每个像素执行下转换过程，由此将屏幕内容从第一格式下转换为视频编码编解码器能够接受的第二格式。在示例实施例中，第一格式可以是YUV444格式而第二格式可以是YUV420或YUV422格式。在替换实施例中，其它颜色表示(例如，坐标系)和/或格式也可被使用。而且，各种下转换方法可被使用。如下面结合图3A-3B更详细地解释的，在各实施例中，可使用一9抽头滤波器；替换地或附加地，例如对被转换到色调、饱和度和亮度(HSL)坐标系的屏幕内容可使用双边滤波器。而且，如结合图3C所讨论的，离散余弦变换可被用于色度下变换。

压缩操作206对来自色度下转换操作204的经下转换的屏幕内容执行压缩操作。压缩操作可以例如向经下转换的屏幕内容应用视频编解码器，该经下转换的屏幕内容采用该视频编解码器可接受的格式。在示例实施例中，压缩操作206可对应于应用MPEG-4AVC/H.264、HEVC/H.265或其它基于MPEG的编码方案。

在所示实施例中，通道传送操作208对应于将现在编码或压缩的经下转换的屏幕内容从将其下转换和/或压缩的计算***传送到第二计算***。这可例如对应于将经编码的屏幕内容从计算设备102传送到远程设备120，如上面结合图1所讨论的。这可经由流传输内容布置(例如，使用如上所讨论的RDP软件)来实现。其它传送布置(诸如传送整个经编码视频文件)也将是可能的。

在所示实施例中，解压操作210使用如在压缩操作206中的互补编解码器应用来解压所传送的、经压缩(以及下转换)的屏幕内容。如同上面指出的，解压操作210可利用MPEG-4AVC/H.264、HEVC/H.265或其它基于MPEG的编码/解码方案。解码操作210重构经下转换的屏幕内容，例如YUV420格式的、YUV422或其它编解码器兼容的颜色表示的屏幕内容。

在解压操作210之后，上转换操作212基于经下转换的屏幕内容来生成该屏幕内容的经上转换的版本。上转换过程可按许多方式来执行。例如，上转换操作212可包括在从YUV420或YUV422到YUV444的上转换期间应用双线性滤波器或双三次滤波器。例如当结合上面讨论的9抽头下转换过程使用时，这种布置可以是有利的。在替换实施例中，上转换操作212可简单地使用最近点来执行而不使用任何滤波器。在又一些实施例中，上转换操作212可包括执行逆离散余弦变换；这种逆离散余弦变换的一示例在图8中解说并在下面讨论。

存储和显示操作214接收经上转换的屏幕内容并可使用该经上转换的屏幕内容执行一个或多个操作。在示例实施例中，存储和显示操作214可在远程***(诸如远程设备120)的屏幕上显示已被上转换到原始的第一格式(例如YUV444)的屏幕内容。在替换实施例中，所接收的内容可被存储在远程***(诸如远程设备120)处的存储器中以供稍后显示或传送。

现在参考图3A-3C，公开了可能的下转换和上转换过程的三个具体示例，其可结合压缩和传送屏幕内容以递送至远程***来使用。图3A是根据一示例实施例的使用9抽头滤波器来下转换和上转换色度的方法300的过程流。在图3A的方法300中，所接收的输入屏幕内容在下转换模块302中使用9抽头滤波器被从第一格式下转换到第二格式。此转换可使用如下面结合图4-5讨论的9抽头滤波器来执行，以执行该下转换。如先前指出的，第一格式通常不被接受作为视频编解码器的输入，而第二格式通常是更紧凑的格式且被接受作为视频编解码器的输入。在示例实施例中，第一格式可以是RGB或YUV444格式，而第二编解码器可以是YUV420或YUV422格式。具体而言，下转换模块302可被配置成将YUV444格式数据的U和V通道下转换以生成经下转换的屏幕内容。

经下转换的屏幕内容随后被传递到编码模块304，该编码模块使用视频编解码器来编码该经下转换的屏幕内容。如同上面指出的，可使用各种不同编解码器中的任何编解码器，诸如基于MPEG的编解码器(例如，AVC/H.264、HEVC/H.265)。经编码的内容随后被传递至传送信道306，其对应于经编码的屏幕内容(例如，从计算设备102到远程设备120)的传送。在接收计算***(诸如远程设备120)处，视频解压操作308将所接收的经编码的内容解压，由此以与为视频压缩/解压选择的编解码器兼容的第二格式(例如，YUV420或YUV422)来重构经压缩的屏幕内容。此经下转换的屏幕内容被传递到上转换模块310，该上转换模块执行该屏幕内容的上转换。具体而言，双线性滤波器可被应用以生成经上转换格式(例如，YUV444或等效的RGB格式)的屏幕内容。显示或存储模块312将该屏幕内容提供至存储器以供存储或提供至屏幕以供显示。

参考图3B，示出了根据一示例实施例的使用色调、饱和度和亮度转换以及双边滤波器来下转换和上转换色度的方法320的过程流。一般而言，方法320对应于如上所述的方法300。然而，方法320包括一不同的下转换模块322和上转换模块324，而不是下转换模块302和上转换模块310。在此布置中，下转换模块322使用屏幕数据的色调、饱和度和亮度(HSL)表示来应用色度下转换，并向该表示应用双边滤波器。具体而言，HSL表示和双边滤波器应用的一个示例在下面结合图6更详细地描述。一般而言，双边滤波器将下转换U和V通道以生成帧的子采样，以实现YUV420或YUV422表示。

在所示实施例中，上转换模块324执行通用上转换过程而无需应用一个或多个滤波器，尽管使用这些滤波器可以是可能的。例如，滤波器或最近点复制可被应用以生成经上转换的屏幕内容，例如YUV444帧。

参考图3C，示出了根据一示例实施例的使用离散余弦变换和互补逆离散余弦变换来下转换和上转换色度的方法340的过程流。一般而言，方法340对应于如上所述的方法300。然而，方法340包括执行离散余弦变换的下转换模块342和执行逆离散余弦变换的上转换模块344，而不是下转换模块302和上转换模块310。具体而言，在下转换模块342中，DCT方法模块的输入将是YUV444帧，而该模块将下采样U和V通道来生成色度子采样帧来实现新格式，诸如YUV420或YUV422格式。上转换模块344执行逆离散余弦变换，以在接收方计算***处生成例如YUV444格式帧。

与方法300和320不同，方法340需要在用于传送经下转换和压缩的数据的通道的相对端(例如，在计算设备102和远程设备120处)的互补操作。这是因为，在基于DCT的下转换的通用用途中，需要逆DCT过程来重构来自DCT过程的数据，因为DCT过程将高能量信号集中在DCT矩阵的单一象限中。在以下结合图7-8提供此过程的细节。

现在参考图4-5，提供了关于结合图3A的方法300使用的9抽头滤波器的示例实现的细节。图4大致示出针对特定像素的9抽头滤波器400的布局。如图4中所解说的，将中心像素402(例如，所考虑的像素)与8个周围像素404a-h中的每一个相比较。这八个周围像素对应于通常“接触”中心像素的那些像素，即每一个侧方和对角近邻。在示例实施例中，9抽头滤波器400可由以下等式来描述，从而定义YUV444格式化的屏幕内容的UV分量的下采样(被示出为UV_down)：

{UV}_{d o w n} = Σ_{k = 0}^{9} a_{k} U V [k]

s u b : Σ_{k = 0}^{9} a_{k} = 1

在此布置中，注意，UV_down点基于其本身和八个周围像素404a-h。

在图5中示出的9抽头滤波器500的示例实现中，提供了可能的加权。具体而言，在该示例实现中，当前像素或即中心像素502与每个邻点504a-h被等同地加权。相应地，中心点502以滤波器的总考虑的8/16被加权，而每个相邻点被赋予1/16的加权。当然，在替换实施例中，可使用点的其它加权。大致参照图3A和4-5，注意，通过在接收设备处使用9抽头滤波器400和相关联的滤波避免了在不使用这种转换和/或滤波器的情况下可能出现的过冲问题。而且，此布置在计算上简单，且可在低复杂度应用中或在其中传送或接收设备之一或两者具有有限的计算资源的情况下被使用。

具体参考图6，在示例下转换模块600的上下文中讨论了关于使用HSL和双边滤波器的下转换的细节。下转换模块600可被用于例如上述图3B的下转换模块322中。一般而言，如图6中所示，模块600以第一格式(诸如YUV444)接收屏幕内容。该内容随后在RGB转换模块602处被转换(如果是YUV444内容的话)至RGB尺度。替换地，经RGB格式化的数据可保留为原始形式而不进行这种重新格式化。

经RGB格式化的屏幕内容被传递至色调、饱和度和亮度(HSL)转换模块604。在示例实现中，可使用以下等式计算这些RGB信道中的每个信道的饱和度(s)。

c＝max(R，G，B)-min(R，G，B)

s = \frac{c}{1 - | 2 * l - 1 |}

在以上等式中，亮度(l)可基于以下等式来确定，该等式表示各RGB值的平均值。

l = \frac{R + G + B}{3}

色调(Hp)可使用以下公式根据特定点处的亮度和饱和度来计算：

Hp＝l_p*α+s_p*β

按照距最近相邻像素的像素距离表示的HSL值随后被传递至双边滤波器606，该双边滤波器接收那些值连同范围距离608，并提供经下采样的色度结果610。在所示实施例中，双边滤波器606使用以下响应滤波等式来确定对应于当前下采样位置的UV_down分量：

在以上双边滤波器定义中，项被如下定义：

在该等式中，I_q是q位置的像素值，p是当前位置，且G是该滤波器中使用的高斯内核、框内核或其它内核。

大致参考图6，下转换模块600特别适用于其中颜色饱和度的丢失是不期望的情形。因为颜色被表示在UV平面而不是HSL平面上，HSL下转换导致色度信息的更少丢失(其具有色调信息中的略微更大的丢失的相应折衷)。而且，因为在下转换过程期间附加的饱和度信息被保留，所以在模块中不存在在上转换之前或期间提供互补滤波的需要，这与使用9抽头滤波器时不同(在9抽头滤波器被使用的情况下在上转换期间或之前使用滤波器是被鼓励的)。

现在参考图7-8，公开了基于对离散余弦变换(如图7中所解说的)和逆离散余弦变换(如图8中所解说的)的使用的色度的下转换和上转换。本文公开的下转换和上转换可表示先前参考图3C提出的基于DCT的技术的示例。

在图7中所示的示例中，示出了DCT过程700，其中DCT内核702对U/V值704的8x8矩阵执行前向变换，从而带来变换系数矩阵706。变换系数矩阵706(其也是8x8阵列)随后被切断，以使得变换系数的子集708(表示该变换系数矩阵706的仅左上部分)被维持。此子集708对应于从YUV444到YUV420的下采样。

在图8中，对子集708执行逆DCT(IDCT)过程800。IDCT过程800接收子集708并执行零填充填入(zero-paddedfill)以从由DCT过程700原始生成的4x4矩阵实现8x8矩阵802。互补IDCT内核804重新创建所得到的U/V值806的8x8矩阵，以恢复色度信息的原始分辨率(例如，YUV444)。

注意，大致参考图7-8，DCT过程700通常将在应用编解码器以进行压缩之前在第一计算***处对屏幕内容执行。IDCT过程800通常将在接收该屏幕内容并用类似编解码器解压该屏幕内容的第二计算***处执行。IDCT过程800与DCT过程700互补，且因此提供如上所述的色度信息的重新生成。

一般而言，大致参考图1-8，注意，上面提及的用于下采样和上采样屏幕数据的色度信息的方法和***允许保留图形和文本数据的尖锐边缘信息，同时减少通过下采样或仅使用最近邻数据的上采样所引入的噪声。此外，在不使用这些转换和/或滤波器的情况下可能出现的过冲问题被避免。

当比较上面讨论的各种方法时，注意，基于计算复杂度和在传送或接收计算***处可用的计算资源，每种方法可单独使用或结合使用。例如，图3A的利用9抽头滤波器的方法300将是计算上高效的，同时相对于简单地下采样色度信息提供某种水平的改进图像质量。由于使用HSL表示并保留更大量的色度信息，图3B的方法320可提供比图3A的表示更多彩、生动的屏幕内容表示。换言之，因为饱和度信息在下转换过程期间被保留，所以在此方法中可能不需要在上转换期间提供一个或多个滤波器。是否应用这些滤波器将是任选的，因为通过使用HSL表示已经实现了图像数据的保留和伪像的避免。

图3C的以及如图7-8中所示的方法340在用第一格式重构信号时提供了最大量的准确度，因为该方法收集并将最高能量U/V值(即，前16个最高阶U/V系数)集中到阵列的一象限，其被保留以传送到远程***。在具有本机DCT硬件(并可在传送方和接收方***处按互补方式配置此类硬件)的***中，这种布置可在重现色彩信息时提供高准确度，其保留了对原始屏幕内容的准确度。

图9-11以及相关联的描述提供了其中可实施本发明的各实施例的各种操作环境的讨论。然而，关于图9-11所示出和讨论的设备和***是用于示例和说明的目的，而非对可被用于实施本文所述的本发明的各实施例的大量计算设备配置的限制。

图9是示出可用来实施本发明的各实施例的计算设备900的示例物理组件(即硬件)的框图。以下描述的计算设备组件可适合于担当以上描述的计算设备，诸如图1的设备102、120。在基本配置中，计算设备900可包括至少一个处理单元902以及***存储器904。取决于计算设备的配置和类型，***存储器904可包括但不限于易失性存储(例如，随机存取存储器)、非易失性存储(例如，只读存储器)、闪存、或者此类存储器的任何组合。***存储器904可包括操作***905和一个或多个程序模块906，此一个或多个程序模块906适合于运行诸如上面结合图1讨论的远程桌面协议软件108和编码器110之类的软件应用920，尤其是结合图2-8描述的下转换、上转换以及编码。例如，操作***905可适合于控制计算设备900的操作。此外，可结合图形库、其他操作***、或者任何其他应用程序来实践本发明的实施例，并且这些实施例不限于任何特定的应用或***。该基本配置在图9中由虚线908内的那些组件示出。计算设备900可具有附加特征或功能。例如，计算设备900也可以包括附加的数据存储设备(可移动和/或不可移动)，诸如磁盘、光盘或带。这些附加存储在图9中由可移动存储设备909和不可移动存储设备910示出。

如上所声明的，大量程序模块和数据文件可被存储在***存储器904中。尽管在处理单元902上执行，但是程序模块906(例如远程桌面协议软件108和编码器110)可以执行包括但不限于下列过程：本文中所示的通用编解码器编码器或解码器的操作。根据本发明的各实施例可使用的其他程序模块，且尤其是用于生成屏幕内容的其它程序模块可包括电子邮件和联系人应用、文字处理应用、电子表格应用、数据库应用、幻灯片演示应用、绘图或计算机辅助应用程序等。

此外，可在电气电路中实践本发明的实施例，该电气电路包括离散电子元件、包含逻辑门的封装或集成电子芯片、利用微处理器或者在包含电子元件或微处理器的单个芯片上的电路。例如，可以通过片上***(SOC)来实践本发明的各实施例，其中，可以将图9中示出的每个或许多组件集成到单个集成电路上。这样的SOC设备可包括一个或多个处理单元、图形单元、通信单元、***虚拟化单元以及各种应用功能，所有这些都被集成到(或“烧录到”)芯片基板上作为单个集成电路。当通过SOC操作时，在此所述的关于远程桌面协议软件108和编码器110的功能可以通过在单个集成电路(芯片)上集成有计算设备1800的其它组件的专用逻辑来操作。还可使用能够执行逻辑操作(诸如举例而言，与、或、以及非)的其他技术来实践本发明的实施例，这些技术包括但不限于机械、光学、流体和量子技术。另外，可在通用计算机内或者在任何其他电路或***中实践本发明的实施例。

计算设备900也可具有一个或多个输入设备912，如键盘、鼠标、笔、语音输入设备、触摸输入设备等等。也可包括输出设备914，如显示器、扬声器、打印机等等。前述设备是示例，并且可使用其他设备。计算设备900可包括允许与其他计算设备918通信的一个或多个通信连接916。合适的通信连接916的示例包括但不限于RF发射机、接收机、和/或收发机电路***、通用串行总线(USB)、并行和/或串行端口。

如本文中所使用的术语计算机可读介质摂可包括计算机存储介质。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构或程序模块这样的信息的任意方法或技术来实现的易失性和非易失性、可移动和不可移动介质。***存储器904、可移除存储设备909、以及不可移除存储设备910都是计算机存储介质示例(即，存储器存储)。计算机存储介质可包括RAM、ROM、电可擦除只读存储器(EEPROM)、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁存储设备、或者可用于存储信息且可由计算设备900访问的任何其他制品。任何此类计算机存储介质可以是计算设备900的一部分。计算机存储介质不包括载波或者其他经传播或经调制的数据信号。

通信介质可通过计算机可读指令、数据结构、程序模块、或者经调制的数据信号(诸如载波或者其他传送机制)中的其他数据体现，并且包括任何信息传递介质。术语“已调制数据信号”可以描述以对信号中的信息进行编码的方式来设置或改变其一个或多个特征的信号。通过示例而非限制，通信介质可包括诸如有线网络或直接有线连接之类的有线介质、以及诸如声、射频(RF)、红外和其他无线介质之类的无线介质。

图10A和10B示出可用来实施本发明的各实施例的移动计算设备1000，例如移动电话、智能电话、平板个人计算机、膝上型计算机等。参考图10A，示出了用于实现各实施例的移动计算设备1000的一个实施例。在基本配置中，移动计算设备1000是具有输入元件和输出元件两者的手持计算机。移动计算设备1000通常包括显示器1005以及允许用户将信息输入移动计算设备1000的一个或多个输入按钮1010。移动计算设备1000的显示器1005还可用作输入设备(例如，触摸屏显示器)。如果被包括在内，任选的侧输入元件1015允许进一步的用户输入。侧输入元件1015可以是旋转开关、按钮、或者任何其他类型的手动输入元件。在替换实施例中，移动计算设备1000可合并或多或少的输入元件。例如，在一些实施例中，显示器1005可以不是触摸屏。在又一替换实施例中，移动计算设备1000是便携式电话***，诸如蜂窝电话。移动计算设备1000还可包括任选的小键盘1035。可选的小键盘1035可以是物理小键盘或者在触摸屏显示器上生成的“软”键区。在各个实施例中，输出元件包括用于示出图形用户界面(GUI)的显示器1005、可视指示器1020(例如，发光二极管)、和/或音频换能器1025(例如，扬声器)。在一些实施例中，移动计算设备1000合并用于向用户提供触觉反馈的振动换能器。在又一实施例中，移动计算设备1000合并输入和/或输出端口，诸如音频输入(例如，话筒插孔)、音频输出(例如，头戴式耳机插孔)、以及用于发送信号或接收来自外部设备的信号的视频输出(例如，HDMI端口)。

图10B是示出移动计算设备的一个实施例的架构的框图。即，移动计算设备1000可结合一***(即架构)1002以实现某些实施例。在一个实施例中，***1902被实现为能够运行一个或多个应用(如浏览器、电子邮件、日历、联系人管理器、消息收发客户端、游戏、以及媒体客户端/播放器)的“智能电话”。在一些实施例中，***1002被集成为计算设备，诸如集成个人数字助理(PDA)和无线电话。

一个或多个应用程序1066可被加载到存储器1062中，并且在操作***1064上或者与其相关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、因特网浏览器程序、消息收发程序等等。***1002还包括存储器1062内的非易失性存储区域1068。非易失性存储区域1068可用于存储持久性信息，如果***1002断电，该持久性信息则不会丢失。应用程序1066可使用和存储非易失性存储区域1068中的信息，诸如电子邮件应用所使用的电子邮件或其他消息等。同步应用(未示出)还驻留在***1002上，并且被编程为与驻留在主机计算机上的相应同步应用交互以使存储在非易失性存储区域1068中的信息保持与存储在主机计算机的相应信息同步。如应理解的，其他应用可被加载到存储器1062中并在移动计算设备1000上运行，包括此处所述的远程桌面协议软件108(和/或可选地编码器110、或远程设备120)，以及如上所述的相关联的色度下转换过程。在一些类似的***中，可经由***1002来执行逆过程，其中该***用作用于使用视频编解码器以及将经压缩的屏幕内容的色度上转换来解码所生成的比特流的远程设备120。

***1002具有可被实现为一个或多个电池的电源1070。电源1070可能进一步包括外部电源，诸如补充电池或对电池再充电的AC适配器或供电底座(powereddockingcradle)。

***1002还可包括执行发射和接收射频通信的功能的无线电1072。无线电1072通过通信运营商或服务供应商促进了***1002与“外部世界”之间的无线连接性。在操作***1072的控制下进行与无线电1064之间的传输。换句话说，可经由操作***1064将无线电1072接收到的通信散布到应用程序1066，反之亦然。

可视指示器1020可用于提供可视通知，和/或音频接口1074可用于经由音频换能器1025生成听得见的通知。在所解说的实施例中，可视指示器1020是发光二极管(LED)而音频换能器1025是扬声器。这些设备可直接耦合到电源1070以使它们在激活时保持开启达通知机制所陈述的持续时间，即使处理器1060以及其他组件可能关闭以节约电池电量。LED可被编程为无限地保持开启，直至用户采取措施来指示该设备的开启状态。音频接口1074用于向用户提供听得见的信号且接收来自用户的听得见的信号。例如，除了耦合到音频换能器1025以外，音频接口1074还可耦合到话筒以接收听得见的输入，诸如促进电话交谈。根据本发明的实施例，话筒还可用作音频传感器以促进对通知的控制，如将在下文中所描述的。***1002可进一步包括允许板载相机1030的操作来记录静止图像、视频流等的视频接口1076。

实现***1002的移动计算设备1000可具有附加特征或功能。例如，移动计算设备1000还可包括附加数据存储设备(可移除和/或不可移除)，诸如磁盘、光盘或带。这种附加存储设备在图10B中用非易失性存储区1068示出。

如上所述，通过移动计算设备1000生成或捕捉且经由***1002存储的数据/信息可在本地被存储在移动计算设备1000上，或者该数据可被存储在可由该设备经由无线电1072或者经由移动计算设备1000与关联于移动计算设备1000的单独计算设备(例如，分布式计算网络中的服务器计算机(诸如因特网))之间的有线连接访问的任意数量的存储介质上。如应当领会的，可经由移动计算设备1000、经由无线电1072、或者经由分布式计算网络访问此类数据/信息。类似地，可以在根据熟知的数据/信息转移和存储装置(包括电子邮件和协同数据/信息共享***)的用于存储和使用的计算设备之间容易地转移此类数据/信息。

图11示出了用于处理如以上描述的在计算***处从远程源(诸如计算设备1104、平板1106或移动设备1108)接收的数据的***的架构的一个实施例。在服务器设备1102处显示的内容可按不同的通信信道或其它存储类型来被存储。例如，可使用目录服务1122、web门户1124、邮箱服务1126、即时消息收发存储1128、或者社交网站1130来存储各种文档。远程桌面协议软件108可生成遵循RDP的、遵循MPEG的(或遵循其它标准的)数据流供例如通过web(例如，通过网络1115)显示在远程***处。作为示例，客户端计算设备可被实现为计算设备102或远程设备120，并体现为个人计算机1104、平板计算设备1106和/或移动计算设备1108(如智能电话)中。除了接收被用于要在图形始发***处预处理或在接收计算***处后处理的图形数据之外，计算设备102、120、1800、1800、1102、1104、1106、1108的这些实施例中的任意可获得来自存储1116的内容，如在上述色度下转换和上转换技术中所讨论的。

例如，以上参考根据本发明的实施例的方法、***和计算机程序产品的框图和/或操作解说来描述本发明的实施例。框图中所注释的功能/动作可以不按照如任一流程图中所示的次序发生。例如，连续示出的两个框实际上可基本并发地执行，或者取决于所涉及的功能/动作，这些框有时可以相反的次序执行。

本申请中所提供的一个或多个实施例的描述和解说并非旨在限制或限定如以任何方式要求保护的本发明的范围。本申请中所提供的实施例、示例和细节被认为足以传达占有且使其他人能够得到和使用要求保护的发明的最佳模式。要求保护的发明不应当被解释为限于本申请中所提供的任一实施例、示例或细节。不管是组合还是单独地示出和描述，各个(结构和方法)特征旨在选择性地包括或省略以产生具有一组特定特征的实施例。已经提供有本申请的描述和解说，本领域技术人员可设想落入在不背离要求保护的发明的更宽范围的本申请中体现的一般发明性概念的更宽泛方面的精神的变体、修改、以及替换实施例。

Claims

1.一种处理屏幕内容的色度的方法，所述方法包括：

在计算设备处将屏幕内容的色度从第一格式下采样为第二格式，所述第二格式与视频编解码器兼容；

使用所述视频编解码器压缩所述第二格式的经下转换的屏幕内容来生成经压缩的经下转换的屏幕内容；

将所述经压缩的经下转换的屏幕内容传送到第二计算设备。

2.如权利要求1所述的方法，其特征在于，进一步包括：在下转换色度之前，在所述计算设备处接收屏幕内容。

3.如权利要求2所述的方法，其特征在于，在所述计算设备处接收所述屏幕内容包括在所述计算设备处生成所述屏幕内容。

4.如权利要求1所述的方法，其特征在于，进一步包括，在所述第二计算设备处：

解压所述经压缩的经下转换的屏幕内容，由此重构所述第二格式的经下转换的屏幕内容；以及

上转换所述经下转换的屏幕内容的色度，由此生成所述第一格式的第二屏幕内容。

5.如权利要求4所述的方法，其特征在于：

其中下采样屏幕内容的色度包括向所述屏幕内容应用离散余弦变换来产生所述经下转换的屏幕内容；以及

其中上转换所述经下转换的屏幕内容的色度包括在所述第二计算设备处向所述经下转换的屏幕内容应用逆离散余弦变换。

6.如权利要求1所述的方法，其特征在于，下转换屏幕内容的色度包括向所述屏幕内容应用9抽头滤波器。

7.如权利要求1所述的方法，其特征在于，下转换屏幕内容的色度包括将所述屏幕内容转换为色调、饱和度和亮度(HSL)格式。

8.如权利要求7所述的方法，其特征在于，下转换所述屏幕内容的色度包括向所述HSL格式的所述经下转换的屏幕内容应用双边滤波器来生成所述经下转换的屏幕内容。

9.如权利要求1所述的方法，其特征在于，所述第一格式包括YUV444格式，且其中所述第二格式包括YUV420格式。

10.一种屏幕内容转换***，包括：

下转换组件，所述下转换组件能在计算设备上操作以接收屏幕内容并将所述屏幕内容的色度从第一格式下转换到第二格式，所述第二格式与视频编解码器兼容，其中所述下转换组件向所述屏幕内容应用9抽头滤波器、双边滤波器、或离散余弦变换中的至少一者以生成经下转换的屏幕内容；

压缩组件，所述压缩组件能在所述计算设备上操作以接收所述经下转换的屏幕内容并通过应用所述视频编解码器来生成经压缩的经下转换的屏幕内容；以及

传送组件，所述传送组件能操作以将所述经压缩的经下转换的屏幕内容传送到远程计算设备。

11.如权利要求10所述的屏幕内容转换应用，其特征在于，所述下转换组件应用所述9抽头滤波器和所述双边滤波器两者。

12.如权利要求10所述的屏幕内容转换***，其特征在于，所述屏幕内容转换***进一步包括所述远程计算设备，且其中所述屏幕内容转换***进一步包括：

解压组件，所述解压组件能在所述远程计算设备上操作以接收所述经压缩的经下转换的屏幕内容并重构所述经下转换的屏幕内容；以及

上转换组件，所述上转换组件能在所述远程计算设备上操作以接收所述经下转换的屏幕内容。

13.如权利要求12所述的屏幕内容转换***，其特征在于，所述上转换组件向所述经下转换的屏幕内容应用逆离散余弦变换。

14.如权利要求10所述的屏幕内容转换***，其特征在于，所述9抽头滤波器包括一组加权抽头，所述一组加权抽头包括中心抽头和多个周围抽头，所述中心抽头与所述周围抽头被等同地加权。

15.一种包括计算机可执行指令的计算机可读存储介质，所述计算机可执行指令在被执行时使得计算***执行一种处理屏幕内容的色度的方法，所述方法包括：

在计算设备处将屏幕内容的色度从第一格式下转换到第二格式，所述第二格式与视频编解码器兼容，其中所述下转换包括向所述屏幕内容应用9抽头滤波器、双边滤波器或离散余弦转换中的至少一者来生成经下转换的屏幕内容；

将所述经压缩的经下转换的屏幕内容传送到第二计算设备。