CN101192138B - 用于产生图像数据的方法和装置 - Google Patents

Abstract

为了在具有有限显示功能的客户端中实现服务器的有效远程控制，同时维持基于GUI的图像并且最小化来自服务器的数据传输量，提供了一种在具有经由网络连接至其的客户端的服务器中使用的方法，包括步骤：(1)从客户端接收涉及请求服务器操作的控制操作的命令，(2)响应于该命令的接收，划分显示在服务器的显示屏幕上的图像，并且检测每个划分区域中的图像的改变，(3)基于检测的图像改变，产生用于在客户端上显示的状态显示的图像数据，以及(4)将用于状态显示的图像数据发送到客户端。还提供了一种程序，用于使服务器执行该方法、以及一种能够实现该方法的服务器中的装置。

Description

用于产生图像数据的方法和装置

技术领域

本发明涉及用于产生要在服务器中的客户端上显示的图像数据的技术。更具体地，本发明涉及一种用于产生要在服务器侧的客户端上显示的图像数据的方法和装置，其能够减少要传送到具有受限图像显示功能的客户端(如移动蜂窝电话或个人数字助理)的数据量，并且能够在客户端实现有效的用户接口。

背景技术

当前，基于网络的计算机***环境被广泛使用，其中客户端(客户端设备、客户端计算机等)经由如因特网或内联网(包括室内LAN)的网络，连接到由服务器计算机和其***设备组成的服务器***(此后，简称为“服务器”)。具体来说，随着移动蜂窝电话和个人数字助理(PDA)的流行，使用如客户端这样的设备来允许服务器的远程控制已经日益普遍。

图1示出通常的基于网络的计算机***环境100，其中移动蜂窝电话和个人数字助理用作客户端。如图中所示，在服务器102存在于作为企业或组织内的局域网的内联网104中时，具有用于防止来自外部的非法访问的防火墙108的网关110放置在内联网和如因特网的外部网络106之间。这样，为了远程控制等目的从外部网络环境中的客户端112、114访问服务器102，通常需要访问网关110。

网关和如蜂窝移动电话的客户端之间的通信一般根据HTTP(超文本传输协议)进行，其意味着为了从客户端远程控制服务器，需要通过允许在服务器的显示器上显示的图像内容作为也将要在客户端侧显示的控制目标，而了解服务器的状态。换句话说，为了进行一系列用于远程控制的控制操作，需要根据图像内容执行随后的控制操作，所述图像内容显示在由客户端获取的服务器的显示器上。

然而，在服务器的显示器上显示的图像不能由客户端侧的用户实时观察；可以被观察到的仅是在该时间点从服务器获得的静态图像。仅从获取的图像信息，常常难以确定图像从其之前的状态已经进行了怎样的改变。

此外，蜂窝移动电话或个人数字助理具有有限尺寸的显示屏幕(即，用于显示的像素的总数远远小于服务器的显示器的像素数)，其意味着，如果试图将服务器的显示器上显示的全部图像显示为移动蜂窝电话等的有限尺寸的显示屏幕上的控制目标，则初始在服务器中使用大量像素表达的图像应当使用较少像素表达，其不可避免地导致在移动蜂窝电话等上显示的图像的粗劣的分辨率。对于观察在客户端的显示屏幕上显示的这样粗劣的分辨率的图像的用户而言，将非常难以准确判断随后的服务器控制操作的情况(例如，接下来应当点击哪部份)。

相反，如果试图以与显示在服务器的显示器上的图像相同的像素分辨率，在客户端这样有限的尺寸的显示屏幕上显示图像作为控制目标，那么显示在服务器的显示器上的全部图像的仅仅一部分将显示在移动蜂窝电话等的显示屏幕上，其导致整个图像不好的视野，并因此在用户的可操作性以及操作效率方面是不利的。此外，在这种情况下，特别当移动蜂窝电话等具有完整浏览器功能时，如果不仅从服务器提取部分图像数据而且覆盖包括其***区域的大范围的图像数据、并将其暂时存储在客户端的图像缓冲器等中，则屏幕滚动将容易地在客户端的显示屏幕上执行。在这样的情况下，如果用于服务器的整个显示屏幕的图像数据被传输作为大范围的图像，则从服务器传输到客户端的数据量将巨大，其在跨越网络的通信成本和控制操作的响应速度(性能)方面是不利的。

存在用于从具有如上所述的小尺寸的显示屏幕的客户端(如移动蜂窝电话)有效执行服务器的远程控制的传统技术。日本未审查专利公开(Kokai)No.2002-111893公开了一方法发明，用于通过移动蜂窝电话或其他个人数字助理(即客户端)，远程控制GUI(图形用户接口)环境中的外部计算机(即服务器)。具体地，响应于来自个人数字助理的控制操作，检测到在外部计算机的屏幕上显示的每个GUI部分，并且基于其分析结果，将GUI部分转换为文本等，使得它能够容易地显示在个人数字助理上，并且将转换的数据发送至个人数字助理，以使得能够从具有有限的显示功能等的个人数字助理对GUI环境中的计算机远程控制，其间的通信成本相当程度地减少。

然而，该方法仅仅旨在实现由客户端对GUI环境中的服务器的远程控制，并且显示在服务器侧的GUI图像不确切地以相同的格式显示在客户端侧上。此外，尽管描述了检测服务器的显示屏幕的状态或其改变，然而仅意味着屏幕分析部分和屏幕改变检测部分从操作***经由API(应用编程接口)等，获得关于正在其上显示的图标的位置和名称的信息。这样，不能检测非活动窗口的屏幕改变，或者即使对于活动的应用窗口也不可能详细检测其中的显示已经如何改变。

[专利文献1]

日本未审查专利公开(Kokai)No.2002-111893

发明内容

鉴于上述，本发明的主要目的在于实现用于远程控制的用户接口，其能够解决当从仅具有有限显示功能的客户端(如移动蜂窝电话等)远程控制服务器时当前存在的上述问题，并且其允许用户容易地识别显示在服务器的显示器上的图像状态的改变，以有效地确定接下来要执行的控制操作，同时维持与服务器侧的图像类似的客户端侧上基于GUI的图像，并且最小化要从服务器传输的数据量。

该目标通过在独立权利要求中陈述的特征组合而实现。从属权利要求限定本发明的另外的有利实例。

为实现上述目的，根据本发明的第一方面，提供了一种方法，其用于在具有经由网络连接至其的客户端的服务器中，控制要在客户端上显示的图像，该方法包括步骤：(1)响应于从客户端接收请求服务器操作的操作命令，设置划分方式，用于将服务器的显示屏幕划分为多个子区域，该划分方式通过从预先存储在服务器中的划分方式的各候选值中选择对应于所述客户端的值而设置；(2)对于多个子区域的每个，计算在响应于操作命令由服务器完成操作前后在子区域上显示的图像的改变度，显示屏幕基于在设置步骤中设置的划分方式划分为该多个子区域；(3)产生用于状态显示的图像数据，状态显示的图像包括表示多个子区域之间的相对位置关系的图像、以及对于多个子区域的每一个，表示为子区域计算的改变度的图像；以及(4)将用于状态显示的图像数据发送到客户端，以便在客户端的显示部分上显示。还提供了一种使得服务器执行该方法的计算机程序、以及在服务器中能够实现该方法的装置。

根据本发明的第二实施例，提供了一种方法，其用于在具有经由网络连接至其的客户端的服务器中，控制要在客户端上显示的图像，该方法包括步骤：(1)响应于从客户端接收操作命令，分析操作命令的内容；(2)如果分析命令不引起显示屏幕的显示内容的改变，则通过从预先存储在服务器中的划分方式的各候选值中选择对应于所述客户端的值来设置划分方式，并且如果分析的命令导致显示屏幕的显示内容的改变，则设置根据改变的显示内容确定的新的划分方式；(3)对于多个子区域的每个，计算响应于操作命令由服务器完成操作前后的子区域上显示的图像的改变度，显示屏幕基于在设置步骤中设置的划分方式划分为该多个子区域；(4)产生用于状态显示的图像数据，该用于状态显示的图像包括表示多个子区域之间的相对位置关系的图像、以及对于多个子区域的每个表示为子区域计算的改变度的图像；以及(5)将用于状态显示的图像数据发送到客户端，以便在客户端的显示部分上显示。还提供了一种用于使服务器执行该方法的计算机程序，以及一种在服务器中能够实现该方法的装置。

注意到，上述的发明内容并未列举本发明的所有必要特征，并且本发明的一些特征的组合也可以实现本发明。

根据本发明，在从仅具有有限显示功能的移动蜂窝电话或其他客户端远程控制服务器的情况下，可以实现用于远程控制的用户接口，其允许用户容易地识别显示在服务器的显示器上的图像状态的改变，以有效地确定接下来要进行的控制操作，同时维持与服务器侧上的图像类似的客户端侧上的基于GUI的图像，并且同时最小化要从服务器传输的数据量。

附图说明

图1示出了普通的基于网络的计算机***环境，其具有用作客户端的移动蜂窝电话和个人数字助理；

图2示出了适合于实现本发明的服务器的详细硬件结构的典型实例；

图3A和3B示出根据本发明第一和第二实施例的服务器和客户端的显示屏幕的状态；

图4A和4B示出根据本发明第一实施例的服务器和客户端的显示屏幕的状态；

图5A到5C的每个示出根据本发明第一实施例产生的、用于客户端的状态显示的图像；

图6示出根据本发明第一实施例的处理过程的流程图；

图7示出在服务器中提供的划分方式表的实例；

图8A和8B示出根据本发明第二实施例的服务器和客户端的显示屏幕的状态；

图9示出根据本发明第二实施例产生的用于客户端的状态显示的图像；以及

图10示出根据本发明第二实施例的处理过程的流程图。

具体实施方式

此后，将参照附图详细描述用于执行本发明的最佳模式(此后，称作“实施例”)。遍及各实施例的描述，相同的参考标号表示相同的元件。

图2示出普通基于网络的计算机***环境中、适合于执行本发明的服务器2的详细硬件结构的典型实例，如图1所示，其中移动蜂窝电话等用作客户端。

利用该结构，负责服务器102的整体控制的处理器202(也称作“中央处理单元”、“CPU”、“主处理器”等)，具有紧邻其连接的存储器控制器桥204(也称作“存储器桥”、“第一桥”、“北桥”等)。存储器控制器桥204直接与主存储器205(也称作“存储器”、“主存储”等)以及图形控制器206连接，并且主要执行需要高速操作的处理。

图形控制器206产生并控制要在显示器208(也称作“显示器设备”或“显示设备”)上显示的图像数据。帧缓冲器存储器210(也称作“帧缓冲器”、“位图存储器”、“图像存储器”、“图形存储器”等)是能够缓冲(存储)要在显示设备208上显示的图像的至少一帧的图像数据，并且用于显示至少一帧的图像数据在图形控制器206的控制下被引入帧缓冲器存储器210。显示接口212读取引入帧缓冲器存储器210的图像数据，将该数据转换为与显示设备208的接口214一致的信号格式，并且传输转换的、要在显示设备208上显示的数据。

尽管图2中示出的实例中的帧缓冲器210直接连接到图形控制器206，并且与主存储器205相独立，然而还可以将主存储器的部分分配为帧缓冲器存储器，如UMA(统一存储器架构)所表示。

存储器控制器桥204也经由总线(如PCI本地总线216)连接到I/O控制器桥218(也称作“I/O桥”、“第二桥”、“南桥”等)，并且I/O控制器桥218经由存储控制器220(包括IDE控制器、SCSI控制器等)，与如硬盘驱动222(也称作“HDD”、“硬盘”、“硬盘存储”、“固定存储”等)、DVD 224、CD-ROM 226以及MO 228的大容量存储设备相连接。大容量存储设备能够存储实现本发明必需的如操作***230的计算机程序、以及与操作***230合作给出对处理器202等的指令以实现本发明的应用软件232等。每个计算机程序在其加载到主存储器205时执行。计算机程序可以被压缩或划分成要在多个介质上记录的多条。

I/O控制器桥218也具有连接至其的键盘/鼠标控制器234，并且从如键盘236和鼠标238的输入设备接收输入。I/O控制器桥218还具有连接至其的各种外部总线接口240-244。外部总线接口240具有可通信地连接至其的另一服务器246，并且所有或部分上述计算机程序可以存储在构成服务器246的硬盘驱动248中。此外，服务器102可以经由外部总线接口242连接到图1中示出的内联网104，其使得能够在服务器102和客户端112(如移动蜂窝电话)之间经由图1中示出的网关110通信。

对于存储在服务器102的大容量存储设备中并且负责其整体操作的操作***230而言，适配支持GUI(图形用户接口)的操作***，其可以是从微软公司可获得的Windows(R)操作***、从苹果计算机公司可获得的MacOS(R)、或配置有X Window***的基于UNIX(R)的***。基于UNIX(R)的***包括例如从国际商业机器公司可获得的AIX(R)、Linux(R)等。

从上面的描述将容易地理解，适合于实现本发明的服务器102可以由常规的信息处理装置(如个人计算机、工作站、大型机等)或其组合实现。图2中示出的服务器的各部件仅是说明性的，并且不是其全部对本发明都必不可少。此外，当然对于本领域技术人员会容易地认识到，为实现本发明各种修改是可能的；例如，可以组合多个服务器，并且为了实现，上述的部件可以在功能上分布到那些服务器。这样的修改自然在本发明的精神内。

现在将描述上述***环境中的本发明实施例。

图3A、3B、4A、4B、以及5A-5C图示根据本发明第一实施例、服务器102中执行的处理以及其对应的客户端(如移动蜂窝电话)的显示屏幕的状态。图6示出根据本发明第一实施例的处理过程的流程图。

图3A示出在给定时间点服务器102的显示器208的显示屏幕的状态。在桌面上仅显示多个图标，其上不显示活动或不活动窗口。图3A中的虚线302和304是概念上指示客户端114的划分方式的当前设置的划分线，其将在下面描述，并且这样的划分线实际上不在显示器208上显示。

图3B示出在个人数字助理型客户端114经由网络连接到服务器102的该时间点，显示屏幕306的状态。客户端114的显示屏幕306被划分为两个部分：在底部的状态显示部分308、以及在顶部的操作屏幕部分330。在状态显示部分308中，显示四个加框的矩形图形A 320到D 360，以指示服务器102的显示器208的整个显示屏幕被划分为区域A 310到区域D 316的四个用于处理的子区域，如图3A中所示。在操作屏幕部分330中，显示对应于服务器102的显示器208的显示屏幕中的区域A 310的图像，并且相应地在状态显示部分308中，四个矩形图形中的仅仅一个，A320，在外部帧和/或背景的色调方面不同于其他三个矩形图形，以帮助用户理解：现在显示在操作屏幕部分330上的图像是区域A 310的图像。

此后，将参照图6中示出的处理过程描述根据本发明第一实施例的服务器102的操作。该服务器102等待请求要从客户端114发送的服务器的特定操作的操作命令(步骤S602)。例如，该特定操作可以是在桌面上显示应用的活动窗口。当客户端114的用户例如通过点击在操作屏幕部分330上显示的图标之一来指定关于服务器102的控制操作时，将对应于相关控制操作的操作命令发送至服务器102。在接收到操作命令后，服务器102首先通过读取命令等的相关联信息来标识命令源，即，哪个客户端发起该命令(步骤S604)。

此外，服务器102读取并选择对应于客户端114的潜在的划分方式，其以例如表格的形式预先存储在主存储器205等中，并且当进行如产生客户端114的图像的处理时将其设置为要使用的划分方式，其将响应于来自客户端114的操作命令从此刻进行(步骤S606)。

如这里使用的，根据本发明实施例，“划分方式”(划分的方式)指在以子区域为单元处理划分的子区域的图像数据、并且用于客户端114上显示的图像数据被产生并传输到客户端114的情况下，服务器102的整个显示屏幕如何被逻辑划分为多个子区域。划分方式典型地包括关于指示整个显示屏幕要划分成多少个子区域的划分数目的信息、以及关于每个划分的子区域相对于整个显示屏幕的位置、尺寸和形状的信息，但是它也可包括其他信息。

一般而言，可以以可通信的方式将多个客户端连接到服务器102，并且要确信每个连接的客户端可以将操作命令发送到服务器102。在这种情况下，优选地，可以为每个客户端设置不同划分方式，以便当服务器102对发起操作命令的客户端执行操作时使用。为此，将“划分方式表”存储在主存储器205或服务器102的其他存储中，并且在该表中，潜在的划分方式(即客户端需要的划分方式)与可连接到服务器102的各个客户端相关联地存储。

图7示意性地示出了在服务器102中提供的划分方式表的实例。划分方式表702已经将“统一划分成2×2”记录作为客户端114的潜在划分方式，其意味着显示屏幕被划分成同样尺寸的四个矩形子区域，以相邻行和列的2×2区域排列(见条目704)。尽管这样的划分方式用语用于方便含义的理解，然而实际记录在划分方式表702上的潜在划分方式可以包括，例如，对于在显示器208的显示屏幕上对应于每个子区域的矩形的四个顶点的像素、基于像素的X-Y正交二维坐标值。即，在显示屏幕的左上角的像素坐标表示为(X，Y)＝(0，0)，每个像素的坐标用向右以像素为单元递增的X坐标值和向下以像素为单元递增的Y坐标值表示。

对于每个客户端的潜在划分方式，将特定值初始记录为默认值，其可响应于在随后的任何时间点来自客户的改变(重写)值的请求被重新记录。也就是说，重记录可发生在任何时间，而不考虑图6中的过程。

在这样的值记录在划分方式表702上的情况下，服务器102从表702中对于客户端114的条目704读取(选择)记录“统一划分成2×2”，作为客户端114的潜在划分方式，并且设置与客户端114的划分方式相同，以便在处理时使用，该处理是响应于来自客户端114的操作命令接下来要为客户端114进行的。

现在考虑来自客户端114的操作命令是要激活应用并且在桌面上显示应用的激活窗口。图4A示出在已经执行了显示应用窗口的操作后、服务器102的显示器208的显示屏幕的状态。该应用的活动窗口402显示在桌面上，在其中心的稍微左下方。图4A中的虚线404和406是概念上指示在客户端114的处理期间、“统一划分成2×2”已经被设置为划分方式的划分线，其不意味着虚线实际显示在显示器208上。

接下来，对于基于步骤S606中设置的划分方式划分的每个子区域，服务器102计算“改变度”，其指示在服务器102响应于操作命令执行操作后、服务器102的显示器208的显示屏幕状态(见图4A)已经从相关操作前的显示屏幕的状态(见图3A)改变了多少(步骤S608)。改变度可以是例如具有由操作改变其值的像素数量相对于构成每个子区域的全部像素数量的比率(％)。在本实例中，作为响应于来自客户端114的操作命令、由服务器102执行的操作的结果，在桌面上显示活动窗口402，并且图4A中的区域A 410使其右下方区域的40％由该窗口替代，使得获得40％的数值。类似地，对于区域B 412到D 416，分别获得数值30％、60％和45％。

注意到，通常存在用于计算上述服务器102中改变度的各种方法。例如，当图2中的帧缓冲器存储器210的内容被重写、作为响应于来自客户端114的操作命令的操作的结果显示在显示器208上时，重写的像素数量可以对每个子区域总计，并且可以计算其关于区域中像素总量的比率作为改变度。关于其他计算方法，它们已经在本领域中熟知，并因此在此将不提供其详细描述。

接下来，为了要在客户端114的显示屏幕306的状态显示部分308上显示的状态显示的图像，服务器102产生图像数据用于状态显示。用于状态显示的图像包括使得能够视觉识别子区域的相关位置关系的图形、以及使得能够视觉识别表示每个子区域中的改变度的值的视觉指示，该改变度在步骤S608中计算(步骤S610)。图5示出在步骤S610中产生的状态显示图像的状态。在步骤S606中设置的划分方式是“统一划分成2×2”，使得产生一图形，其具有以相邻两行和两列排列的四个矩形图形A 520到D 526。此外，产生字符串指示符530到536并且将其叠加在相应的矩形图形上，该字符串指示符示出以百分比形式在步骤S608中为各个子区域计算的数值。此外，仅仅使得对应于区域C 414的矩形图形C 524使其外框和/或背景色从其他三个矩形图形的外框和/或背景色改变，该区域C 414是具有计算的最大数值的子区域(对于上述全部，见图5A)。

不必说，使得能够视觉识别表示改变度的数值的视觉指示可以采取上述以百分比形式的字符串指示符以外的各种形式。例如，背景色可以根据在相应的矩形图形中计算的数值改变(见图5B)。色调可以改变，例如随着计算的数值接近100％使得灰色更接近于黑色，并且随着值接近0％更接近于白色。还可以改变每个矩形图形中的色调，使得对应于显示器208的显示屏幕的子区域中部分的矩形图形中的部分(其像素值已经改变)(即，具有其值改变的像素)，在色调上从剩余的部分(其中像素值还没有改变)改变，以允许用户识别在图形意义上而不是数值上的改变度(见图5C)。例如，对应于已经改变的像素的部分可以上色为黑色，而剩余的部分可以上色为白色。

在步骤S610中产生用于状态显示的图像后，服务器102向客户端114传输两种要在客户端114的显示屏幕上显示的图像数据(步骤S612)。图4B示出在从服务器102接收两种图像数据后客户端114的显示屏幕的状态。

从服务器102传输到客户端114的两种图像数据之一是用于操作屏幕的图像数据，该操作屏幕要显示在位于客户端114的显示屏幕306的上部的操作屏幕部分330上。这是对应于在一个子区域上显示的图像的图像数据，其中所述子区域从通过划分服务器102的整个显示屏幕获得的四个子区域选择。作为选择一个子区域的准则，可以选择具有表示子区域中改变度的最大数值的那个。在图4B中，基于该选择基准，选择对其获得的改变度是最大值60％的区域C 414，并且将对应于显示在区域C 414上的图像的图像数据传输到客户端114，用于在操作屏幕部分330上显示。注意到，还可以适用其他选择准则；例如，可以一直选择特定子区域(例如，在左上方的区域A 410)。

从服务器102传输到客户端114的两类图像数据的另一个是在步骤S610中产生的、要在位于客户端114的显示屏幕306的下部的状态显示部分308上显示的用于状态显示的图像数据。也就是说，显示在状态显示部分308中的图像包括一图形，其具有对应于以相邻两行和两列排列的四个子区域的四个矩形图形A 420到D 426，类似于图5A中示出的图像，字符串指示符430到436表示在步骤S608中为叠加在相应矩形图形上的各个子区域以百分比形式计算的数值。此外，为了指示具有在步骤S608中计算的最大数值的子区域，仅仅对应于区域C 414的矩形图形C 424使其外框和/或其背景色调不同于其他三个矩形的外框和/或背景色调。

上述的本发明第一实施例具有下列优点。

客户端114的用户基于在状态显示部分308上显示的状态，可以容易地确定区域C将可能是对于接下来的控制操作最重要的。此外，将服务器102的显示器208的显示屏幕中的区域C 414的状态实际显示在操作屏幕部分330上，其允许用户确认最期望的区域C 414的状态或在其上进行进一步的控制操作。

一般地，如在移动蜂窝电话或便携式数字助理中仅具有小的显示屏幕的客户端114中，用于在操作屏幕部分330上显示的垂直和水平方向的像素数量，通常远小于期望在客户端114的屏幕上显示的、服务器102的显示器208上显示的图像的那些。在这样的情况下，在传输到客户端114之前，显示器208上的原始图像的图像数据需要被缩放(在尺寸上减小)到与客户端114的操作屏幕部分330的垂直和水平方向中的像素数量匹配。通过缩放子区域获得的图像将在减小比率上小于通过缩放显示器208的整个显示屏幕获得的图像，并且将导致当显示在操作屏幕部分330上时更精细的图像。这样，如本发明第一实施例中区域C 414的状态显示在操作屏幕部分330上的情况下，与显示器208的整个屏幕的状态否则显示在操作屏幕部分330上的情况相比，用于控制操作的用户接口将相当程度地改善。

作为替代，在客户端114的显示屏幕306具有例如完整浏览器的功能的情况下，在服务器102中，子区域中的原始图像的图像数据可以原样传输到客户端114，而无需缩放，并且保存在客户端114的图像缓冲器(未示出)等中，使得与操作屏幕部分330的像素数量匹配的其部分可以显示在操作屏幕部分330上。要显示的范围可以从保存在图像缓冲器等中的图像数据的范围内选择，其保证了在该范围中的高速滚动。在该情形中，当传输用于子区域的图像数据时，与传输用于服务器102的整个显示屏幕的图像数据的情形相比，要传输的图像数据的容量可以相当程度地减小。换句话说，当将区域C的图像数据传输到客户端114并且将其部分显示在提供有完整浏览器功能的显示屏幕306的操作屏幕部分330上时，如在本发明第一实施例中，与否则传输服务器102的整个显示屏幕的图像数据、并且将其部分显示在操作屏幕部分330上的情况相比，传输到客户端114的图像数据量被减小到四分之一，其从通信成本和操作性能角度而言是非常有效的。

下面，将描述本发明第二实施例。

图8A、8B和9图示根据本发明第二实施例、在服务器中执行的处理以及移动蜂窝电话或其他对应其的客户端的显示屏幕的状态。图10示出根据本发明第二实施例的整个处理的流程图。

假定在某个时间点的初始状态与本发明第一实施例中的相同。

即，如图3A中所示，在某个时间点在服务器102的显示器208的显示屏幕上，仅仅多个图标区域显示在桌面上，其上没有显示活动或不活动窗口。图3A中的虚线302和304概念上指示在当前点为客户端114设置的划分方式，该线实际上不显示在显示器208上。在客户端114侧，如图3B中所示，四个带框的矩形图形A 320到D 326显示在位于下部的状态显示部分308上，以指示通过将服务器102的显示器208的整个显示屏幕划分成四个子区域、该处理正在执行，并且对应于区域A 310的图像显示在上部的操作屏幕部分330上。

现在将参照图10中示出的处理过程描述根据本发明第二实施例的服务器102的操作。服务器102等待要从客户端114传输的操作命令(步骤S1002)。接收到来自客户端114的用户的操作命令后，服务器102通过读取相关联的命令等信息来标识命令源，即，哪个客户端发起命令(步骤S1004)。

接下来，服务器102分析命令内容，并且确定命令是否引起服务器102的显示屏幕上的显示内容的改变(步骤S1006)。如果确定其改变显示内容，则服务器102设置新的划分方式，其根据改变的显示内容确定，而不考虑预先存储在划分方式表702中的相关客户端114的潜在划分方式的信息(步骤S1008)。可能在步骤S1008后***一步骤，该步骤将因此设置的划分方式重记录到划分方式表702作为相关客户端的潜在的划分方式(步骤S1010)。

图8A示出用于设置步骤S1008中的划分方式的实施例。如果来自客户端114的操作命令的内容是在桌面上显示新的活动窗口，则记录为对应于划分方式表702中的客户端114的条目704的划分方式，“统一划分成2×2(划分成四个矩形子区域)”被忽略，并且不设置为客户端114的划分方式。而是，要用于该实施例的划分方式被设置使得屏幕被划分为总共九个子区域，包括：区域X 804(其是覆盖显示的活动窗口802的矩形子区域)、以及区域E 806到M 820(其是排列来围绕区域X 804的八个矩形子区域)。

如果在步骤S1006中确定不改变显示屏幕的内容，则服务器102读取并选择预先存储在划分方式表702中的相关客户端114的潜在划分方式，并且设置为与为该实施例使用的划分方式相同(步骤S1012)。即，如果操作命令不是指令在桌面上显示新活动窗口的那个，则服务器102基于在划分方式表702中对应于客户端114的条目704上记录的潜在划分方式，设置“统一划分成2×2(划分成四个矩形子区域)”作为要为该实施例使用的划分方式。

接下来，对于根据在步骤S1008或S1010中设置的划分方式划分的每个子区域，服务器102计算改变度，该改变度指示在操作由服务器102响应于操作命令进行后、服务器102的显示器208的显示屏幕的状态(见图8A)已经从相关操作之前的显示屏幕的状态(见图3A)改变了多少；具体地，它计算具有由于操作改变的其值的像素数量相对于构成每个子区域的像素总量的比率(％)(步骤S1014)。现在，作为由服务器102响应于来自客户端114的操作命令的操作结果，在桌面上显示活动窗口802，并且在步骤S1008中设置的划分方式被划分成总共九个矩形子区域，包括覆盖活动窗口802的区域X 804、以及排列来围绕区域X 804的区域E 806到M 820。因此，在区域X 804中，重新显示的活动窗口802占据全部区域的所有或大多数，使得作为改变度计算的、具有由操作改变的其值的像素数量相对于对于构成子区域的像素总量的比率变为几乎100％。在比较中，对于其他八个子区域(区域E806到区域M 820)，因为它们不包括活动窗口802的任何部分，所以计算作为改变度的比率变为几乎0％。

接下来，服务器102产生用于状态显示的图像数据，以便在客户端114的显示屏幕306中的状态显示部分308上显示，该图像包括：使得能够视觉识别子区域的相关位置关系的图形；以及使得能够视觉识别表示在步骤S1014中计算的各个子区域的改变度的数值的视觉指示(步骤S1016)。图9示出在步骤S1016中产生的用于状态显示的图像状态。在步骤S1008中设置的划分方式被划分为总共九个矩形子区域，包括覆盖活动窗口802的矩形子区域和排列来围绕它的八个矩形子区域，并且因此，产生具有以相邻的三行和三列排列的九个矩形图形X 902和E 904到M 918的图形，以允许用户识别划分方式。此外，产生表示在步骤S1014中为各个子区域以百分比计算的数值的字符串指示符922到938，并将其叠加在相应的矩形图形上。此外，仅对应于区域X 804的矩形图形X 902(其是具有对其计算的最大数值的子区域)，在外框和/或背景色调上不同于其他八个矩形图形。

不必说，使得能够视觉识别指示改变度的数值的视觉指示可以采取除了上述的字符串指示符之外的各种形式，类似与第一实施例的情况。

在步骤S1016产生用于状态显示的图像后，服务器102向客户端114传输用于在客户端114的显示屏幕306上显示的图像数据，如第一实施例中，该数据包括：用于要在位于上部的操作屏幕部分330上显示的操作屏幕的图像数据、以及在步骤S1016中产生的、用于要在位于下方的状态显示部分308上显示的状态显示的图像数据(步骤S1018)。

图8B示出在上述的两类图像数据已经从服务器102传输后客户端114的显示屏幕的状态。对于用于操作屏幕的图像数据，区域X 804(其是具有最大值100％作为在步骤S1014中计算的数值的子区域)从通过划分服务器102的显示器208的整个显示屏幕获得的九个子区域中选择，并且对应于在相关子区域上显示的图像的图像数据被传输作为用于操作屏幕的图像数据，并因此，区域X 804的状态显示在操作屏幕部分330上。注意到，还可以使用其他选择准则，如第一实施例中的情况。

显示在状态显示部分308上的是类似于图9中示出的图形数据，其具有九个矩形图形，分别对应于以相邻的三行和三列排列的九个子区域，字符串指示符以百分比表示在步骤S1014中为叠加在响应的矩形图形上的各个子区域计算的数值。此外，为了指示具有在步骤S1014中计算的最大数值的子区域，仅仅对应于区域X 804的矩形图形830具有不同于其他八个矩形的外框和/或背景色调。

与第一实施例相比，本发明的第二实施例具有如下的进一步优点。

尽管在如图4B中示出的第一实施例中，区域C 414的状态显示在操作屏幕部分330上，但是区域C 414不覆盖整个活动窗口402，其意味着用户接下来希望操作的项目可能不包括在区域C中。在该情况下，用户需要向服务器102发送请求以切换显示在操作屏幕部分330上的图像源，从而顺序检查显示在另一子区域上的内容。

相反，根据本发明第二实施例，区域804的状态(其是包括显示在显示器208上的整个活动窗口802的子区域)显示在操作屏幕部分330上。因此，考虑到下一控制操作的对象必许包括在该区域X 804中，实际上用户不需要为下一控制操作切换显示在操作屏幕部分330上的图像源。

尽管根据本发明第一和第二实施例的处理过程已经如上所述，但是当计算机程序(如服务器102的硬盘222等中存储的操作***230或应用软件232)使用处理器202和服务器102的其他部件来使各部件执行同样的过程时，这些处理过程也可以完成。换句话说，本发明可以被理解为使得服务器102执行处理过程的计算机程序。

此外，这些处理过程可以通过使得图形控制器206或其他包括在服务器102中的硬件部件执行其来完成。

换句话说，本发明可以被理解为提供有执行处理过程的块的装置。

尽管已经描述了本发明的一些实施例，但是对于本发明许多其他实施例也是可能的，并且上述的实施例不限制要求保护的本发明。即，对于本领域技术人员明显的是，各种修改或改进对上述实施例是可能的。从权利要求书中的陈述还明显的是，这样的修改或改进的实施例可以包括在本发明的技术范围中。此外，还应该注意到，上述实施例中描述的各特征的所有组合对本发明的解决手段并不是必不可少的。

Claims (12)

1.一种方法，用于在具有经由网络连接至其的客户端的服务器中控制要在客户端上显示的图像，包括下列步骤：

响应于接收从客户端发来的请求服务器操作的操作命令，设置划分方式用于将服务器的显示屏幕划分为多个子区域，通过从预先存储在服务器中的划分方式的候选值中选择对应于所述客户端的值来设置该划分方式；

对于基于在设置步骤所设置的划分方式将显示屏幕划分成的多个子区域的每一个，计算在由服务器响应于操作命令完成操作之前和之后、显示在子区域上的图像的改变度；

产生用于状态显示的图像数据，该图像数据生成的状态显示图像包括：

表示多个子区域之间的相对位置关系的图像，以及

对于多个子区域的每一个，为该子区域计算表示改变度的图像；以及

将用于状态显示的图像数据发送到客户端，以便在客户端的显示部分上显示；

向客户端发送显示在基于设置的划分方式划分的子区域之一上的图像数据，使得图像的部分或全部显示在客户端的显示部分上。

2.如权利要求1所述的方法，还包括步骤：响应于接收从客户端发来的操作命令，分析该操作命令的内容，其中

设置划分方式的步骤包括下列步骤：

如果分析的命令不导致显示屏幕的显示内容的改变，则通过从预先存储在服务器中的划分方式的候选值中选择对应于所述客户端的值来设置划分方式，以及

如果分析的命令导致显示屏幕的显示内容的改变，则根据改变的显示内容设置新的划分方式。

3.如权利要求2所述的方法，其中所述划分方式包括显示屏幕划分成的子区域的数量、以及根据该划分的多个子区域的每一个在显示屏幕中占据的位置、尺寸和形状。

4.如权利要求3所述的方法，其中根据改变的显示内容设置新的划分方式的步骤包括步骤：如果有窗口重新显示在显示屏幕上，则划分的多个子区域的每一个在显示屏幕中占据的位置、尺寸和形状要使得各子区域之一包括整个窗口。

5.如权利要求1所述的方法，其中计算改变度的步骤包括步骤：对于基于所设置的划分方式划分的多个子区域的每一个，计算响应于操作命令在完成操作之前和之后改变的像素相对于子区域中的所有像素的比率。

6.如权利要求5所述的方法，其中产生用于状态显示的图像数据的步骤包括下列步骤：

产生具有矩形图形的基本图像，该矩形图形对应于基于子区域的相对位置关系排列的多个子区域的各个子区域；以及

对于多个子区域的每一个，将对为子区域计算的比率进行视觉化的字符图像叠加在对应于基本图像中的相关子区域的矩形图形上，

由此产生用于状态显示的图像数据。

7.如权利要求5所述的方法，其中产生用于状态显示的图像数据的步骤包括步骤：

产生具有对应于基于子区域的相对位置关系排列的多个子区域的各个子区域的矩形图形的基本图像；以及

对于多个子区域的每一个，将对响应于操作命令完成操作之前和之后改变的像素的子区域的相对位置进行视觉化的图形，叠加到对应于基本图像中的相关子区域的矩形图形，

由此产生用于状态显示的图像数据。

8.如权利要求6或7所述的方法，其中在基本图像中，与具有在计算改变度的步骤中所计算的最大值的子区域相对应的多个矩形图形中的仅仅一个，在色彩、模式和/或形状上不同于其他矩形图形。

9.如权利要求1所述的方法，其中基于所设置的划分方式而被划分的多个子区域之一对应于具有在计算改变度的步骤中所计算的最大值的子区域。

10.如权利要求1所述的方法，其中在客户端的显示部分中，在其中显示状态显示的图像的全部或部分区域与在其中显示一个子区域的全部或部分的全部或部分区域相互重叠，并且在重叠区域中，用于状态显示的图像和一个子区域的图像的全部或部分图像以叠加的方式显示。

11.一种方法，用于在具有经由网络连接至其的客户端的服务器中控制要显示在客户端上的图像，该方法包括下列步骤：

从客户端接收涉及请求服务器操作的控制操作的命令；

响应于接收该命令，划分显示在服务器的显示屏幕上的图像并且检测每一个划分的区域中的图像的改变；

基于检测到图像的改变，产生要在客户端上显示的用于状态显示的图像数据，该图像数据生成的状态显示图像包括：表示多个子区域之间的相对位置关系的图像，以及对于多个子区域的每一个，为该子区域计算表示改变度的图像；以及

将用于状态显示的图像数据发送到客户端以便在客户端的显示部分上显示用于状态显示的图像数据；

向客户端发送显示在基于设置的划分方式划分的子区域之一上的图像数据，使得图像的部分或全部显示在客户端的显示部分上。

12.一种装置，用于在具有经由网络连接至其的客户端的服务器中控制要显示在客户端上的图像，包括：

划分方式设置部分，用于响应于接收从客户端发来的请求服务器操作的操作命令，设置划分方式用于将服务器的显示屏幕划分成多个子区域，该划分方式通过从预先存储在服务器中的划分方式的候选值中选择对应于所述客户端的值来设置；

改变度计算部分，用于对基于所设置的划分方式将显示屏幕划分成的多个子区域的每一个，计算在由服务器响应于操作命令完成操作之前和之后显示在子区域上的图像的改变度；

数据产生部分，用于产生状态显示的图像数据，该图像数据生成的状态显示图像包括：

表示多个子区域之间的相对位置关系的图像，以及

对于多个子区域的每一个，为该子区域计算表示改变度的图像；以及

数据发送部分，用于将用于状态显示的图像数据发送到客户端，以便在客户端的显示部分上显示；

其中，向客户端发送显示在基于设置的划分方式划分的子区域之一上的图像数据，使得图像的部分或全部显示在客户端的显示部分上。

Images