CN104735449B - 一种基于矩形分割隔列扫描的图像传输方法 - Google Patents

Abstract

本发明公开了一种基于矩形分割隔列扫描的图像传输方法及***，首先比较相邻两帧图像，找出所有图像变化的区域，然后根据变化像素点的坐标得到面积最小的不重叠矩形区域的集合，每次只发送矩形区域集合所包含的图像数据，以减小每一帧的传输数据，达到有效地降低的传输数据量的目的。本发明根据每帧图像变化区域的个数不同，动态的将屏幕分成数量不同的矩形分块，克服了固定分块图像传输算法屏幕分块个数难以确定和适应性差的问题；将屏幕根据每帧图像每个变化范围的不同分成大小不同的矩形分块，克服了固定分块图像传输算法中当屏幕图像变化区域正好位于多个矩形分块临界点，不能有效减少传输数据量的问题。

Description

一种基于矩形分割隔列扫描的图像传输方法

技术领域

本发明属于计算机网络通信技术领域，尤其涉及一种基于矩形分割隔列扫描的图像传输方法及***。

背景技术

随着网络技术的发展，远程计算机教学，远程网络监控，视频会议等工程得到了广泛应用，而在这些应用中，都需要实时传输计算机屏幕位图。因此，为了保证给用户提供良好的屏幕图像传输服务的同时不影响其他应用程序提供服务，实时屏幕图像传输***应当满足以下条件：低CPU使用率，低带宽占用率，尽量避免延时、抖动和花屏现象的发生等。为了满足这项条件，通常采用两种方法：一是提高网络的带宽；二是减少传输的数据量。由于网络带宽很大程度上受限于网络硬件，因此，通过优化压缩和传输算法，减少数据传输量成为解决问题的关键。

计算机屏幕图像不是时刻全部发生变化，大部分时间里只有部分图像在变化，若仅对发生改变的部分图像进行传输，则将大大减少屏幕数据传输量。专利201210264229.7将桌面图像的当前帧进行分块，并构建分层索引，依据分层索引检测当前帧相对图像块缓存的变化图像块及未变化图像块，将变化图像块压缩后与未变化图像块在图像块缓存中的标签一起封装成最终的传输数据；专利201310318030.2首先将图像划分为X列Y行的多个区域，对每个区域的内容与上一帧图像的相同区域作比较，如果这一区域的内容有发生变化，则对该区域的数据填上标识区域信息的头信息，再进行压缩传输；专利201210544289.4 通过在编码处理之前对待传输的源数据进行格式类型识别，针对不同格式类型的源数据选择不同的压缩算法。

目前屏幕图像传输***中常用的图像传输算法为固定分块图像传输算法，该算法基于矩形将屏幕进行分块，并对每个分块进行编号，每个分块的大小和分块的数量是固定的，然后将前后相邻两幅位图的数据保存下来，并分别按照对应的编号块来进行对比，若图像有变化则压缩发送当前块中的图像。判断前后两帧屏幕是否变化的方法有直接比较法和CRC比较法。直接比较法对前后两帧格屏幕的内存数据逐个字节进行比较；CRC比较法计算图像数据的CRC值, 通过比较两帧图像的CRC值判断图像是否发生改变。由于固定分块图像传输算法每次只发送变化块中的图像数据，所以能够降低数据的传输量。

固定分块图像传输算法屏幕分块的个数难以确定，若个数过多将会导致分块处理时间的总和超过整屏数据的传输时间，这样虽然网络带宽占用小，但实时性可能下降；若个数过少，则较整屏处理占用的网络带宽下降幅度不大，速度提高效果不明显，存在减少传输数据量依赖于图像分块数目而分块数目又难以设定的缺陷；固定分块图像传输算法屏幕分块的个数与屏幕的分辨率密切相关，如果分辨率改变，为保证网络带宽占用小必须要调整算法屏幕分块的个数，其适应性差；固定分块图像传输算法对屏幕分块的大小和数量是固定的，当屏幕图像变化区域正好位于多个矩形分块的临界点时，就会出现图像变化的分块过多的现象，不能有效的减少传输数据量。

发明内容

本发明的目的在于提供一种基于矩形分割隔列扫描的图像传输方法及***，旨在解决固定分块图像传输算法中屏幕分块个数难以确定和适应性差、当屏幕图像变化区域正好位于多个矩形分块临界点，不能有效减少传输数据量的的问题。

本发明是这样实现的，一种基于矩形分割隔列扫描的图像传输方法，该基于矩形分割隔列扫描的图像传输方法首先比较相邻两帧图像，找出所有图像变化的区域，然后根据变化像素点的坐标得到面积最小的不重叠矩形区域的集合；每次只发送矩形区域集合所包含的图像数据和对应坐标信息；

根据像素点的坐标得到变化矩形区域，式(1)和式(2)是根据变化像素点来判断矩形R范围的算式；

R_l≤P_x AND R_t＝P_yi (1)

R_r≥P_x AND R_b≥P_y (2)

其中R_l和R_t代表矩形左上角的横坐标和纵坐标，R_r和R_b代表矩形右下角的横坐标和纵坐标，P_x和P_y代表变化像素点的横坐标和纵坐标，P_y0代表第一次变化像素点的纵坐标；根据式(1)和式(2)求得变化矩形区域的范围；先将前后相邻两幅位图的数据保存下来，并判断前后两帧屏幕所对应像素的值是否变化；当第一次检测到变化的采样点时，会将变化采样点的坐标(P_X0,P_Y0)进行记录，作为变化矩形区域的左上角坐标(R_l,R_t)，并且将行无变化标识为false；继续对比，当再次检测到不同采样点时，先将行无变化标识为false，接着将采样点的横坐标P_x同矩形左上角的横坐标R_l进行比较并取最小值，同时矩形右下角的坐标(R_r,R_b)会和点的坐标(P_x,P_y)比较并取最大值；即：

R_l＝min(P_xi,R_l)(i>1) R_t＝P_yi(i＝1)

R_r＝max(R_xi,R_r)(i>1) R_b＝max(R_yi,R_b)(i>1)

当检测到某行采样点值全部都相同时，得到一个变化的矩形区域块。

进一步，在一个扫描区域中对变化区域进行矩形分割算法采用隔列直接比较法判断前后图像缓冲区中两帧屏幕图像所对应像素是否变化从而找出变化的矩形区域；按照从上到下，从左到右的原则，基于矩形分割隔列扫描的图像传输方法找出后一帧图像相对于前一帧图像所有变化区域并基于矩形分割算法得到面积最小的不重叠矩形区域的集合。

进一步，采用隔列直接比较法判断前后两帧屏幕图像所对应像素是否变化，先以行为单位隔N列从左到右开始提取前后两幅图像对应的像素为采样点，比较对应像素点的值是否相同；根据应用场景的不同和带宽的要求，可以对间隔列数N做调整，N的值越小，隔列直接比较法检测所需的时间越长。

进一步，在一个扫描区域中对变化区域进行矩形分割算法具体方法如下：

步骤一，图像发送端首先获得屏幕的分辨率，得到列扫描的范围0～C和行扫描的范围0～R；

步骤二，发送端将当前帧图像保存区的数据保存到前一帧图像缓冲区；截获当前的屏幕位图数据并保存在当前帧图像缓冲区；

步骤三，发送端首先初始化变化矩形区域左上角坐标和右下角坐标为(0， 0)，下次扫描起点坐标为(0，0)，行无变化标识为true，更新列扫描的范围和行扫描的范围；

步骤四，判断是否在行扫描范围内，不在，跳转到步骤十；

步骤五，判断是否在列扫描范围内，不在，跳转到步骤八；在列扫描范围内采用隔列直接比较法对当前采样点进行检测；值不同，首先将行无变化标识设置为false，然后判断是否是检测到的第一个变化采样点，是将采样点坐标作为变化矩形区域的左上角坐标，不是第一个变化采样点，将矩形右下角的坐标和该点的坐标比较并取最大值作为新的矩形右下角坐标，再判断该采样点是否是本行第一个变化采样点，是就将该采样点的纵坐标同矩形左上角的纵坐标进行比较并取最小值更新变化矩形区域的左上角坐标；值相同，需要判断行无变化标识是否为false，如果是false，记录坐标作为下次扫描的起点，检测到是最后一列采样点，将最后一列采样点坐标作为下次扫描的起点，跳转到步骤七；

步骤六，把列坐标右移N列，跳转到步骤五检测下一个采样点；

步骤七，本行检测完毕，将本行的下次扫描起点坐标与上一行记录的下次扫描起点坐标比较，并取最大值作为新的下次扫描起点坐标，行号加1，跳转到步骤四从下一行从头开始从左到右检测；

步骤八，判断行无变化标识是否为true且变化矩形区域左上角坐标不为(0， 0)，不是true，行号加1，跳转到步骤四；是true，则表明整行无不同像素点，得到了一个变化的矩形区域块；得到的变化矩形区域块左上角纵坐标向左移动 N列，右下角纵坐标向右移动N列以包含图像边界信息；

步骤九，记录检测出的变化矩形区域坐标和相对应的下次扫描起点坐标，判断当前列扫描的范围是否0～C且行扫描的范围是否0～R，是，设置标识表明当前检测出的变化矩形区域标识是第一次检测出的，然后行号加1跳转到步骤四从下一行开始检测下一个变化的矩形区域块；直到检测超出行扫描的范围；

步骤十，本次检测完毕后，对本次检测中所有的下次扫描起点进行处理，计算出下次扫描范围的集合；首先检查本次检测出的第一个下次扫描起点的纵坐标是否比最后一列采样点的纵坐标小，不是，该区域检测完成，检测下一个下次扫描起点的纵坐标；是，以第一次检测出的变化矩形区域左上角的横坐标为横坐标，以当前变化矩形区域相关的下次扫描起点坐标的纵坐标为纵坐标，生成一个下次扫描范围的左上角坐标；以第一次检测出的变化矩形区域右下角的横坐标为横坐标，以屏幕的最大列数C为纵坐标生成一个下次扫描范围的右下角坐标；接着处理第二个下次扫描起点，直到本次检测中所有的下次扫描起点都被处理为止；

步骤十一，检测下次扫描范围集合中所有的扫描区域，首先基于下次扫描范围集合中第一个扫描区域的宽度和高度，生成行扫描和列扫描的范围，重复步骤三到步骤十检测第一个扫描区域中变化的矩形区域块，接着处理第二个扫描区域，直到下次扫描范围集合中所有的扫描区域都被检测为止；

步骤十二，重复步骤十到步骤十一，得到下一次扫描范围的变化矩形区域块，直到所有的下次扫描起点的纵坐标大于或等于最后一列采样点的纵坐标，整个屏幕检测完毕；

步骤十三，得到了所有该帧图像相对于前一帧图像变化的面积最小的不重叠矩形区域的集合，检查该集合中的矩形区域，两个矩形其左上角纵坐标和右下角纵坐标相同，且一个矩形的右下角横坐标与另一个矩形左上角横坐标相邻，合并为一个矩形，然后再压缩并发送矩形区域的集合所包含的图像数据及对应坐标到客户端；

步骤十四，图像接收端将接收的数据减压后基于每个矩形区域图像数据及对应坐标整合至前一帧图像中并显示；

步骤十五，每隔T秒重复步骤二到步骤十四，根据应用场景的不同和带宽的要求，可以对间隔时间T做调整。

本发明的另一目的在于提供一种基于矩形分割隔列扫描的图像传输***，该基于矩形分割隔列扫描的图像传输***包括发送端和接收端：

发送端包括:

屏幕图像采集模块，用于对发送端的屏幕进行图像采集；

矩形分割隔列扫描模块，基于矩形分割隔列扫描算法将当前帧图像与缓存的上一帧图像进行对比，找出所有图像变化的区域，然后根据变化像素点的坐标得到面积最小的不重叠矩形区域的集合；

压缩发送模块，压缩矩形区域的集合所包含的图像数据，然后通过网络发送压缩的图像数据及对应坐标到客户端；

接收端包括：

接收模块，接收发送端所发送的变化图像数据；

减压模块，将接收的数据减压，得到矩形区域的集合所包含的图像数据及对应坐标；

更新显示模块，基于每个矩形区域图像数据及对应坐标更新缓存的前一帧图像对应区域并显示。

本发明提供的基于矩形分割隔列扫描的图像传输方法及***，首先比较相邻两帧图像，找出所有图像变化的区域，然后根据变化像素点的坐标得到面积最小的不重叠矩形区域的集合，每次只发送矩形区域集合所包含的图像数据，以减小每一帧的传输数据，达到有效地降低的传输数据量的目的。本发明根据每帧图像变化区域的个数不同，动态的将屏幕分成数量不同的矩形分块，克服了固定分块图像传输算法屏幕分块个数难以确定和适应性差的问题；将屏幕根据每帧图像每个变化范围的不同分成大小不同的矩形分块，克服了固定分块图像传输算法中当屏幕图像变化区域正好位于多个矩形分块临界点，不能有效减少传输数据量的问题。采用该方法图像传输***相比采用固定分块隔行扫描算法的图像传输***，更能有效地降低CPU使用率，减少带宽占用率，提高图像传输的性能。

附图说明

图1是本发明实施例提供的基于矩形分割隔列扫描的图像传输方法流程图；

图2是本发明实施例提供的扫描示意图；

图3是本发明实施例提供的检测出一个矩形区域的流程图；

图4是本发明实施例提供的在一个扫描区域中检测变化矩形的集合流程图；

图5是本发明实施例提供的计算下次扫描范围的集合流程图；

图6是本发明实施例提供的在一个扫描范围的集合中检测变化矩形流程图；

图7是本发明实施例提供的图像变化示意图；

图8是本发明实施例提供的基于矩形分割隔列扫描的图像传输***结构示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图及具体实施例对本发明的应用原理作进一步描述。

如图1所示，本发明实施例的基于矩形分割隔列扫描的图像传输方法包括以下步骤：

S101：首先比较相邻两帧图像，找出所有图像变化的区域；

S102：然后根据变化像素点的坐标得到面积最小的不重叠矩形区域的集合，每次只发送矩形区域集合所包含的图像数据。

本发明实施例的具体步骤：

本发明实施例的基于矩形分割隔列扫描算法首先比较相邻两帧图像，找出所有图像变化的区域，然后根据变化像素点的坐标得到面积最小的不重叠矩形区域的集合；算法的重点在于如何根据像素点的坐标得到变化矩形区域；所示；下面基于图2描述其具体原理；

R_l≤P_x AND R_t＝P_yi (1)

R_r≥P_x AND R_b≥P_y (2)

式(1)和式(2)是根据变化像素点来判断矩形R范围的算式；其中R_l和R_t代表矩形左上角的横坐标和纵坐标，R_r和R_b代表矩形右下角的横坐标和纵坐标，P_x和P_y代表变化像素点的横坐标和纵坐标，P_y0代表第一次变化像素点的纵坐标；按照2D图形学的***向右递增，Y轴水平向下递增；根据式(1)和式(2)即可求得变化矩形区域的范围；算法先将前后相邻两幅位图的数据保存下来，并对其判断前后两帧屏幕所对应像素的值是否变化；当第一次检测到变化的采样点时，会将变化采样点的坐标(P_X0,P_Y0)进行记录，作为变化矩形区域的左上角坐标(R_l,R_t)，并且将行无变化标识为false；继续对比，当再次检测到不同采样点时，先将行无变化标识为false，接着将该采样点的横坐标P_x同矩形左上角的横坐标R_l进行比较并取最小值，同时矩形右下角的坐标(R_r,R_b) 会和该点的坐标(P_x,P_y)比较并取最大值；即：

R_l＝min(P_xi,R_l)(i>1) R_t＝P_yi(i＝1)

R_r＝max(R_xi,R_r)(i>1) R_b＝max(R_yi,R_b)(i>1)

当检测到某行采样点值全部都相同时，就得到了一个变化的矩形区域块；基于上述原理在一个扫描区域中对变化区域进行矩形分割算法流程如图3所示；

为提高判断屏幕变化区域的速度，基于矩形分割隔列扫描的图像传输方法采用隔列直接比较法判断前后图像缓冲区中两帧屏幕图像所对应像素是否变化从而找出变化的矩形区域；先以行为单位隔N列(检测间隔列数N需要根据具体情况而定)从左到右开始提取前后两幅图像对应的像素为采样点，比较对应像素点的值是否相同；按照从上到下，从左到右的原则，基于矩形分割隔列扫描的图像传输方法找出后一帧图像相对于前一帧图像所有变化区域并基于矩形分割算法得到面积最小的不重叠矩形区域的集合；其详细工作流程如下：

步骤1，图像发送端首先获得屏幕的分辨率，得到列扫描的范围0～C和行扫描的范围0～R；

步骤2，发送端将当前帧图像保存区的数据保存到前一帧图像缓冲区；截获当前的屏幕位图数据并保存在当前帧图像缓冲区；

步骤3，发送端首先初始化变化矩形区域左上角坐标和右下角坐标为(0， 0)，下次扫描起点坐标为(0，0)，行无变化标识为true，更新列扫描的范围和行扫描的范围；

步骤4，判断是否在行扫描范围内，如果不在，跳转到步骤10；

步骤5，判断是否在列扫描范围内，如果不在，跳转到步骤8；如果在列扫描范围内采用隔列直接比较法对当前采样点进行检测；若值不同，首先将行无变化标识设置为false，然后判断是否是检测到的第一个变化采样点，如果是将采样点坐标作为变化矩形区域的左上角坐标，如果不是第一个变化采样点，将矩形右下角的坐标和该点的坐标比较并取最大值作为新的矩形右下角坐标，再判断该采样点是否是本行第一个变化采样点，如果是就将该采样点的纵坐标同矩形左上角的纵坐标进行比较并取最小值更新变化矩形区域的左上角坐标；若值相同，需要判断行无变化标识是否为false，如果是false，记录其坐标作为下次扫描的起点，如果检测到是最后一列采样点，将最后一列采样点坐标作为下次扫描的起点，跳转到步骤7；

步骤6，把列坐标右移N列，跳转到步骤5检测下一个采样点；

步骤7，本行检测完毕，将本行的下次扫描起点坐标与上一行记录的下次扫描起点坐标比较，并取最大值作为新的下次扫描起点坐标，行号加1，跳转到步骤4从下一行从头开始从左到右检测；

步骤8，判断行无变化标识是否为true且变化矩形区域左上角坐标不为(0， 0)，如果不是true，行号加1，跳转到步骤4；如果是true，则表明整行无不同像素点，这样就得到了一个变化的矩形区域块；由于采用隔列直接比较法，会出现变化图像边界变化没有检测到造成边界信息丢失的现象，为解决这个问题，得到的变化的矩形区域块左上角纵坐标向左移动N列，右下角纵坐标向右移动 N列以包含图像边界信息；

步骤9，记录检测出的变化矩形区域坐标和相对应的下次扫描起点坐标，判断当前列扫描的范围是否0～C且行扫描的范围是否0～R，如果是，设置标识表明当前检测出的变化矩形区域标识是第一次检测出的，然后行号加1跳转到步骤4从下一行开始检测下一个变化的矩形区域块；直到检测超出行扫描的范围，其流程见图4；

步骤10，本次检测完毕，检查整个屏幕还有没有检测到的部分，因此需要基于本次检测出的变化矩形区域坐标和相对应的下次扫描起点坐标计算生成下次扫描范围，其方法是检查本次检测出的第一个下次扫描起点的纵坐标是否比最后一列采样点的纵坐标小，如果不是，该区域检测完成，检测下一个下次扫描起点的纵坐标；如果是，以第一次检测出的变化矩形区域左上角的横坐标为横坐标，以当前变化矩形区域相关的下次扫描起点坐标的纵坐标为纵坐标，生成一个下次扫描范围的左上角坐标；以第一次检测出的变化矩形区域右下角的横坐标为横坐标，以屏幕的最大列数C为纵坐标生成一个下次扫描范围的右下角坐标；基于上述方法对本次检测中所有的下次扫描起点处理，计算出下次扫描范围的集合，其流程见图5；

步骤11，基于下次扫描范围集合中第一个扫描区域的宽度和高度计算行扫描和列扫描的范围，重复步骤3到步骤10得到该扫描区域中变化的矩形区域块，基于上述方法对扫描范围集合中所有的扫描区域处理，其流程见图5；

步骤12，重复步骤10到11，得到下一次扫描范围的变化矩形区域块，直到所有的下次扫描起点的纵坐标大于或等于最后一列采样点的纵坐标，整个屏幕检测完毕；

步骤13，得到了所有该帧图像相对于前一帧图像变化的面积最小的不重叠矩形区域的集合，检查该集合中的矩形区域，如果两个矩形其左上角纵坐标和右下角纵坐标相同，且一个矩形的右下角横坐标与另一个矩形左上角横坐标相邻，将其合并为一个矩形，然后再压缩并发送矩形区域的集合所包含的图像数据及对应坐标到客户端；

步骤14，图像接收端将接收的数据减压后基于每个矩形区域图像数据及对应坐标整合至前一帧图像中并显示；

步骤15，每隔T秒重复步骤2到步骤14，根据应用场景的不同和带宽的要求，可以对间隔时间T做调整。

如图8所示，本发明实施例的基于矩形分割隔列扫描的图像传输***主要包括：发送端和接收端

发送端包括:

屏幕图像采集模块，用于对发送端的屏幕进行图像采集；

矩形分割隔列扫描模块，基于矩形分割隔列扫描算法将当前帧图像与缓存的上一帧图像进行对比，找出所有图像变化的区域，然后根据变化像素点的坐标得到面积最小的不重叠矩形区域的集合；

压缩发送模块，压缩矩形区域的集合所包含的图像数据，然后通过网络发送压缩的图像数据及对应坐标到客户端；

接收端包括：

接收模块，接收发送端所发送的变化图像数据；

减压模块，将接收的数据减压，得到矩形区域的集合所包含的图像数据及对应坐标；

更新显示模块，基于每个矩形区域图像数据及对应坐标更新缓存的前一帧图像对应区域并显示。

以下结合附图7对本发明的实现进行详细描述：

发送端与接收端之间建立网络连接，发送端对当前帧图像与缓存的前一帧的图像进行对比，获取两帧图像中面积最小的不重叠矩形区域的集合，只压缩发送矩形区域集合所包含的图像数据，以减小每一帧的传输数据；接收端将接收的图像数据整合至前一帧图像中并显示，由此以节省带宽占用量和CPU使用率，实现图像快速传输；下面以屏幕分辨率为1024×768屏幕图像传输为例，图7显示为当前帧图像相对于前一帧图像的变化，以下结合附图7详细描述如下：

步骤1，发送端首先获得屏幕的宽度为1024和高度为768，这两个变量将作为列扫描和行扫描的范围；

步骤2，发送端首先获取第一帧图像保存当前帧图像缓冲区，然后将该帧图像压缩后发送到接收端，接收端接收图像数据后显示图像信息；

步骤3，2秒后发送端将当前帧图像缓冲区的数据保存到前一帧图像缓冲区；截获当前的屏幕图像数据并保存在当前帧图像缓冲区中；

步骤4，发送端首先初始化变化矩形区域左上角坐标和右下角坐标为(0， 0)，下次扫描起点坐标为(0，0)，行无变化标识为true，更新列扫描的范围为 0～1024和行扫描的范围为0～768；

步骤5，采用隔列直接比较法判断前后两帧屏幕所对应像素是否变化找出变化的矩形区域；指针pCurData和pBakData分别指向当前帧图像和前一帧图像坐标为(1，5)的像素点比较对应的值是否相同；如果相同就以行为单位向右间隔4个像素(间隔的像素个数可以根据具体情况而定，以4个像素点为例) 取前后两帧图像下一个对应的像素为采样点，比较两帧图像中坐标(1，10)对应像素点的值是相同，接着检测下一个采样点坐标(1，15)对应像素点值不同，将行无变化标识设置为false，这是检测到的第一个变化采样点，将其坐标作为变化矩形区域的左上角坐标；采样点(1，15)是本行第一个检测到变化，然后需要将采样点(1，15)的纵坐标同矩形左上角的纵坐标进行比较并取最小值，矩形左上角坐标更新为(1，15)；

步骤6，在同一行中接着检测下一个采样点(1，20)的值是相同的，记录其坐标(1，20)作为下次扫描的起点，然后从下一行(第二行)从头开始从左到右检测；

步骤7，发送端检测第二行的采样点(2，5)和(2，10)的值是相同的，继续检测下一个采样点(2，15)的值是不同的，将矩形右下角的坐标(1，15) 和该点的坐标比较并取最大值更新矩形右下角坐标为(2，15)；采样点(2，15) 是第二行第一个变化的采样点，需要将该采样点的纵坐标同矩形左上角的纵坐标进行比较并取最小值，矩形左上角坐标更新为(1，15)；接着检测到下一个采样点(2，20)值是相同的，更新下次扫描的起点(2，20)，然后从下一行(第三行)从头开始从左到右检测；

步骤8，发送端检测第三行的采样点(3，5)的值是不同的，将矩形右下角的坐标(2，15)和该点的坐标比较并取最大值更新矩形右下角坐标为(3， 15)；采样点(3，5)是第三行第一个变化的采样点，需要将该采样点的纵坐标 (5)同矩形左上角的纵坐标(15)进行比较并取最小值，矩形左上角坐标更新为(1，5)；接着比较下面采样点(3，10)(3，15)(3，20)的值都是不同的，将矩形右下角的坐标和这些点的坐标比较并取最大值更新矩形右下角坐标为(3，20)；

步骤9，发送端依次检测每行的采样点；第10行的采样点(10，20)的值是不同的，将矩形右下角的坐标和该点的坐标比较并取最大值更新矩形右下角坐标为(10，20)；采样点(10，20)是第10行第一个变化的采样点，需要将该采样点的纵坐标(20)同矩形左上角的纵坐标(5)进行比较并取最小值，矩形左上角坐标更新为(1，5)；在同一行中接着检测下一个采样点(10，25)的值是相同的，记录其坐标(10，25)作为下次扫描的起点，然后从下一行(第11行)从头开始从左到右检测；

步骤10，发送端检测到第11行采样点值全部都相同，行无变化标识是为 true且变化矩形区域左上角坐标不为(0，0)，则表明整行无不同像素点，这样就得到了一个变化的矩形区域块左上角为(1，5)，右下角(10，20)，下次扫描的起点(10，25)；为解决变化图像边界信息丢失问题，得到的变化的矩形区域块左上角纵坐标向左移动5列，右下角纵坐标向右移动5列以包含图像边界信息；得到更新的变化的矩形区域块左上角为(1，0)，右下角(10，25)，当前前列扫描的范围是0～C且行扫描的范围是0～R，设置标识表明当前检测出的变化矩形区域标识是第一次检测出的；

步骤11，采用上述方法继续向下检测得到了下一个变化的矩形区域块左上角为(12，20)，右下角(20，40)，下次扫描的起点(18，40)，设置第一次检测出标识；

步骤12，发送端逐行检测每行对应的采样点其值是否相同，直到屏幕的最后一行为止；基于本例第一次扫描完成，得到了两个变化的矩形区域块左上角为(1，0)，右下角(10，25)，下次扫描的起点(10，25)和矩形区域块左上角为(12，20)，右下角(20，40)，下次扫描的起点(18，40)；

步骤13，由于还存在下次扫描的起点(10，25)和(18，40)的纵坐标比最后一列采样点的纵坐标小，整个屏幕还有没有检测到的部分，因此发送端需要确定下一次检测的区域，基于从上到下检测出的变化矩形区域坐标和相对应的下次扫描起点坐标计算生成第二次扫描范围；首先基于第一个矩形区域左上角为(1，0)，右下角(10，25)，下次扫描的起点(10，25)计算第一个扫描区域；首先由于矩形区域(1，0)，(10，25)是第一轮检测出的变化矩形区域，因此扫描区域左上角和右下角横坐标分别为第一个矩形区域左上角为(1，0)，右下角(10，25)的横坐标，即扫描区域左上角和右下角横坐标分别为1和10；然后将扫描起点坐标的纵坐标25和屏幕最后一列采样点的纵坐标(1020)比较；扫描起点坐标的纵坐标小于屏幕最后一列的纵坐标，得到扫描区域左上角坐标纵坐标为扫描起点坐标的纵坐标25；以屏幕的宽度1024为扫描区域右下角坐标纵坐标，由此得到了第二次扫描范围中的一个扫描区域(1，25)(10，1024)；然后基于矩形区域块左上角为(12，20)，右下角(20，40)，下次扫描的起点 (18，40)计算下一个扫描区域；同计算第一个扫描区域的方法一样，得到了第二次扫描范围中的一个扫描区域(12，40)(20，1024)；

步骤14，计算生成第二次扫描范围的区域集合后，可以得到第二次扫描列扫描和行扫描的范围；在本例中，第二次扫描区域集合为第一个区域(1，25) (10，1024)和第二个区域(12，40)(20，1024)；下次扫描区域集合中第一个扫描区域列扫描的范围为(25≤x≤1024)和行扫描的范围(1≤y≤10)，第二个扫描区域的列扫描的范围为(40≤x≤1024)和行扫描的范围(12≤y≤20)；

步骤15，发送端首先初始化变化矩形区域左上角坐标和右下角坐标为(0， 0)，接着采用隔列直接比较法判断第一个扫描区域中是否存在变化的矩形区域块，基于该例可以在第一个区域中得到了一个变化的矩形区域块左上角为(2， 40)，右下角(9，55)，下次扫描的起点(7，55)；

步骤16，接着发送端采用隔列直接比较法判断第二个扫描区域中是否存在变化的矩形区域块，基于该例发送端扫描到该区域最后1行最后1列采样点(20， 1020)值都是相同的，不存在变化的矩形区域；发送端将下次扫描的起点坐标设置为(20，1020)；该变化矩形区域对应扫描起点坐标的纵坐标和最后一列采样点的纵坐标相同，该变化矩形区域扫描完毕；第二次扫描完成，得到了一个变化的矩形区域块左上角为(2，40)，右下角(9，55)，下次扫描的起点(7， 55)；

步骤17，由于还存在下次扫描的起点(7，55)的纵坐标比最后一列采样点的纵坐标小，发送端再次计算生成第三次扫描范围，首先基于矩形区域左上角为(2，40)，右下角(9，55)，下次扫描的起点(3，55)计算；由于当前矩形区域左上角(2，40)，右下角(9，55)不是第一轮检测出的变化矩形区域，扫描范围中扫描区域左上角和右下角横坐标保存不变，将扫描起点坐标的纵坐标55和屏幕最后一列采样点的纵坐标(1020)比较；扫描起点坐标的纵坐标小于屏幕最后一列的纵坐标，得到扫描区域左上角坐标纵坐标为扫描起点坐标的纵坐标55；以屏幕的宽度1024为右下角纵坐标；由此得到了第三次扫描范围中的一个扫描区域(1，55)(10，1024)；

步骤18，接着发送端采用隔列直接比较法判断第三次扫描范围中是否存在变化的矩形区域块，基于该例发送端扫描到该区域最后1行最后1列采样点(10， 1020)值都是相同的，不存在变化的矩形区域；发送端将下次扫描的起点坐标设置为(20，1020)；该变化矩形区域对应扫描起点坐标的纵坐标和最后一列采样点的纵坐标相同，该变化矩形区域扫描完毕；

步骤19，到此为止，所有的扫描起点坐标的纵坐标和最后一列采样点的纵坐标相同，整个屏幕扫描完成，得到的变化矩形区域为矩形区域块左上角为(1， 0)，右下角(10，25)，矩形区域块左上角为(12，20)，右下角(20，40)，矩形区域块左上角为(2，40)，右下角(9，55)；

步骤20，发送端压缩并发送变化矩形区域的集合所包含的图像数据和坐标信息到客户端；图像接收端将接收的图像数据整合至前一帧图像中并显示。

步骤21，每隔2秒重复步骤3到步骤20,根据应用场景的不同和带宽的要求，可以对间隔时间做调整。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于矩形分割隔列扫描的图像传输方法，其特征在于，该基于矩形分割隔列扫描的图像传输方法首先比较相邻两帧图像，找出所有图像变化的区域，然后根据变化像素点的坐标得到面积最小的不重叠矩形区域的集合；每次只发送矩形区域集合所包含的图像数据和对应坐标信息；

根据像素点的坐标得到变化矩形区域，式(1)和式(2)是根据变化像素点来判断矩形R范围的算式；

R_l≤P_xAND R_t＝P_yi(1)

R_r≥P_x AND R_b≥P_y(2)

其中R_l和R_t代表矩形左上角的横坐标和纵坐标，R_r和R_b代表矩形右下角的横坐标和纵坐标，P_x和P_y代表变化像素点的横坐标和纵坐标，P_y0代表第一次变化像素点的纵坐标；根据式(1)和式(2)求得变化矩形区域的范围；先将前后相邻两幅位图的数据保存下来，并判断前后两帧屏幕所对应像素的值是否变化；当第一次检测到变化的采样点时，会将变化采样点的坐标(P_X0,P_Y0)进行记录，作为变化矩形区域的左上角坐标(R_l,R_t)，并且将行无变化标识为false；继续对比，当再次检测到不同采样点时，先将行无变化标识为false，接着将采样点的横坐标P_x同矩形左上角的横坐标R_l进行比较并取最小值，同时矩形右下角的坐标(R_r,R_b)会和点的坐标(P_x,P_y)比较并取最大值；即：

R_l＝min(P_xi,R_l)(i>1) R_t＝P_yi(i＝1)

R_r＝max(R_xi,R_r)(i>1) R_b＝max(R_yi,R_b)(i>1)

当检测到某行采样点值全部都相同时，得到一个变化的矩形区域块；

在一个扫描区域中对变化区域进行矩形分割算法采用隔列直接比较法判断前后图像缓冲区中两帧屏幕图像所对应像素是否变化从而找出变化的矩形区域；按照从上到下，从左到右的原则，基于矩形分割隔列扫描的图像传输方法找出后一帧图像相对于前一帧图像所有变化区域并基于矩形分割算法得到面积最小的不重叠矩形区域的集合；

在一个扫描区域中对变化区域进行矩形分割算法具体方法如下：

步骤一，图像发送端首先获得屏幕的分辨率，得到列扫描的范围0～C和行扫描的范围0～R；

步骤二，发送端将当前帧图像保存区的数据保存到前一帧图像缓冲区；截获当前的屏幕位图数据并保存在当前帧图像缓冲区；

步骤三，发送端首先初始化变化矩形区域左上角坐标和右下角坐标为(0，0)，下次扫描起点坐标为(0，0)，行无变化标识为true，更新列扫描的范围和行扫描的范围；

步骤四，判断是否在行扫描范围内，不在，跳转到步骤十；

步骤五，判断是否在列扫描范围内，不在，跳转到步骤八；在列扫描范围内采用隔列直接比较法对当前采样点进行检测；值不同，首先将行无变化标识设置为false，然后判断是否是检测到的第一个变化采样点，是将采样点坐标作为变化矩形区域的左上角坐标，不是第一个变化采样点，将矩形右下角的坐标和该点的坐标比较并取最大值作为新的矩形右下角坐标，再判断该采样点是否是本行第一个变化采样点，是就将该采样点的纵坐标同矩形左上角的纵坐标进行比较并取最小值更新变化矩形区域的左上角坐标；值相同，需要判断行无变化标识是否为false，如果是false，记录坐标作为下次扫描的起点，检测到是最后一列采样点，将最后一列采样点坐标作为下次扫描的起点，跳转到步骤七；

步骤六，把列坐标右移N列，跳转到步骤五检测下一个采样点；

步骤七，本行检测完毕，将本行的下次扫描起点坐标与上一行记录的下次扫描起点坐标比较，并取最大值作为新的下次扫描起点坐标，行号加1，跳转到步骤四从下一行从头开始从左到右检测；

步骤八，判断行无变化标识是否为true且变化矩形区域左上角坐标不为(0，0)，不是true，行号加1，跳转到步骤四；是true，则表明整行无不同像素点，得到了一个变化的矩形区域块；得到的变化矩形区域块左上角纵坐标向左移动N列，右下角纵坐标向右移动N列以包含图像边界信息；

步骤九，记录检测出的变化矩形区域坐标和相对应的下次扫描起点坐标，判断当前列扫描的范围是否0～C且行扫描的范围是否0～R，是，设置标识表明当前检测出的变化矩形区域标识是第一次检测出的，然后行号加1跳转到步骤四从下一行开始检测下一个变化的矩形区域块；直到检测超出行扫描的范围；

步骤十，本次检测完毕后，对本次检测中所有的下次扫描起点进行处理，计算出下次扫描范围的集合；首先检查本次检测出的第一个下次扫描起点的纵坐标是否比最后一列采样点的纵坐标小，不是，该区域检测完成，检测下一个下次扫描起点的纵坐标；是，以第一次检测出的变化矩形区域左上角的横坐标为横坐标，以当前变化矩形区域相关的下次扫描起点坐标的纵坐标为纵坐标，生成一个下次扫描范围的左上角坐标；以第一次检测出的变化矩形区域右下角的横坐标为横坐标，以屏幕的最大列数C为纵坐标生成一个下次扫描范围的右下角坐标；接着处理第二个下次扫描起点，直到本次检测中所有的下次扫描起点都被处理为止；

步骤十一，检测下次扫描范围集合中所有的扫描区域，首先基于下次扫描范围集合中第一个扫描区域的宽度和高度，生成行扫描和列扫描的范围，重复步骤三到步骤十检测第一个扫描区域中变化的矩形区域块，接着处理第二个扫描区域，直到下次扫描范围集合中所有的扫描区域都被检测为止；

步骤十二，重复步骤十到步骤十一，得到下一次扫描范围的变化矩形区域块，直到所有的下次扫描起点的纵坐标大于或等于最后一列采样点的纵坐标，整个屏幕检测完毕；

步骤十三，得到了所有该帧图像相对于前一帧图像变化的面积最小的不重叠矩形区域的集合，检查该集合中的矩形区域，两个矩形其左上角纵坐标和右下角纵坐标相同，且一个矩形的右下角横坐标与另一个矩形左上角横坐标相邻，合并为一个矩形，然后再压缩并发送矩形区域的集合所包含的图像数据及对应坐标到客户端；

步骤十四，图像接收端将接收的数据减压后基于每个矩形区域图像数据及对应坐标整合至前一帧图像中并显示；

步骤十五，每隔T秒重复步骤二到步骤十四，根据应用场景的不同和带宽的要求，对间隔时间T做调整；

采用隔列直接比较法判断前后两帧屏幕图像所对应像素是否变化，先以行为单位隔N列从左到右开始提取前后两幅图像对应的像素为采样点，比较对应像素点的值是否相同；根据应用场景的不同和带宽的要求，可以对间隔列数N做调整，N的值越小，隔列直接比较法检测所需的时间越长。