CN112214188B - 图像的处理方法、装置、存储介质和处理器 - Google Patents

图像的处理方法、装置、存储介质和处理器 Download PDF

Info

Publication number
CN112214188B
CN112214188B CN202010956380.1A CN202010956380A CN112214188B CN 112214188 B CN112214188 B CN 112214188B CN 202010956380 A CN202010956380 A CN 202010956380A CN 112214188 B CN112214188 B CN 112214188B
Authority
CN
China
Prior art keywords
area
refresh
refreshing
region
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010956380.1A
Other languages
English (en)
Other versions
CN112214188A (zh
Inventor
王成东
卢涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Wanxiang Electronics Technology Co Ltd
Original Assignee
Xian Wanxiang Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Wanxiang Electronics Technology Co Ltd filed Critical Xian Wanxiang Electronics Technology Co Ltd
Priority to CN202010956380.1A priority Critical patent/CN112214188B/zh
Publication of CN112214188A publication Critical patent/CN112214188A/zh
Application granted granted Critical
Publication of CN112214188B publication Critical patent/CN112214188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像的处理方法、装置、存储介质和处理器。该方法包括：获取当前帧图像的第一颜色数据和前一帧图像的第二颜色数据；确定第一颜色数据的至少一个第一合并区域和第二颜色数据的至少一个第二合并区域；确定至少一个第一合并区域相对于至少一个第二合并区域的至少一个变化区域；将变化区域中的图像数据由第一颜色格式转化为第二颜色格式，并将第二颜色格式的图像数据发送至客户端，其中，第二颜色格式的图像数据用于刷新客户端上已经显示的图像。本发明解决了在进行图像刷新时所消耗的资源的技术问题。

Description

图像的处理方法、装置、存储介质和处理器
技术领域
在本发明涉及图像处理领域，具体而言，涉及一种图像的处理方法、装置、存储介质和处理器。
背景技术
目前，图传***包括客户端和采集端，采集端从图像源设备中采集图像并发送给客户端，由客户端展示给用户。当图像源设备的图像发生变化时，需要通过采集端对图像源设备重新进行采集来实现客户端画面的刷新。通常是采集端确定图像源设备中的图像的刷新区域（原始区域），采集端采集当前帧的整屏图像，并将采集到的当前帧的整屏图像的格式进行转化，基于原始区域、当前帧的整屏图像的转后格式后的数据和前一帧的整屏图像的转化格式后的数据，确定初始区域中实际发生变化的区域的数据，然后采集端将实际发生变化的区域的数据发送给客户端，由客户端根据实际发生变化的区域的数据对显示图像进行刷新。
但是，在通常情况下，当图像源设备中的画面变化较为剧烈时，比如，用户最大化或最小化窗口，或拖动窗口，或播放视频，或打开网页，会产生大量的初始区域，从而使得确定图像中的初始区域的工作量较大；此外，（当前帧、前一帧）整屏图像的数据转化格式，也会耗费较多资源，从而造成计算资源的浪费。
针对上述在进行图像刷新时所消耗的资源的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像的处理方法、装置、存储介质和处理器，以至少解决在进行图像刷新时所消耗的资源的技术问题。
根据本发明实施例的一个方面，提供了一种图像的处理方法。该方法可以包括：获取当前帧图像的第一颜色数据和前一帧图像的第二颜色数据，其中，当前帧图像和前一帧图像由图像源设备生成；确定第一颜色数据的至少一个第一合并区域和第二颜色数据的至少一个第二合并区域，其中，第一合并区域为由第一颜色数据的多个第一刷新区域合并得到，且未包括除多个第一刷新区域之外的空白区域，第二合并区域为由第二颜色数据的多个第二刷新区域合并得到，且未包括除多个第二刷新区域之外的空白区域；确定至少一个第一合并区域相对于至少一个第二合并区域的至少一个变化区域；将变化区域中的图像数据由第一颜色格式转化为第二颜色格式，并将第二颜色格式的图像数据发送至客户端，其中，第二颜色格式的图像数据用于刷新客户端上已经显示的图像。
可选地，将变化区域中的图像数据由第一颜色格式转化为第二颜色格式，包括：基于至少一个变化区域确定有效区域；将有效区域的图像数据由第一颜色格式转化为第二颜色格式。
可选地，基于至少一个变化区域确定有效区域，包括：对至少一个变化区域进行合并，得到至少一个矩形区域；将至少一个矩形区域确定为有效区域。
可选地，有效区域包括一个变化区域或多个互相连接的变化区域。
可选地，基于至少一个变化区域确定有效区域，包括：将至少一个变化区域中处于最上层的变化区域，确定为有效区域，其中，最上层的变化区域覆盖了至少一个变化区域中除最上层的变化区域之外的变化区域。
可选地，每个第一合并区域包括互相叠加的至少两个第一刷新区域，或互相连接的至少两个第一刷新区域，或未与任何其它第一刷新区域相连接或相叠加的一个第一刷新区域；每个第二合并区域包括互相叠加的至少两个第二刷新区域，或互相连接的至少两个第二刷新区域，或未与任何其它第二刷新区域相连接或相叠加的一个第一刷新区域。
可选地，相叠加的至少两个第一刷新区域的重叠区域中的图像数据，为至少两个第一刷新区域中的一个第一刷新区域的图像数据；相叠加的至少两个第二刷新区域的重叠区域中的图像数据，为至少两个第二刷新区域中的一个第二刷新区域的图像数据。
可选地，确定第一颜色数据的至少一个第一合并区域，包括：分别确定每个第一刷新区域的多个角点在第一坐标轴和第二坐标轴上对应的第一节点，得到多个第一节点；基于多个第一节点中与第一坐标轴对应的第一节点确定每个第一刷新区域的第一线段，且基于多个第一节点中与第二坐标轴对应的第一节点确定每个第一刷新区域的第二线段；在多个第一刷新区域的第一线段未重叠，或多个第一刷新区域的第二线段未重叠，或多个第一刷新区域的第一线段未重叠且多个第一刷新区域的第二线段未重叠的情况下，确定多个第一刷新区域未重叠，且将每个第一刷新区域确定为一个第一合并区域；在多个第一刷新区域的第一线段存在重叠的第一目标线段，且多个第一刷新区域的第二线段存在重叠的第二目标线段情况下，基于第一目标线段和第二目标线段确定第一合并区域。
可选地，确定第二颜色数据的至少一个第二合并区域，包括：分别确定每个第二刷新区域的多个角点在第一坐标轴和第二坐标轴上对应的第二节点，得到多个第二节点；基于多个第二节点中与第一坐标轴对应的第二节点确定每个第二刷新区域的第三线段，且基于多个第二节点中与第二坐标轴对应的第二节点确定每个第二刷新区域的第四线段；在多个第二刷新区域的第三线段未重叠，或多个第二刷新区域的第四线段未重叠，或多个第二刷新区域的第三线段未重叠且多个第二刷新区域的第四线段未重叠的情况下，确定多个第二刷新区域未重叠，且将每个第二刷新区域确定为一个第二合并区域；在多个第二刷新区域的第三线段存在重叠的第三目标线段，且多个第二刷新区域的第四线段存在重叠的第四目标线段情况下，基于第三目标线段和第四目标线段确定至少一个第二合并区域。
可选地，确定第一颜色数据的至少一个第一合并区域，包括：在多个第一刷新区域中存在相叠加的至少两个第一刷新区域的情况下，将相叠加的至少两个第一刷新区域划分为多个第一子刷新区域，其中，每个第一子刷新区域相互独立；基于多个第一子刷新区域生成至少一个第一合并区域；确定第二颜色数据的至少一个第二合并区域，包括：在多个第二刷新区域中存在相叠加的至少两个第二刷新区域的情况下，将相叠加的至少两个第二刷新区域划分为多个第二子刷新区域，其中，每个第二子刷新区域相互独立；基于多个第二子刷新区域生成至少一个第二合并区域。
根据本发明实施例的另一方面，还提供了一种图像的处理装置。该装置可以包括：获取单元，用于获取当前帧图像的第一颜色数据和前一帧图像的第二颜色数据，其中，当前帧图像和前一帧图像由图像源设备生成；第一确定单元，用于确定第一颜色数据的至少一个第一合并区域和第二颜色数据的至少一个第二合并区域，其中，第一合并区域为由第一颜色数据的多个第一刷新区域合并得到，且未包括除多个第一刷新区域之外的空白区域，第二合并区域为由第二颜色数据的多个第二刷新区域合并得到，且未包括除多个第二刷新区域之外的空白区域；第二确定单元，用于确定至少一个第一合并区域相对于至少一个第二合并区域的至少一个变化区域；发送单元，用于将变化区域中的图像数据由第一颜色格式转化为第二颜色格式，并将第二颜色格式的图像数据发送至客户端，其中，第二颜色格式的图像数据用于刷新客户端上已经显示的图像。
本发明实施例还提供了一种计算机可读存储介质。该计算机可读存储介质包括存储的程序，其中，在程序被处理器运行时控制计算机可读存储介质所在设备执行本发明实施例的图像处理方法。
本发明实施例还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例的图像处理方法。
在本发明实施例中，通过当前帧图像的第一颜色数据的至少一个第一刷新区域确定至少一个第一合并区域，且通过前一帧图像的第二颜色数据的至少一个第二刷新区域确定至少一个第二合并区域，该第一合并区域和第二合并区域不存在任何空白区域，从而该实施例计算出的合并区域非常精确，可以减少CPU在比较处理上占用的资源。另外，该实施例是确定至少一个第一合并区域相对于至少一个第二合并区域的变化区域，将变化区域中的图像数据由第一颜色格式转化为第二颜色格式，并将第二颜色格式的图像数据发送至客户端，避免了将当前帧的整屏图像由RGB格式转换为YUV格式，将前一帧的整屏图像由RGB转化为YUV格式，使得耗费较多的资源，从而造成计算资源的浪费，从而解决了在进行图像刷新时所消耗的资源的技术问题，达到了降低在进行图像刷新时所消耗的资源的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种图像的处理方法的流程图；
图2是根据本发明实施例的一种多个刷新区域的示意图；
图3是根据本发明实施例的一种至少一个合并区域的示意图；
图4是根据本发明实施例的一种确定各个刷新区域的各个角点在X轴和Y轴上的节点以及对应的线段的示意图；
图5是根据本发明实施例的一种目标备选刷新区域的示意图；
图6是根据本发明实施例的将目标备选刷新区域划分为实际小区域的示意图；
图7是根据本发明实施例的另一种将目标备选刷新区域划分为实际区域的示意图；
图8是根据本发明实施例的一种备选刷新区域的示意图；
图9是根据本发明实施例的一种确定变化区域的示意图；
图10是根据本发明实施例的一种图像刷新的场景示意图；
图11是根据本发明实施例的另一种图像刷新的场景示意图；
图12是根据本发明实施例的一种图像的处理装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种图像的处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种图像的处理方法的流程图。如图1所示，该方法可以包括以下步骤：
步骤S102，获取当前帧图像的第一颜色数据和前一帧图像的第二颜色数据，其中，当前帧图像和前一帧图像由图像源设备生成。
在本发明上述步骤S102提供的技术方案中，可以是图传***中，通过采集端获取当前帧图像的第一颜色数据和前一帧图像的第二颜色数据，其中，当前帧图像的第一颜色数据可以为红绿蓝（RGB）格式的图像数据，前一帧图像的第二颜色数据可以为RGB格式的图像数据。
在该实施例中，上述当前帧图像和上一帧图像可以由图像源设备生成，其中，图像源设备也即本地显示设备。
步骤S104，确定第一颜色数据的至少一个第一合并区域和第二颜色数据的至少一个第二合并区域。
在本发明上述步骤S104提供的技术方案中，在获取当前帧图像的第一颜色数据和前一帧图像的第二颜色数据之后，确定第一颜色数据的至少一个第一合并区域和第二颜色数据的至少一个第二合并区域，其中，第一合并区域为由第一颜色数据的多个第一刷新区域合并得到，且未包括除多个第一刷新区域之外的空白区域，第二合并区域为由第二颜色数据的多个第二刷新区域合并得到，且未包括除多个第二刷新区域之外的空白区域。
在该实施例中，采集端可以先确定第一颜色数据中的多个第一刷新区域，该第一刷新区域为采集端通过底层驱动确定的图像源设备的当前帧图像中已经刷新的区域，其可以是部分互相叠加的，也可以是完全叠加的，也可以是互相连接的，其也可以称为当前帧图像的原始区域，此时客户端的显示图像还尚未更新。在采集端确定第一颜色数据中的多个第一刷新区域之后，会根据至少一个第一刷新区域确定第一颜色数据的至少一个第一合并区域，该第一合并区域未包括除多个第一刷新区域之外的空白区域，也即，不存在不属于多个第一刷新区域的空白区域，其可以为不规则区域，从而达到精确地确定出第一合并区域的目的，进而减少中央处理器（Central Processing Unit，简称为CPU）所占用的资源，减小CPU的处理压力。
在该实施例中，对于第二颜色数据，采集端可以先确定第二颜色数据中的多个第二刷新区域，该第二刷新区域为采集端通过底层驱动确定的图像源设备的前一帧图像中已经刷新的区域，其可以是部分互相叠加的，也可以是完全叠加的，也可以是互相连接的，其也可以称为前一帧图像的原始区域。在采集端确定第二颜色数据中的多个第二刷新区域之后，会根据至少一个第二刷新区域确定第二颜色数据的至少一个第二合并区域，该第二合并区域未包括除多个第二刷新区域之外的空白区域，也即，不存在不属于多个第二刷新区域的空白区域，其可以为不规则区域，从而达到精确地确定出第二合并区域的目的，进而减少CPU所占用的资源，减小CPU的处理压力。
步骤S106，确定至少一个第一合并区域相对于至少一个第二合并区域的变化区域。
在本发明上述步骤S106提供的技术方案中，在确定第一颜色数据的至少一个第一合并区域和第二颜色数据的至少一个第二合并区域之后，确定至少一个第一合并区域相对于至少一个第二合并区域的变化区域。
在该实施例中，可以将至少一个第一合并区域和至少一个第二合并区域进行比较，确定至少一个第一合并区域相对于至少一个第二合并区域的变化区域，该变化区域指至少一个第一合并区域相对于至少一个第二合并区域的实际发生变化的区域，可以是至少一个第一合并区域相对于至少一个第二合并区域中实际发生变化的最小区域。该实施例的变化区域的数量可以为0，其代表图像显示刷新但无变化。可选地，在变化区域的数量为0的情况下，可以终止流程。当变化区域的数量不为0的情况下，可以继续执行步骤S108。
步骤S108，将变化区域中的图像数据由第一颜色格式转化为第二颜色格式，并将第二颜色格式的图像数据发送至客户端，其中，第二颜色格式的图像数据用于刷新客户端上已经显示的图像。
在本发明上述步骤S108提供的技术方案中，在确定至少一个第一合并区域相对于至少一个第二合并区域的变化区域之后，可以将变化区域中的图像数据由第一颜色格式转化为第二颜色格式，比如，第一颜色格式为RGB格式，第二颜色格式为亮度信息、色度信息（YUV）格式，将变化区域中的图像数据由RGB格式转化为YUV格式，进而将YUV格式的图像数据发送至客户端，用于刷新客户端上已经显示的图像。
通过本申请上述步骤S102至步骤S108，通过当前帧图像的第一颜色数据的至少一个第一刷新区域确定至少一个第一合并区域，且通过前一帧图像的第二颜色数据的至少一个第二刷新区域确定至少一个第二合并区域，该第一合并区域和第二合并区域不存在任何空白区域，从而该实施例计算出的合并区域非常精确，可以减少CPU在比较处理上占用的资源。另外，该实施例是确定至少一个第一合并区域相对于至少一个第二合并区域的变化区域，将变化区域中的图像数据由第一颜色格式转化为第二颜色格式，并将第二颜色格式的图像数据发送至客户端，避免了将当前帧的整屏图像由RGB格式转换为YUV格式，将前一帧的整屏图像由RGB转化为YUV格式，使得耗费较多的资源，从而造成计算资源的浪费，从而解决了在进行图像刷新时所消耗的资源的技术问题，达到了降低在进行图像刷新时所消耗的资源的技术效果。
下面对该实施例的上述方法进行进一步介绍。
作为一种可选的实施方式，步骤S108，将变化区域中的图像数据由第一颜色格式转化为第二颜色格式，包括：基于至少一个变化区域确定有效区域；将有效区域的图像数据由第一颜色格式转化为第二颜色格式。
在该实施例中，由于至少一个变化区域中并不是所有的数据都可以用于对客户端上的图像进行刷新，从而为了进一步降低在进行图像刷新时所消耗的资源，该实施例可以在至少一个变化区域中确定有效区域，进而将有效区域的图像数据由RGB格式转化为YUV格式，将YUV格式的图像数据发送至客户端，用于刷新客户端上已经显示的图像。可选地，该实施例的客户端可以将有效区域的YUV格式的图像数据叠加在前一帧的整屏图像的YUV格式的图像数据上，从而得到刷新后的整屏图像的YUV数据。其中，前一帧的整屏图像的YUV数据可以是由客户端提前进行保存的。
需要说明的是，在相关技术中，需要将整帧图像由RGB格式转换为YUV格式，而该实施例仅将变化区域中有效区域的图像数据由RGB格式转化为YUV格式，进而将YUV格式的图像数据发送至客户端，从而降低了需要进行格式转换的数据，也降低了发送至客户端的数据量，进而降低了在进行图像刷新时所消耗的资源。
作为一种可选的实施方式，基于至少一个变化区域确定有效区域，包括：对至少一个变化区域进行合并，得到至少一个矩形区域；将至少一个矩形区域确定为有效区域。
在该实施例中，在变化区域的数量不为0的情况下，采集端可以对至少一个变化区域进行合并，形成一个或多个矩形区域，将该一个或多个矩形区域确定为有效区域。
作为一种可选的实施方式，有效区域包括一个变化区域或多个互相连接的变化区域。
在该实施例中，有效区域可以为矩形，一个有效区域可以包括至少一个变化区域，或者包括多个互相连接的变化区域，一个有效区域中的变化区域可能是互相重叠的，也可能是互相连接的，此处不做具体限制。
作为一种可选的实施方式，基于至少一个变化区域确定有效区域，包括：将至少一个变化区域中处于最上层的变化区域，确定为有效区域，其中，最上层的变化区域覆盖了至少一个变化区域中除最上层的变化区域之外的变化区域。
在该实施例中，在至少一个变化区域中，如果最上层的变化区域完全覆盖了至少一个变化区域中除最上层的变化区域之外的其它变化区域，则可以只体现最上层的变化区域，将最上层的变化区域确定为有效区域，比如，在多个变化区域中，如果至少一个变化区域X被另一个变化区域Y完全覆盖，那么有效区域不再体现被完全覆盖的至少一个变化区域X，而是只体现出最上层的变化区域Y，这样也可以减少工作量，不再关注被覆盖的变化区域，从而达到了降低在进行图像刷新时所消耗的资源的技术效果。
下面对该实施例的合并区域进行进一步介绍。
作为一种可选的实施方式，每个第一合并区域包括互相叠加的至少两个第一刷新区域，或互相连接的至少两个第一刷新区域，或未与任何其它第一刷新区域相连接或相叠加的一个第一刷新区域；每个第二合并区域包括互相叠加的至少两个第二刷新区域，或互相连接的至少两个第二刷新区域，或未与任何其它第二刷新区域相连接或相叠加的一个第一刷新区域。
在该实施例中，采集端对多个第一刷新区域进行合并，得到至少一个第一合并区域，每个第一合并区域可以包括互相叠加的至少两个第一刷新区域，也可以包括互相连接的至少两个第一刷新区域，还可以是不与任何其它第一刷新区域存在重叠的第一刷新区域，将其单独作为一个第一合并区域。
可选地，采集端对多个第二刷新区域进行合并，得到至少一个第二合并区域，每个第二合并区域可以包括互相叠加的至少两个第二刷新区域，也可以包括互相连接的至少两个第二刷新区域，还可以是不与任何其它第二刷新区域存在重叠的第一刷新区域，将其单独作为一个第二合并区域。
图2是根据本发明实施例的一种多个刷新区域的示意图。如图2所示，将方格填充的区域称为刷新区域A，将斜杠填的区域称为刷新区域B，将黑点填充的区域称为刷新区域C，刷新区域A、B和C均设置在以0为原点的XY轴坐标系中。每个小矩形块均为一个刷新区域，可见，有的刷新区域是互相叠加的，有的刷新区域是独立的，多个刷新区域可能相距较远。其中，刷新区域B和刷新区域A相互叠加，刷新区域C距离刷新区域A和B均较远。
作为一种可选的实施方式，相叠加的至少两个第一刷新区域的重叠区域中的图像数据，为至少两个第一刷新区域中的一个第一刷新区域的图像数据；相叠加的至少两个第二刷新区域的重叠区域中的图像数据，为至少两个第二刷新区域中的一个第二刷新区域的图像数据。
在该实施例中，相叠加的至少两个第一刷新区域具有重叠区域，该重叠区域中的图像数据可以为至少两个第一刷新区域中的其中一个第一刷新区域的图像数据，可以是面积最大的一个第一刷新区域的图像数据，也即，对于重叠区域的图像数据，该实施例只计算一次，而不会重复计算，从而精确确定至少一个第一合并区域，并减轻CPU的处理压力。
可选地，在该实施例中，相叠加的至少两个第二刷新区域具有重叠区域，该重叠区域中的图像数据可以为至少两个第二刷新区域中的其中一个第二刷新区域的图像数据，可以是面积最大的一个第二刷新区域的图像数据，也即，对于重叠区域的图像数据，只计算一次，而不会重复计算，从而精确确定至少一个第二合并区域，并减轻CPU的处理压力。
图3是根据本发明实施例的一种至少一个合并区域的示意图。如图3所示，合并区域为以黑色粗线条为外框的两个区域，其中，刷新区域A和刷新区域B存在重叠区域，通过刷新区域A和刷新区域B生成一个合并区域，另一个不与刷新区域A和刷新区域B存在重叠的刷新区域C，可以单独作为一个合并区域。
在该实施例中，在由两个存在重叠区域的刷新区域组成的合并区域中，重叠区域的计算可以在以方格填充的刷新区域A中进行，而不再体现在由斜杠填充的刷新区域B中，也即，该合并区域中的任一像素点的计算不存在重复计算的情况。
作为一种可选的实施方式，确定第一颜色数据的至少一个第一合并区域，包括：分别确定每个第一刷新区域的多个角点在第一坐标轴和第二坐标轴上对应的第一节点，得到多个第一节点；基于多个第一节点中与第一坐标轴对应的第一节点确定每个第一刷新区域的第一线段，且基于多个第一节点中与第二坐标轴对应的第一节点确定每个第一刷新区域的第二线段；在多个第一刷新区域的第一线段未重叠，或多个第一刷新区域的第二线段未重叠，或多个第一刷新区域的第一线段未重叠且多个第一刷新区域的第二线段未重叠的情况下，确定多个第一刷新区域未重叠，且将每个第一刷新区域确定为一个第一合并区域；在多个第一刷新区域的第一线段存在重叠的第一目标线段，且多个第一刷新区域的第二线段存在重叠的第二目标线段情况下，基于第一目标线段和第二目标线段确定第一合并区域。
在该实施例中，第一颜色数据中具有多个第一刷新区域，可以分别确定每个第一刷区域的多个角点在第一坐标轴和第二坐标轴上对应的第一节点，其中，交点为第一刷新区域的顶点，第一坐标轴可以为二维坐标系中的X轴，第二坐标轴可以为二维坐标系中的Y轴，第一节点可以为每个角点在第一坐标轴上对应的X坐标，也可以为在第二坐标轴上对应的Y坐标。该实施例可以基于多个第一节点中与第一坐标轴对应的第一节点确定每个第一刷新区域的第一线段，且基于多个第一节点中与第二坐标轴对应的第一节点确定每个第一刷新区域的第二线段。
在确定每个第一刷新区域的第一线段和每个第一刷新区域的第二线段之后，该实施例可以判断多个第一刷新区域的第一线段是否重叠，如果判断出多个第一刷新区域的第一线段未重叠，或多个第一刷新区域的第二线段未重叠，或多个第一刷新区域的第一线段未重叠且多个第一刷新区域的第二线段未重叠的情况下，则可以说明多个第一刷新区域未重叠，则将各个第一刷新区域分别确定为一个第一合并区域。
可选地，如果多个第一刷新区域的第一线段存在重叠的第一目标线段，并且多个第一刷新区域的第二线段也存在重叠的第二目标线段情况下，则可以基于第一目标线段和第二目标线段确定第一合并区域。
作为一种可选的实施方式，确定第一颜色数据的至少一个第一合并区域，包括：在多个第一刷新区域中存在相叠加的至少两个第一刷新区域的情况下，将相叠加的至少两个第一刷新区域划分为多个第一子刷新区域，其中，每个第一子刷新区域相互独立；基于多个第一子刷新区域生成至少一个第一合并区域；确定第二颜色数据的至少一个第二合并区域，包括：在多个第二刷新区域中存在相叠加的至少两个第二刷新区域的情况下，将相叠加的至少两个第二刷新区域划分为多个第二子刷新区域，其中，每个第二子刷新区域相互独立；基于多个第二子刷新区域生成至少一个第二合并区域。
在该实施例中，在实现确定第一颜色数据的至少一个第一合并区域时，针对相叠加的至少两个第一刷新区域，也即，该至少两个第一刷新区域之间存在重叠区域，可以将该至少两个第一刷新区域划分为多个第一子刷新区域，该多个第一子刷新区域可以称为多个实际小区域，可以包括图3所示的刷新区域A以及刷新区域B中除重叠区域之外的区域所划分的实际小区域，进而将其组合为第一合并区域。
可选地，在确定第二颜色数据的至少一个第二合并区域时，针对相叠加的至少两个第二刷新区域，也即，该至少两个第二刷新区域之间存在重叠区域，可以将该至少两个第二刷新区域划分为多个第二子刷新区域，该多个第二子刷新区域可以称为多个实际小区域，进而将其组合为第一合并区域。
下面对该实施例的上述确定合并区域的方法进行进一步地举例说明。
图4是根据本发明实施例的一种确定各个刷新区域的各个角点在X轴和Y轴上的节点以及对应的线段的示意图。如图4所示，该实施例的合并区域的方法可以包括以下步骤：
步骤S1，确定各刷新区域的四个角点在X轴和Y轴上对应的节点；确定各刷新区域在X轴上对应的两个节点组成的第一线段，以及各刷新区域在Y轴上对应的两个节点所组成的第二线段。
可选地，如图4所示，首先，分别确定由方格填充的刷新区域A、由斜杠填充的刷新区域B和黑点填充的刷新区域C的四个角点在X轴和Y轴上对应的节点，以及各节点在X轴和Y轴上分别组成的第一线段和第二线段。
可选地，刷新区域A在X轴和Y轴上对应的节点分别为x1、x4、y1和y4，其中，在X轴上的两个节点所组成的第一线段为A1(x1，x4)，在Y轴上的两个节点所组成的第二线段为A2(y1，y4)。
刷新区域B在X轴和Y轴上对应的节点分别为x3、x2、y3和y2，其中，在X轴上的两个节点组成的第一线段为B1(x3，x2)，在Y轴上的两个节点组成的第二线段为B2(y3，y2)。
刷新区域C在X轴和Y轴上对应的节点分别为x5、x6、y5和y6，其中，在X轴上的两个节点所组成的第一线段为C1(x5，x6)，在Y轴上的两个节点所组成的第二线段为C2(y5，y6)。
步骤S3，判断各刷新区域的第一线段之间，以及第二线段之间是否均存在重叠；若是，则将各刷新区域的第一线段的重叠部分记为第一目标线段，将各刷新区域的第二线段的重叠部分记为第二目标线段，执行步骤S5；若否，则说明各刷新区域之间不存在重叠区域，将各刷新区域分别作为合并区域。
如图4所示，刷新区域B的第一线段B1(x3，x2)与刷新区域A的第一线段A1(x1，x4)之间有重叠，则重叠部分为第一目标线段（x1，x2），且刷新区域B的第二线段B2(y3，y2)与刷新区域A的第二线段A2(y1，y4)之间也存在重叠，重叠部分为第二目标线段（y1，y2）。
此外，刷新区域C的第一线段C1(x5，x6)与刷新区域B的第一线段B1(x3，x2)、刷新区域A的第一线段A1(x1，x4)均无重叠，且刷新区域C的第二线段C2(y5，y6)与刷新区域B的第二线段B2(y3，y2)、刷新区域A的第二线段A2(y1，y4)也无重叠。因此，对于刷新区域C而言，其并不存在第一目标线段和第二目标线段。
在该实施例中，如果各刷新区域的第一线段之间不存在重叠，或第二线段之间不存在重叠，或第一线段和第二线段之间均不存在重叠，则说明各刷新区域之间不存在重叠区域。则可以将各刷新区域分别作为各合并区域，执行步骤S106。
该实施例的各刷新区域在存在第一目标线段和第二目标线段的情况下，基于第一目标线段和第二目标线段确定第一合并区域。
S5，将第一目标线段和第二目标线段对应的刷新区域，记为备选刷新区域（备选初始区域）；将所有的备选刷新区域，按照面积，从大到小进行排序，从而生成刷新区域列表（原始区域列表）。
如图4所示，第一目标线段和第二目标线段对应的刷新区域为由方格填充的刷新区域A，和由斜杠填充的刷新区域B，也就是说，该实施例的备选刷新区域包括刷新区域A和刷新区域B，则刷新区域列表包括：刷新区域A和刷新区域B。
S7，将上述刷新区域列表中，可以将排序第一（也即面积最大）的备选刷新区域（图4中的刷新区域A），移到独立区域列表中；更新刷新区域列表。
需要说明的是，该步骤可以只在第一次运行时执行，而后续再执行就可以直接跳过该步骤。
还需要说明的是，上述独立区域列表中的各独立区域，是对备选刷新区域经过重叠区域处理之后，生成的互相不再存在重叠区域的独立区域。这样，在后续处理中，只针对独立区域列表中的独立区域进行图像数据更新，由于独立区域之间不存在重叠区域，因此可以将图像数据更新的工作量降低最低，减轻***的处理任务量，从而降低了在进行图像刷新时所消耗的资源。
可以理解的是，当各备选刷新区域中存在重叠区域时，可以将重叠区域一律归在面积最大的备选刷新区域中进行计算。为了避免对重叠区域的重复计算，通过后续步骤，可以基于重叠区域，将其它备选刷新区域分为多个实际小区域，将实际小区域移到独立区域列表中；丢弃与重叠区域出现重叠的小区域。
该实施例的上述独立区域列表中的区域是按照加入顺序排序的，因此，最先加入到独立区域列表中的，面积最大的备选刷新区域（图4中的刷新区域A），在独立区域列表中的排序是第一。
在该步骤中，先将面积最大的备选刷新区域移到独立区域列表中，作为第一个独立区域；然后，更新刷新区域列表，也即，将原本排序第二的备选刷新区域，修改为排序第一，其它备选刷新区域的排列序号也随之调整。
步骤S9，将获取更新后的刷新区域列表中，将排序第一的备选刷新区域记为目标备选刷新区域。
需要说明的是，在第一次执行该步骤时，目标备选刷新区域即为面积次大的备选刷新区域（比如，图4中的刷新区域B）。
步骤S11，确定目标备选刷新区域与独立区域列表中的目标区域的重叠区域；根据上述重叠区域，将目标备选刷新区域划分为多个实际小区域。
其中，在第一次执行该步骤时，独立区域列表中目标区域即为排序第一的备选刷新区域，也即，面积最大的备选刷新区域（如图4中的刷新区域A）；随后按照排序依次轮流，也即第二次执行该步骤，目标区域为独立区域列表中排序第二的备选刷新区域，以此类推。
第一步，预先设置目标备选刷新区域（更新后的刷新区域列表中，排序第一的备选刷新区域）中，除重叠区域以外的预设小区域的坐标。
图5是根据本发明实施例的一种目标备选刷新区域的示意图。如图5所示，大黑框为目标备选刷新区，中间小黑框为重叠区域，基于中间小黑框的上下边框的延长线，将大黑框分为四个预设小区域，可以分别记为预设小区域1、预设小区域2、预设小区域3和预设小区域4。
在该实施例中，设置重叠区域的四个角点分别为左上角点（xa1，xb1），右上角点（xa2，xb1），左下角点（xa1，xb2），右下角点（xa2，xb2）。目标备选刷新区域的四点角点分别为左上角点（xx1，xy1），右上角点（xx2，xy1），左下角点（xx1，xy2），右下角点（xx2，xy2）。
那么，预设小区域1的四点角点分别为左上角点（xx1，xb1），右上角点（xa1，xb1），左下角点（xx1，xb2），右下角点（xa1，xb2）；预设小区域2的四点角点分别为左上角点（xx1，xy1），右上角点（xx2，xy1），左下角点（xx1，xb1），右下角点（xx2，xb1）；预设小区域3的四点角点分别为左上角点（xa2，xb1），右上角点（xx2，xb1），左下角点（xa2，xb2），右下角点（xx2，xb2）；预设小区域4的四点角点分别为左上角点（xx1，xb2），右上角点（xx2，xb2），左下角点（xx1，xy2），右下角点（xx2，xy2）。
需要说明的是，在第一步中，划分的四个预设小区域是最理想的状态，可以理解的是，只有重叠区域在目标备选刷新区域内时，四个预设小区域才会同时存在，但是，在实际应用中，重叠区域通常与目标备选刷新区域还存在重叠边，因此，四个预设小区域通常是不会同时存在的。第一步是预先准备的步骤，在具体实施中，可以直接从第二步开始执行。
第二步，根据上述预先设置的4个预设小区域的坐标，以及目标备刷新始区域和重叠区域的四个角点的实际坐标，确定目标备选刷新区域划分后实际存在的实际小区域。
以图4为例，如图4所示，目标备选数显区域为由斜杠填充的刷新区域B，刷新区域B与重叠区域（黑色粗框）有1个共同角点，也即，与角点对应的两个边框重合。因此，目标备选刷新区域（B）和重叠区域的（黑色粗框）右上角的x轴坐标值相等，也即xa2=xx2；左下角的y轴坐标值相等，也即xb2=xy2；右下角的x轴坐标值和y轴坐标值均相等，也即xx2=xa2，xy2=xb2。
那么，将四个预设小区域的四个角点中的右上角坐标和右下角坐标进行替换后，可以得到四个实际小区域的四个角点的坐标，可以为：
实际小区域1的四点角点分别为左上角点（xx1，xb1），右上角点（xa1，xb1），左下角点（xx1，xb2），右下角点（xa1，xb2）；实际小区域2的四点角点分别为左上角点（xx1,xy1），右上角点（xa2,xy1），左下角点（xx1，xb1），右下角点（xa2，xb1）；实际小区域3的四点角点分别为左上角点（xa2,xb1），右上角点（xa2,xb1），左下角点（xa2,xb2），右下角点（xa2，xb2）；实际小区域4的四点角点分别为左上角点（xx1，xb2），右上角点（xa2,xb2），左下角点（xx1,xb2），右下角点（xa2，xb2）。
可以推断，实际小区域1的四点角点中不存在坐标重合的角点，因而实际小区域1存在；实际小区域2的四点角点中不存在坐标重合的角点，因而实际小区域2存在；在实际小区域3中，左上角点和右上角点的坐标重合，左下角点和右下角点的坐标重合，因此实际小区域3不存在；实际小区域4中，左上角点和左下角点的坐标重合，右上角点和右下角点的坐标重合，因此，实际小区域4也不存在。
综上可知，以图4为例，除了重叠区域，将目标备选刷新区域（由斜杠填充的刷新区域B）划分为2个实际小区域，如图6所示。图6是根据本发明实施例的将目标备选刷新区域划分为实际小区域的示意图，可以将目标备选刷新区域B划分为实际小区域2和实际区域1。
图7是根据本发明实施例的另一种将目标备选刷新区域划分为实际区域的示意图。如图7所示，为了更加清楚，两个实际小区域就是图7中刷新区域B中的黑色粗边框的两个矩形。
由图7可以看出，两个实际小区域，与独立列表中现有的所有的独立区域（目前独立区域列表包括刷新区域A），均不存在重叠区域。也就是说，目标备选刷新区域的实际小区域，是从目标备选刷新区域中，划掉与独立列表中现有的所有的独立区域存在的重叠区域后的剩余部分。为了方便计算，将该剩余部分划分为多个实际小区域。
S13，依次判断目标备选刷新区域包含的各实际小区域，与独立区域列表中的各独立区域是否重叠；若为否，则将该实际小区域加入至独立区域列表，并从刷新区域列表中删除该目标备选刷新区域，执行步骤S15；若为是，则将独立区域列表中当前的目标区域的下一个区域更新为目标区域，返回执行步骤S11。
需要说明的是，由于图4中的备选刷新区域较少，只有两个，而刷新区域B对应的两个实际小区域和刷新区域A已经不存在重叠区域，因此，可以将刷新区域B对应的两个实际小区域加入到独立区域列表中，这样，独立区域列表中包括三个区域，排序在第一的刷新区域A、排序在第二和第三的两个实际小区域。
但是，对于备选刷新区域的数量较多，也即，在多个刷新区域存在互相重叠的情况下，目标备选刷新区域的实际小区域，可能还与独立区域列表中，除当前目标区域以外的其它区域存在重叠区域。
图8是根据本发明实施例的一种备选刷新区域的示意图。如图8所示，刷新区域列表中包括三个备选刷新区域，最大的为无底色框区域，次大的为斜杠区域和最小的横杠区域。按照上述处理步骤，无底色框区域首先加入至独立区域列表，而斜杠区域为目标备选刷新区域。
在处理斜杠区域时，可以将划分后的实际小区域，也即，将加入到独立区域列表中，此时，独立区域列表中包括排序在第一的无底色框区域，和排序在第二的第一黑色粗框区域1′。
在处理将横杠区域时，可以按照以下步骤进行：
第一步，独立区域列表中的目标区域为无底色框区域；根据横杠区域与无底色框区域的重叠部分，生成横杠区域的实际小区域，即为图8中的第二黑色粗框区域2′（第二黑色粗框区域的边框线条粗于第一黑色粗框区域的边框线条。
由上述可知，第二黑色粗框区域2′仍与第一黑色粗框区域1′之间存在重叠区域。
第二步，将独立区域列中排序第二的第一黑色粗框区域1′更新为目标区域；根据第一黑色粗框区域1′与横杠区域的重叠部分，生成横杠区域的实际小区域，即为图7中的第三黑色粗框区域3′（返回执行步骤S11来实现），第三黑色粗框区域3′的边框线条粗于第二黑色粗框区域的边框线条。
由上述可知，第三黑色粗框区域与其它备选刷新区域不再存在重叠区域，因此，可以将第三黑色粗框区域3′加入到独立区域列表中，此时，独立区域列表中包括排序在第一的无底色框区域，排序在第二的第一黑色粗框区域，和排序在第三的第三黑色粗框区域3′。
可以理解的是是，只有与其它备选刷新区域不存在任何重叠区域的实际小区域，才能够加入到独立区域列表中。也就是说，独立区域列表中的区域是互相独立的。
S15，判断刷新区域列表是否还存在备选刷新区域；若为是，则返回执行步骤S9，若为否，则将独立区域列表中的所有区域均记为合并区域。
需要说明的是，在部分特殊场景下，可能出现一个或者多个刷新区域相距较远且无连接或重叠，比如，图2中的刷新区域C，以及存在多个刷新区域存在重叠区域，比如，刷新区域A和刷新区域B。
在相关技术中，会将存在重叠区域或连接的多个刷新区域的外接矩形作为一个合并区域，将不存在重叠或连接的刷新区域作为另一个合并区域。但是，将多个刷新区域的外接矩形作为合并区域，合并区域中仍存在不属于刷新区域的空白区域；为了进一步精确合并区域的范围，该实施例的合并区域不存在不属于刷新区域的空白区域，从而减小合并区域的面积，能够更加精确的确定合并区域，减轻了CPU的处理压力，进而降低了在图像刷新时所消耗的资源。
作为一种可选的实施方式，确定第二颜色数据的至少一个第二合并区域，包括：分别确定每个第二刷新区域的多个角点在第一坐标轴和第二坐标轴上对应的第二节点，得到多个第二节点；基于多个第二节点中与第一坐标轴对应的第二节点确定每个第二刷新区域的第三线段，且基于多个第二节点中与第二坐标轴对应的第二节点确定每个第二刷新区域的第四线段；在多个第二刷新区域的第三线段未重叠，或多个第二刷新区域的第四线段未重叠，或多个第二刷新区域的第三线段未重叠且多个第二刷新区域的第四线段未重叠的情况下，确定多个第二刷新区域未重叠，且将每个第二刷新区域确定为一个第二合并区域；在多个第二刷新区域的第三线段存在重叠的第三目标线段，且多个第二刷新区域的第四线段存在重叠的第四目标线段情况下，基于第三目标线段和第四目标线段确定至少一个第二合并区域。
该实施例在确定第二颜色数据的至少一个第二合并区域时，可以采用与确定第一颜色数据的至少一个第一合并区域的相同方法，同样可以适用于上述步骤S1至步骤S15，此处不再赘述。
在该实施例中，确定至少一个第一合并区域相对于至少一个第二合并区域的至少一个变化区域，可以是确定至少一个第一合并区域相对于至少一个第二合并区域的最小变化区域。图9是根据本发明实施例的一种确定变化区域的示意图。如图9所示，其为基于图3而确定的变化区域，其中，变化区域包括区域a至区域d，其中，区域a和区域b叠加，区域c和区域d相连接。
该实施例的采集端基于至少一个变化区域进行合并，形成一个或多个矩形区域，记为有效区域，主需要将有效区域由RGB格式转换为YUV格式，进而将YUV格式的图像数据发送至客户端，以更新客户端上显示的刷新图像，而现有技术需要将整帧图像由RGB格式转换为YUV格式，因此，该实施例的格式转换的工作量较小，节约了在进行图像刷新时的资源。
在该实施例中，通过当前帧图像的第一颜色数据的至少一个第一刷新区域确定至少一个第一合并区域，且通过前一帧图像的第二颜色数据的至少一个第二刷新区域确定至少一个第二合并区域，该第一合并区域和第二合并区域不存在任何空白区域，从而该实施例计算出的合并区域非常精确，可以减少CPU在比较处理上占用的资源。另外，该实施例是确定至少一个第一合并区域相对于至少一个第二合并区域的变化区域，将变化区域中的图像数据由第一颜色格式转化为第二颜色格式，并将第二颜色格式的图像数据发送至客户端，避免了将当前帧的整屏图像由RGB格式转换为YUV格式，将前一帧的整屏图像由RGB转化为YUV格式，使得耗费较多的资源，从而造成计算资源的浪费，从而解决了在进行图像刷新时所消耗的资源的技术问题，达到了降低在进行图像刷新时所消耗的资源的技术效果。
实施例2
下面对该实施例的优选实施方式进行举例介绍。
在相关技术中，图传***包括客户端和采集端，采集端集从图像源设备中采集图像发送给客户端，由客户端展示给用户。当图像源设备的图像发生变化时，需要通过采集端对图像源设备重新进行采集来实现客户端画面的刷新，具体流程可以如下：
S1，采集端通过底层驱动确认图像源设备中的图像中，所有的已刷新的区域，记为初始区域。
S2，采集端采集当前帧的整屏图像，并将采集到的当前帧的整屏图像由RGB数据转换为YUV数据。
S3，采集端基于S1确定的初始区域、当前帧的整屏图像的YUV数据和前一帧的整屏图像的YUV数据，确定初始区域中实际发生变化的区域的YUV数据。
S4，采集端根据S3确定的实际发生变化的区域的YUV数据发送给客户端，由客户端根据实际发生变化的区域的YUV数据对显示图像进行刷新。
在通常情况下，当图像源设备中的画面变化较为剧烈时，比如，用户最大化或最小化窗口，或拖动窗口，或播放视频，或打开网页，会产生大量的初始区域，从而使得步骤1的工作量较大；此外，（当前帧、前一帧）整屏图像由RGB转换为YUV，也可能耗费较多资源，从而造成计算资源的浪费。
而在该实施例中，采集端先根据初始区域，确定合并区域，尤其是存在重叠部分的初始区域，将存在重叠区域的初始区域划分为多个实际小区域，进而组成合并区域；然后，将当前帧的RGB数据与前一帧的RGB数据进行比较，确定合并区域中的变化区域；最后，将变化区域的有效区域由RGB格式转换为YUV格式，并发送给客户端用于刷新显示图。
举例而言，图10是根据本发明实施例的一种图像刷新的场景示意图，如图10所示，其为办公场景的页面显示，编辑文档输入文字，此场景中驱动上报的初始区域包括矩形1（字体变化下拉框，3个），矩形2（输入法窗口以及输入文字变化区域，3个），矩形3（左下角文字数统计以中英文显示，2个）以及word客户区范围矩形4（3个），初始区域可以为多个重叠的矩形区域。可以先根据初始区域生成一个合并区域（范围与客户区范围矩形相同），再生成三个有效变化的变化区域，也即，有效区域。图11是根据本发明实施例的另一种图像刷新的场景示意图。如图11所示，有效区域包括矩形M、N、P，最后将三个有效区域合并，得到最终的有效区域。由于该实施例中三个有效区域不重叠，所以合并后数量不变，将三个有效区域的RGB数据转换为YUV格式，在经过编码后传输到客户端叠加显示即可。
由于该实施例可以将当前帧的RGB数据的合并区域与前一帧的RGB数据的合并区域进行比较，确定合并区域中的变化区域，计算出的合并区域非常精确，可以减少CPU在比较处理上占用的资源；此外，采集端只将有效区域部分的RGB转换为YUV并发送给客户端，使得发送的数据量较小，从而解决了在进行图像刷新时所消耗的资源的技术问题，达到了降低在进行图像刷新时所消耗的资源的技术效果。
实施例3
本发明实施例还提供了一种图像的处理装置。需要说明的是，该实施例的图像处理装置可以用于执行本发明实施例的图像的处理方法。
图12是根据本发明实施例的一种图像的处理装置的示意图。如图12所示，该图像的处理装置120可以包括：获取单元121、第一确定单元122、第二确定单元123和发送单元124。
获取单元121，用于获取当前帧图像的第一颜色数据和前一帧图像的第二颜色数据，其中，当前帧图像和前一帧图像由图像源设备生成。
第一确定单元122，用于确定第一颜色数据的至少一个第一合并区域和第二颜色数据的至少一个第二合并区域，其中，第一合并区域为由第一颜色数据的多个第一刷新区域合并得到，且未包括除多个第一刷新区域之外的空白区域，第二合并区域为由第二颜色数据的多个第二刷新区域合并得到，且未包括除多个第二刷新区域之外的空白区域。
第二确定单元123，用于确定至少一个第一合并区域相对于至少一个第二合并区域的至少一个变化区域。
发送单元124，用于将变化区域中的图像数据由第一颜色格式转化为第二颜色格式，并将第二颜色格式的图像数据发送至客户端，其中，第二颜色格式的图像数据用于刷新客户端上已经显示的图像。
在该实施例的图像的处理装置中，通过当前帧图像的第一颜色数据的至少一个第一刷新区域确定至少一个第一合并区域，且通过前一帧图像的第二颜色数据的至少一个第二刷新区域确定至少一个第二合并区域，该第一合并区域和第二合并区域不存在任何空白区域，从而该实施例计算出的合并区域非常精确，可以减少CPU在比较处理上占用的资源。另外，该实施例是确定至少一个第一合并区域相对于至少一个第二合并区域的变化区域，将变化区域中的图像数据由第一颜色格式转化为第二颜色格式，并将第二颜色格式的图像数据发送至客户端，避免了将当前帧的整屏图像由RGB格式转换为YUV格式，将前一帧的整屏图像由RGB转化为YUV格式，使得耗费较多的资源，从而造成计算资源的浪费，从而解决了在进行图像刷新时所消耗的资源的技术问题，达到了降低在进行图像刷新时所消耗的资源的技术效果。
实施例4
根据本发明实施例，还提供了一种计算机可读存储介质。该计算机可读存储介质包括存储的程序，其中，在程序被处理器运行时控制计算机可读存储介质所在设备执行本发明实施例的图像的处理方法。
实施例5
根据本发明实施例，还提供了一种处理器，该处理器用于运行程序，其中，所述程序运行时执行本发明实施例的图像的处理方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模型的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种图像的处理方法，其特征在于，包括：
获取当前帧图像的第一颜色数据和前一帧图像的第二颜色数据，其中，所述当前帧图像和所述前一帧图像由图像源设备生成；
确定所述第一颜色数据的至少一个第一合并区域和所述第二颜色数据的至少一个第二合并区域，其中，所述第一合并区域为由所述第一颜色数据的多个第一刷新区域合并得到，且未包括除所述多个第一刷新区域之外的空白区域，所述第二合并区域为由所述第二颜色数据的多个第二刷新区域合并得到，且未包括除所述多个第二刷新区域之外的空白区域；
确定所述至少一个第一合并区域相对于所述至少一个第二合并区域的至少一个变化区域；
将所述变化区域中的图像数据由第一颜色格式转化为第二颜色格式，并将所述第二颜色格式的图像数据发送至客户端，其中，所述第二颜色格式的图像数据用于刷新所述客户端上已经显示的图像；
其中，所述方法还包括：
通过下述步骤确定合并区域：
步骤S1，确定各刷新区域的四个角点在X轴和Y轴上对应的节点，确定所述各刷新区域在X轴上对应的两个节点组成的第一线段，以及所述各刷新区域在Y轴上对应的两个节点所组成的第二线段；
步骤S3，分别判断所述各刷新区域的所述第一线段之间，以及所述第二线段之间是否均存在重叠；若是，将所述第一线段的重叠部分记为第一目标线段，将所述第二线段的重叠部分记为第二目标线段，执行步骤S5；若否，将所述各刷新区域分别作为所述合并区域；
所述步骤S5，将所述第一目标线段和所述第二目标线段对应的刷新区域，确定为备选刷新区域，按照面积将所有的所述备选刷新区域从大到小进行排序，生成刷新区域列表；
步骤S7，在所述刷新区域列表中，将排序第一的所述备选刷新区域，移到独立区域列表中；更新所述刷新区域列表；
步骤S9，在更新后的所述刷新区域列表中，将排序第一的所述备选刷新区域记为目标备选刷新区域；
步骤S11，确定所述目标备选刷新区域与所述独立区域列表中的目标区域的重叠区域；基于所述重叠区域，将所述目标备选刷新区域划分为多个小区域；
步骤S13，判断多个所述小区域与所述独立区域列表中的各独立区域是否重叠；若为否，将所述小区域加入至所述独立区域列表，并从所述刷新区域列表中删除所述目标备选刷新区域，执行步骤S15；若为是，将所述独立区域列表中当前的目标区域的下一个区域更新为所述目标区域，执行所述步骤S11；
所述步骤S15，判断所述刷新区域列表是否存在所述备选刷新区域；若是，执行所述步骤S9，若否，将所述独立区域列表中的所有区域均记为所述合并区域；
其中，所述合并区域为所述第一合并区域或者所述第二合并区域。
2.根据权利要求1所述的方法，其特征在于，将所述变化区域中的图像数据由第一颜色格式转化为第二颜色格式，包括：
基于所述至少一个变化区域确定有效区域；
将所述有效区域的图像数据由所述第一颜色格式转化为所述第二颜色格式。
3.根据权利要求2所述的方法，其特征在于，基于所述至少一个变化区域确定有效区域，包括：
对所述至少一个变化区域进行合并，得到至少一个矩形区域；
将所述至少一个矩形区域确定为所述有效区域。
4.根据权利要求2所述的方法，其特征在于，所述有效区域包括一个所述变化区域或多个互相连接的所述变化区域。
5.根据权利要求2所述的方法，其特征在于，基于所述至少一个变化区域确定有效区域，包括：
将所述至少一个变化区域中处于最上层的变化区域，确定为所述有效区域，其中，所述最上层的变化区域覆盖了所述至少一个变化区域中除所述最上层的变化区域之外的变化区域。
6.根据权利要求1所述的方法，其特征在于，每个所述第一合并区域包括互相叠加的至少两个所述第一刷新区域，或互相连接的至少两个所述第一刷新区域，或未与任何其它第一刷新区域相连接或相叠加的一个所述第一刷新区域；每个所述第二合并区域包括互相叠加的至少两个所述第二刷新区域，或互相连接的至少两个所述第二刷新区域，或未与任何其它第二刷新区域相连接或相叠加的一个所述第一刷新区域。
7.根据权利要求6所述的方法，其特征在于，相叠加的至少两个所述第一刷新区域的重叠区域中的图像数据，为至少两个所述第一刷新区域中的一个所述第一刷新区域的图像数据；相叠加的至少两个所述第二刷新区域的重叠区域中的图像数据，为至少两个所述第二刷新区域中的一个所述第二刷新区域的图像数据。
8.根据权利要求1所述的方法，其特征在于，确定所述第一颜色数据的至少一个第一合并区域，包括：
分别确定每个所述第一刷新区域的多个角点在第一坐标轴和第二坐标轴上对应的第一节点，得到多个第一节点；
基于所述多个第一节点中与所述第一坐标轴对应的第一节点确定每个所述第一刷新区域的第一线段，且基于所述多个第一节点中与所述第二坐标轴对应的第一节点确定每个所述第一刷新区域的第二线段；
在所述多个第一刷新区域的第一线段未重叠，或所述多个第一刷新区域的第二线段未重叠，或所述多个第一刷新区域的第一线段未重叠且所述多个第一刷新区域的第二线段未重叠的情况下，确定所述多个第一刷新区域未重叠，且将每个所述第一刷新区域确定为一个所述第一合并区域；
在所述多个第一刷新区域的第一线段存在重叠的第一目标线段，且所述多个第一刷新区域的第二线段存在重叠的第二目标线段情况下，基于所述第一目标线段和所述第二目标线段确定所述第一合并区域。
9.根据权利要求1所述的方法，其特征在于，确定所述第二颜色数据的至少一个第二合并区域，包括：
分别确定每个所述第二刷新区域的多个角点在第一坐标轴和第二坐标轴上对应的第二节点，得到多个第二节点；
基于所述多个第二节点中与所述第一坐标轴对应的第二节点确定每个所述第二刷新区域的第三线段，且基于所述多个第二节点中与所述第二坐标轴对应的第二节点确定每个所述第二刷新区域的第四线段；
在所述多个第二刷新区域的第三线段未重叠，或所述多个第二刷新区域的第四线段未重叠，或所述多个第二刷新区域的第三线段未重叠且所述多个第二刷新区域的第四线段未重叠的情况下，确定所述多个第二刷新区域未重叠，且将每个所述第二刷新区域确定为一个所述第二合并区域；
在所述多个第二刷新区域的第三线段存在重叠的第三目标线段，且所述多个第二刷新区域的第四线段存在重叠的第四目标线段情况下，基于所述第三目标线段和所述第四目标线段确定所述第二合并区域。
10.根据权利要求1所述的方法，其特征在于，包括：
确定所述第一颜色数据的至少一个第一合并区域，包括：在所述多个第一刷新区域中存在相叠加的至少两个第一刷新区域的情况下，将相叠加的所述至少两个第一刷新区域划分为多个第一子刷新区域，其中，每个所述第一子刷新区域相互独立；基于所述多个第一子刷新区域生成所述至少一个第一合并区域；
确定所述第二颜色数据的至少一个第二合并区域，包括：在所述多个第二刷新区域中存在相叠加的至少两个第二刷新区域的情况下，将相叠加的所述至少两个第二刷新区域划分为多个第二子刷新区域，其中，每个所述第二子刷新区域相互独立；基于所述多个第二子刷新区域生成所述至少一个第二合并区域。
11.一种图像的处理装置，其特征在于，包括：
获取单元，用于获取当前帧图像的第一颜色数据和前一帧图像的第二颜色数据，其中，所述当前帧图像和所述前一帧图像由图像源设备生成；
第一确定单元，用于确定所述第一颜色数据的至少一个第一合并区域和所述第二颜色数据的至少一个第二合并区域，其中，所述第一合并区域为由所述第一颜色数据的多个第一刷新区域合并得到，且未包括除所述多个第一刷新区域之外的空白区域，所述第二合并区域为由所述第二颜色数据的多个第二刷新区域合并得到，且未包括除所述多个第二刷新区域之外的空白区域；
第二确定单元，用于确定所述至少一个第一合并区域相对于所述至少一个第二合并区域的至少一个变化区域；
发送单元，用于将所述变化区域中的图像数据由第一颜色格式转化为第二颜色格式，并将所述第二颜色格式的图像数据发送至客户端，其中，所述第二颜色格式的图像数据用于刷新所述客户端上已经显示的图像；
其中，所述第一确定单元还用于通过下述步骤确定合并区域：
步骤S1，确定各刷新区域的四个角点在X轴和Y轴上对应的节点，确定所述各刷新区域在X轴上对应的两个节点组成的第一线段，以及所述各刷新区域在Y轴上对应的两个节点所组成的第二线段；
步骤S3，分别判断所述各刷新区域的所述第一线段之间，以及所述第二线段之间是否均存在重叠；若是，将所述第一线段的重叠部分记为第一目标线段，将所述第二线段的重叠部分记为第二目标线段，执行步骤S5；若否，将所述各刷新区域分别作为所述合并区域；
所述步骤S5，将所述第一目标线段和所述第二目标线段对应的刷新区域，确定为备选刷新区域，按照面积将所有的所述备选刷新区域从大到小进行排序，生成刷新区域列表；
步骤S7，在所述刷新区域列表中，将排序第一的所述备选刷新区域，移到独立区域列表中；更新所述刷新区域列表；
步骤S9，在更新后的所述刷新区域列表中，将排序第一的所述备选刷新区域记为目标备选刷新区域；
步骤S11，确定所述目标备选刷新区域与所述独立区域列表中的目标区域的重叠区域；基于所述重叠区域，将所述目标备选刷新区域划分为多个小区域；
步骤S13，判断多个所述小区域与所述独立区域列表中的各独立区域是否重叠；若为否，将所述小区域加入至所述独立区域列表，并从所述刷新区域列表中删除所述目标备选刷新区域，执行步骤S15；若为是，将所述独立区域列表中当前的目标区域的下一个区域更新为所述目标区域，执行所述步骤S11；
所述步骤S15，判断所述刷新区域列表是否存在所述备选刷新区域；若是，执行所述步骤S9，若否，将所述独立区域列表中的所有区域均记为所述合并区域；
其中，所述合并区域为所述第一合并区域或者所述第二合并区域。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序被处理器运行时控制所述计算机可读存储介质所在设备执行权利要求1至10中任意一项所述的方法。
13.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至10中任意一项所述的方法。
CN202010956380.1A 2020-09-11 2020-09-11 图像的处理方法、装置、存储介质和处理器 Active CN112214188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010956380.1A CN112214188B (zh) 2020-09-11 2020-09-11 图像的处理方法、装置、存储介质和处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010956380.1A CN112214188B (zh) 2020-09-11 2020-09-11 图像的处理方法、装置、存储介质和处理器

Publications (2)

Publication Number Publication Date
CN112214188A CN112214188A (zh) 2021-01-12
CN112214188B true CN112214188B (zh) 2024-06-07

Family

ID=74049368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010956380.1A Active CN112214188B (zh) 2020-09-11 2020-09-11 图像的处理方法、装置、存储介质和处理器

Country Status (1)

Country Link
CN (1) CN112214188B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030002608A (ko) * 2001-06-29 2003-01-09 주식회사 성진씨앤씨 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치
CN1655214A (zh) * 2004-02-11 2005-08-17 乐金电子(中国)研究开发中心有限公司 移动通信终端的显示驱动装置及其方法
CN1694058A (zh) * 2005-04-30 2005-11-09 广东威创日新电子有限公司 一种基于服务器端/客户端结构远程显示处理方法
CN101667123A (zh) * 2009-09-24 2010-03-10 中兴通讯股份有限公司 一种不规则窗口实现方法及移动手持设备
CN103426419A (zh) * 2012-05-23 2013-12-04 腾讯科技（深圳）有限公司 一种刷新区域的方法及装置
CN104598018A (zh) * 2013-10-31 2015-05-06 株式会社东芝 图像显示装置以及图像显示方法
CN104735449A (zh) * 2015-02-27 2015-06-24 成都信息工程学院 一种基于矩形分割隔列扫描的图像传输方法及***
CN104994153A (zh) * 2015-06-30 2015-10-21 Tcl移动通信科技（宁波）有限公司 一种wifi display的图像传输方法及***
CN106873929A (zh) * 2016-12-19 2017-06-20 奇酷互联网络科技（深圳）有限公司 基于虚拟现实技术的图像刷新方法和装置
CN109168071A (zh) * 2018-09-21 2019-01-08 西安万像电子科技有限公司 图像处理方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030002608A (ko) * 2001-06-29 2003-01-09 주식회사 성진씨앤씨 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치
CN1655214A (zh) * 2004-02-11 2005-08-17 乐金电子(中国)研究开发中心有限公司 移动通信终端的显示驱动装置及其方法
CN1694058A (zh) * 2005-04-30 2005-11-09 广东威创日新电子有限公司 一种基于服务器端/客户端结构远程显示处理方法
CN101667123A (zh) * 2009-09-24 2010-03-10 中兴通讯股份有限公司 一种不规则窗口实现方法及移动手持设备
CN103426419A (zh) * 2012-05-23 2013-12-04 腾讯科技（深圳）有限公司 一种刷新区域的方法及装置
CN104598018A (zh) * 2013-10-31 2015-05-06 株式会社东芝 图像显示装置以及图像显示方法
CN104735449A (zh) * 2015-02-27 2015-06-24 成都信息工程学院 一种基于矩形分割隔列扫描的图像传输方法及***
CN104994153A (zh) * 2015-06-30 2015-10-21 Tcl移动通信科技（宁波）有限公司 一种wifi display的图像传输方法及***
CN106873929A (zh) * 2016-12-19 2017-06-20 奇酷互联网络科技（深圳）有限公司 基于虚拟现实技术的图像刷新方法和装置
CN109168071A (zh) * 2018-09-21 2019-01-08 西安万像电子科技有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
CN112214188A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN109388448B (zh) 图像显示方法、显示***以及计算机可读存储介质
CN105955687B (zh) 图像处理的方法、装置和***
US8194070B2 (en) System and method of converting edge record based graphics to polygon based graphics
CN109472839B (zh) 图像生成方法和装置、计算机设备和计算机存储介质
CN102783131B (zh) 数据生成装置和数据生成方法
CN113222874B (zh) 应用于目标检测的数据增强方法、装置、设备及存储介质
US11321812B2 (en) Display method, display device, virtual reality display device, virtual reality device, and storage medium
CN113316018B (zh) 时间信息在视频画面显示的叠加方法、设备及存储介质
CN112999654B (zh) 图像处理方法、装置、计算机设备及存储介质
CN112214188B (zh) 图像的处理方法、装置、存储介质和处理器
US20240037701A1 (en) Image processing and rendering
US7646513B2 (en) Image processing device and method thereof
TWI356394B (en) Image data generating device, image data generatin
JP4063918B2 (ja) 表示のためのグラフィックス情報を含むイメージを作成する装置と方法
CN112165631B (zh) 媒体资源处理方法和装置、存储介质及电子设备
JP3944524B1 (ja) 画像処理システム
JPWO2020166596A1 (ja) 画像処理システム及びプログラム
KR101684834B1 (ko) 오리지널 심도 프레임을 리사이징 및 복원하는 방법, 장치 및 시스템
JP2005149439A (ja) 画像処理装置及び画像処理方法
CN113791962B (zh) 一种画面帧率确定方法及装置
JPH04291675A (ja) 異機種間での静止画データ管理方式
JPH01191272A (ja) 画像データ処理方法
CN115909925A (zh) 亚像素渲染方法、装置、显示设备、及存储介质
CN114500886A (zh) 一种按列分段的图像处理***与方法
Moreno et al. Support to Multimedia Presentations on Multi-Head Setups

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant