CN107318021B - 一种远程显示的数据处理方法及*** - Google Patents

一种远程显示的数据处理方法及*** Download PDF

Info

Publication number
CN107318021B
CN107318021B CN201710478346.6A CN201710478346A CN107318021B CN 107318021 B CN107318021 B CN 107318021B CN 201710478346 A CN201710478346 A CN 201710478346A CN 107318021 B CN107318021 B CN 107318021B
Authority
CN
China
Prior art keywords
lossy
image frame
data
lossless
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710478346.6A
Other languages
English (en)
Other versions
CN107318021A (zh
Inventor
于韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Jiyun Network Technology Co ltd
Original Assignee
Changsha Jiyun Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Jiyun Network Technology Co ltd filed Critical Changsha Jiyun Network Technology Co ltd
Priority to CN201710478346.6A priority Critical patent/CN107318021B/zh
Publication of CN107318021A publication Critical patent/CN107318021A/zh
Application granted granted Critical
Publication of CN107318021B publication Critical patent/CN107318021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种远程显示的数据处理方法及***，发送端方法包括：S1.1.获取需要远程显示的原始图像；S1.2.根据所述原始图像生成无损数据和有损数据，其中1帧无损数据对应N帧有损数据；S1.3.将所述无损数据和有损数据发送给接收端。接收端方法包括：S2.1.获取有损数据和无损数据；S2.2.根据所述有损数据不同帧之间的相似度，以所述有损数据和无损数据生成要显示图像帧；S2.3.显示所述显示图像帧。本发明具有兼顾无损图像显示和高实时图像显示，可同时满足低带宽、良好的用户体验及低CPU使用率这三个要求，达到最大限度接近本地PC体验显示效果的优点。

Description

一种远程显示的数据处理方法及***
技术领域
本发明涉及图像远程显示技术领域，尤其涉及一种远程显示的数据处理方法及***。
背景技术
随着信息技术的发展，在越来越多的场合需要将本地图像内容通过网络在显示在远程的显示设备上。如微软公司的RemoteFX、Citrix的HDX、Vmware的PCoIP、华为的HDP等协议都可以将远程主机的显示画面压缩，并通过网络传输到客户机设备并显示在客户机设备的屏幕上。
但是，传统的远程显示技术存在限制，尤其是在交付图形密集型应用时更是如此。良好的性能需要大量的带宽，这可能会阻塞网络。另外，如果你想降低CPU的使用率，那么协议将会阻塞带宽并降低最终用户的性能。正如桌面虚拟化专家Brian Madden所说，你可以在“低带宽、良好的用户体验、低CPU使用率三者中任选其二”。因此，有必要对远程显示进行进一步研究。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种兼顾无损图像显示和高实时图像显示，可同时满足低带宽、良好的用户体验及低CPU使用率这三个要求，达到最大限度接近本地PC体验的远程显示效果的远程显示的数据处理方法及***。
为解决上述技术问题，本发明提出的技术方案为：一种远程显示的发送端数据处理方法，包括：
S1.1.获取需要远程显示的原始图像；
S1.2.根据所述原始图像生成无损数据和有损数据，其中1帧无损数据对应N帧有损数据；
S1.3.将所述无损数据和有损数据发送给接收端。
作为本发明的进一步改进，步骤S1.1中所述原始图像包括：复制操作***显示合成模块或显示驱动模块显示缓冲区的内容所得到的原始图像；
或者，通过对原始视频文件进行解析得到的原始图像；
或者，通过图像采集设备采集得到的原始图像。
作为本发明的进一步改进，步骤S1.2中所述无损数据为从所述原始图像中选择预设的第一特定帧，进行无损压缩得到的无损视频流；所述有损数据为从所述原始图像中选择预设的第二特定帧，进行有损压缩得到的有损视频流。
一种远程显示的接收端数据处理方法，包括：
S2.1.获取有损数据和无损数据；
S2.2.根据所述有损数据不同帧之间的相似度，以所述有损数据和无损数据生成要显示图像帧；
S2.3.显示所述显示图像帧。
作为本发明的进一步改进，步骤S2.2的具体步骤包括：
S2.2.1.从所述无损数据中获取无损图像帧，从所述有损数据中获取有损图像帧；
S2.2.2.将所述无损图像帧和所述有损图像帧均按相同的方法进行区块划分；
S2.2.3.确定一有损图像帧为基准帧，按区块比较有损图像帧与基准帧之间的相似度，根据所述相似度选择有损图像帧中的区块或无损图像帧中的区块生成显示图像帧。
一种远程显示的发送端数据处理***，包括：
原始图像获取模块：用于获取需要远程显示的原始图像；
处理模块：用于根据所述原始图像生成无损数据和有损数据，其中1帧无损数据对应N帧有损数据；
发送模块：用于将所述无损数据和有损数据发送给接收端。
作为本发明的进一步改进，所述原始图像获取模块具体用于通过复制操作***显示合成模块或显示驱动模块显示缓冲区的内容所得到的原始图像；
或者，用于通过对原始视频文件进行解析得到的原始图像；
或者，用于通过图像采集设备采集得到的原始图像；
所述处理模块具体用于从所述原始图像中选择预设的第一特定帧，进行无损压缩得到的无损视频流；从所述原始图像中选择预设的第二特定帧，进行有损压缩得到的有损视频流。
一种远程显示的接收端数据处理***，包括：
获取模块：用于获取有损数据和无损数据；
还原模块：用于根据所述有损数据不同帧之间的相似度，以所述有损数据和无损数据生成要显示图像帧；
显示模块：用于显示所述显示图像帧。
作为本发明的进一步改进，所述还原模块具体用于从所述无损数据中获取无损图像帧，从所述有损数据中获取有损图像帧；将所述无损图像帧和所述有损图像帧均按相同的方法进行区块划分；确定一有损图像帧为基准帧，按区块比较有损图像帧与基准帧之间的相似度，根据所述相似度选择有损图像帧中的区块或无损图像帧中的区块生成显示图像帧。
一种远程显示***，包括发送端设备和接收端设备，所述发送端设备和接收端设备之间网络连接；所述发送端设备包括如上所述的发送端数据处理***；所述接收端设备包括如上所述的接收端数据处理***。
与现有技术相比，本发明的优点在于：
1、本发明通过有损数据与无损数据结合的方式，并用有损数据采用较大的FPS(Frames Per Second，每秒传输帧数)，无损数据采用较小的FPS，不但降低了需要通过网络传输的数据量，同时，还可以具有良好的显示效果，保证远程显示的图像不会因为采用有损数据而降低显示效果。
2、本发明通过有损数据和无损数据还原得到显示图像帧的算法简单，不需要复杂的计算，占用的CPU处理量小。
附图说明
图1为本发明具体实施例的流程示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图1所示，本实施例的远程显示的发送端数据处理方法，步骤为：S1.1.获取需要远程显示的原始图像；S1.2.根据所述原始图像生成无损数据和有损数据，其中1帧无损数据对应N帧有损数据；S1.3.将所述无损数据和有损数据发送给接收端。N为大于1的整数。N的取值范围优选为4至30；进一步优选为12至20。需要说明的是，在本实施例中，无损并非一个绝对的概念，而是一个相对的概念，无损既包括绝对的无损，也包括相对于有损而言损失更小。例如，在绝对概念上来说，由原始图像生成的无损数据和有损数据均具有数据损失，但无损数据相对于有损数据来说，损失更小一些。
在本实施例中，步骤S1.1中所述原始图像包括：复制操作***显示合成模块或显示驱动模块显示缓冲区的内容所得到的原始图像；或者，通过对原始视频文件进行解析得到的原始图像；或者，通过图像采集设备采集得到的原始图像。在本实施例中，针对不同的应用场景，原始图像可以用不同的方式获取。如需要远程显示本地显示器所显示的内容，则可以直接复制操作***显示合成模块或显示驱动模块显示缓冲区的内容来获得原始图像，如通过BitBlt和GetDIBbits采集桌面数据。如需要为远程播放本地的视频文件，如电影，则可对该视频文件进行解析，从而得到原始图像。如需要在远程显示本地视频监控画面，则图像采集设备，如摄像头、监视器采集到的图像作为原始图像。当然，需要说明的是，原始图像的来源不仅仅限于上述所列举的几种，对于任何需要远程显示的图像，都可以作为原始图像。
在本实施例中，步骤S1.2中所述无损数据为从所述原始图像中选择预设的第一特定帧，进行无损压缩得到的无损视频流；所述有损数据为从所述原始图像中选择预设的第二特定帧，进行有损压缩得到的有损视频流。原始图像是由原始图像帧构成，在本实施例中，原始图像包括100帧原始图像帧，分别以Y1、Y2、……、Y100表示。在本实施例中，按照1：N的比例选择原始图像帧分别生成无损数据和有损数据。设N的取值为10，从原始图像帧中选择Y1、Y11、Y21、Y31、……、Y91共10帧，即第一特定帧，通过FFV1压缩格式进行无损压缩，生成无损数据，分别以L1、L2、……、L10表示10个无损图像帧。将Y1、Y2、……、Y100共100帧，即第二特定帧，通过NVEnc压缩格式进行有损压缩，生成有损数据，分别以F1、F2、……、F100来表示100个有损图像帧。其中无损图像帧L1对应的有损图像帧为F1、F2、……、F10，其余无损图像帧对应的有损图像帧依此类推。在本实施例中，无损视频流的FPS(Frames PerSecond，每秒传输帧数)为1至20，有损视频流的FPS为24至150。虽然无损图像帧单帧的数据量较大，但由于无损视频流的FPS较低，因此，传输无损视频流的传输数据总量并不大，有损视频流虽然FPS较高，但因为采用有损压缩，单帧的数据量较小，因此，传输有损视频流的传输数据总量也不大，从而降低了数据传输总量，降低了数据传输对网络带宽的要求。需要说明的是，本申请并不对压缩方法进行限定，可选择不同的图像压缩方法来生成有损图像帧和无损图像帧。
如图1所示，本实施例的远程显示的接收端数据处理方法，步骤为：S2.1.获取有损数据和无损数据；S2.2.根据所述有损数据不同帧之间的相似度，以所述有损数据和无损数据生成要显示图像帧；S2.3.显示所述显示图像帧。
在本实施例中，步骤S2.2的具体步骤包括：S2.2.1.从所述无损数据中获取无损图像帧，从所述有损数据中获取有损图像帧；S2.2.2.将所述无损图像帧和所述有损图像帧均按相同的方法进行区块划分；S2.2.3.确定一有损图像帧为基准帧，按区块比较有损图像帧与基准帧之间的相似度，根据所述相似度选择有损图像帧中的区块或无损图像帧中的区块生成显示图像帧。
在本实施例中，同样上述实例进行说明，通过接收无损数据流和有损数据流，从无损数据流可解码得到无损图像帧，L1、L2、……、L10共10帧，从有损数据流可解码得到有损图像帧，F1、F2、……、F100共100帧。将每个无损图像帧和有损图像帧均按照相同的方式进行区块划分，如划分成像素为8*8，16*16，或者32*32的区块。假设无损图像帧和有损图像帧的分辨率均为1920*1080，采用32*32的分块方式，那么，每个图像帧可划分为1920/32＝60列，1080/32＝33.75，向上取整为34行，即一个图像帧划分为60*34＝2040个区块。通过Lmij来表示每个无损图像帧中的区块，m为无损图像帧的序号，取值为1至10，i为区块的行号，取值为0至59，j为区块的列号，取值为0至33。同理，可用Fnij来表示每个有损图像帧中的区块，n为有损图像帧的序号，取值为1至100，i为区块的行号，取值为0至59，j为区块的列号，取值为0至33。
在本实施例中，接收端具体按如下方式生成显示图像帧。接收端构建一个与显示缓存区，该显示缓存区的大小与要显示的一帧无损图像的大小相同。对于分辨率为1920*1080图像，缓存区的大小为1920*1080*3＝6220800字节。同样，对缓存区按照上述方式进行分块，用Sij来表示每个区块，i为区块的行号，取值为0至59，j为区块的列号，取值为0至33。
在本实施例中，由于无损图像帧与有损图像帧之间具有对应关系，通过无损图像帧与对应的有损图像帧来共同生成接收端的显示图像帧。以无损图像帧L1及对应的有损图像帧F1、……、F10为例进行说明。当接收端仅接收得到无损数据帧L1和有损图像帧F1时，可直接显示无损数据帧L1。当接收端接收得到无损数据帧L1，有损图像帧F1和F2之后。选择以有损图像帧F1为基准帧，对于有损图像帧F2，分别比较区块F1ij与F2ij之间的相似度，i为区块的行号，取值为0至59，j为区块的列号，取值为0至33。相似度越高，说明该两个区块越相似，反之，说明该两个区块之间的区别越大。本实施例中，预先设置一个相似度阈值，当区块的相似度大于该相似度阈值时，则以无损图像帧L1ij来填充缓存区对应区块Sij，否则，用有损图像帧F2ij来填充缓存区对应区块Sij。通过对有损图像帧F2的每个区块都进行比较完成后，就生成了一帧存储在缓存区中的显示图像帧S2，该显示图像帧由无损图像帧L1和有损图像帧F2拼合而成。同理，当接收方接收到有损图像帧F3后，按上述方法对有损图像帧F3和有损图像帧F1进行比较，可以生成第二帧显示图像帧S3。依次类推，即可得到各显示图像帧。当接收方接收到无损数据帧L2，以及有损图像帧F11时，以有损图像帧F1为基准帧，对有损图像帧F11和F1进行比较，由有损图像帧F11和无损图像帧L2生成显示图像帧S11。当接收方接收到有损图像帧F12后，以有损图像帧F11为基准帧，对有损图像帧F12和F11进行比较，由有损图像帧F12和无损图像帧L2生成显示图像帧S12。依此类推，从而可到接收方的所有显示图像帧。将缓存区生成的显示图像帧在显示设备上进行显示即得到连续的完整的显示图像。
当然，还可以按照无损图像帧与有损图像帧之间的对应关系来生成显示图像帧。其基本与上述方法相同，不同之处在于对与无损图像帧对应的有损图像帧中第一帧的处理方法。即对于无损数据帧L1及对应的有损数据帧F1、……、F10，按照上述的方法来生成显示图像帧。但对于有损图像帧F11，并不比较有损图像帧F11与有损图像帧F1之间的相似度，而是直接显示对应的无损图像帧L2，但对于有损图像帧F12，则仍按照上述方法，需要比较有损图像帧F12与有损图像帧F11之间的相似度，由无损图像帧L2和有损图像帧F12来生成显示图像帧。
在本实施例中，具体通过以下方法来比较不同有损图像帧中区块的相似度。对于有损图像帧中的区块L1ij和有损图像帧中的区块L2ij，以L111和L211为例，均为32*32像素的区块，将两个区块的对应像素点的像素值进行比较，只要其中一个像素点的像素值的差大于预设的像素差阈值时，判定该两个区块的相似度低于预设的相似度阈值，否则判定该两个区块的相似度高于预设的相似度阈值。在本实施例中，对于任意一个像素点，以RGB值来表征像素值，包括R值、G值和B值，分别对R、G、B值进行比较，只要其中一个的差值大于预设的差值，就判定像素值的差大于预设的像素差阈值。即像素值的差取分别计算的R、G、B的差值的最大值，像素值的差＝max(|R1-R2|，|G1-G2|，|B1-B2|)。R1、G1、B1分别表示L111中像素点的R、G、B值，R2、G2、B2分别表示L211中对应像素点的R、G、B值。
在本实施例中，接收端只需要占用较低CPU，通过有限的计算，就可以通过有损数据和无损数据得到具有良好显示效果的显示图像帧，进行在接收端进行显示。
本实施例的远程显示的发送端数据处理***，包括：原始图像获取模块：用于获取需要远程显示的原始图像；处理模块：用于根据所述原始图像生成无损数据和有损数据，其中1帧无损数据对应N帧有损数据；发送模块：用于将所述无损数据和有损数据发送给接收端。
在本实施例中，所述原始图像获取模块具体用于通过复制操作***显示合成模块或显示驱动模块显示缓冲区的内容所得到的原始图像；或者，用于通过对原始视频文件进行解析得到的原始图像；或者，用于通过图像采集设备采集得到的原始图像；所述处理模块具体用于从所述原始图像中选择预设的第一特定帧，进行无损压缩得到的无损视频流；从所述原始图像中选择预设的第二特定帧，进行有损压缩得到的有损视频流。本实施例中，发送端数据处理***采用如上所述的发送端数据处理方法进行处理。
本实施例的远程显示的接收端数据处理***，包括：获取模块：用于获取有损数据和无损数据；还原模块：用于根据所述有损数据不同帧之间的相似度，以所述有损数据和无损数据生成要显示图像帧；显示模块：用于显示所述显示图像帧。所述还原模块具体用于从所述无损数据中获取无损图像帧，从所述有损数据中获取有损图像帧；将所述无损图像帧和所述有损图像帧均按相同的方法进行区块划分；确定一有损图像帧为基准帧，按区块比较有损图像帧与基准帧之间的相似度，根据所述相似度选择有损图像帧中的区块或无损图像帧中的区块生成显示图像帧。本实施例中，发送端数据处理***采用如上所述的发送端数据处理方法进行处理。
本实施例的远程显示***，包括发送端设备和接收端设备，所述发送端设备和接收端设备之间网络连接；所述发送端设备包括如上所述的发送端数据处理***；所述接收端设备包括如上所述的接收端数据处理***。在本实施例中，发送端设备可以是具有显示装置的智能终端设备，如计算机、手机、平板电脑等，还可以是没有显示器的设备，如摄像头，监控探头等等。接收端设备是具有显示装置的设备，如计算机、手机、平板电脑、智能电视机等等。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (8)

1.一种远程显示的发送端数据处理方法，其特征在于：
S1.1. 获取需要远程显示的原始图像；
S1.2. 根据所述原始图像生成无损数据和有损数据，其中1帧无损数据对应N帧有损数据；N为大于1的整数；
S1.3. 将所述无损数据和有损数据发送给接收端；
所述接收端可根据所述有损数据不同帧之间的相似度，以所述有损数据和无损数据生成要显示图像帧；
以所述有损数据和无损数据生成要显示图像帧具体包括：
从所述无损数据中获取无损图像帧，从所述有损数据中获取有损图像帧；将所述无损图像帧和所述有损图像帧均按相同的方法进行区块划分；
确定一有损图像帧为基准帧，按区块比较有损图像帧与基准帧之间的相似度，根据所述相似度选择有损图像帧中的区块或无损图像帧中的区块生成显示图像帧，具体包括：
预先设置一个相似度阈值，当区块的相似度大于该相似度阈值时，则以无损图像帧的区块作为显示图像帧的对应该区块，否则，用有损图像帧的区块作为显示图像帧的对应该区块。
2.根据权利要求1所述的远程显示的发送端数据处理方法，其特征在于：步骤S1.1中所述原始图像包括：复制操作***显示合成模块或显示驱动模块显示缓冲区的内容所得到的原始图像；
或者，通过对原始视频文件进行解析得到的原始图像；
或者，通过图像采集设备采集得到的原始图像。
3.根据权利要求2所述的远程显示的发送端数据处理方法，其特征在于：步骤S1.2中所述无损数据为从所述原始图像中选择预设的第一特定帧，进行无损压缩得到的无损视频流；所述有损数据为从所述原始图像中选择预设的第二特定帧，进行有损压缩得到的有损视频流。
4.一种远程显示的接收端数据处理方法，其特征在于：
S2.1. 获取有损数据和无损数据；1帧无损数据对应N帧有损数据，N为大于1的整数；
S2.2. 根据所述有损数据不同帧之间的相似度，以所述有损数据和无损数据生成要显示图像帧；
S2.3. 显示所述显示图像帧；
步骤S2.2的具体步骤包括：
S2.2.1. 从所述无损数据中获取无损图像帧，从所述有损数据中获取有损图像帧；
S2.2.2. 将所述无损图像帧和所述有损图像帧均按相同的方法进行区块划分；
S2.2.3. 确定一有损图像帧为基准帧，按区块比较有损图像帧与基准帧之间的相似度，根据所述相似度选择有损图像帧中的区块或无损图像帧中的区块生成显示图像帧，具体包括：
预先设置一个相似度阈值，当区块的相似度大于该相似度阈值时，则以无损图像帧的区块作为显示图像帧的对应该区块，否则，用有损图像帧的区块作为显示图像帧的对应该区块。
5.一种远程显示的发送端数据处理***，其特征在于，包括：
原始图像获取模块：用于获取需要远程显示的原始图像；
处理模块：用于根据所述原始图像生成无损数据和有损数据，其中1帧无损数据对应N帧有损数据；
发送模块：用于将所述无损数据和有损数据发送给接收端；
所述接收端可根据所述有损数据不同帧之间的相似度，以所述有损数据和无损数据生成要显示图像帧；以所述有损数据和无损数据生成要显示图像帧具体包括：
从所述无损数据中获取无损图像帧，从所述有损数据中获取有损图像帧；将所述无损图像帧和所述有损图像帧均按相同的方法进行区块划分；确定一有损图像帧为基准帧，按区块比较有损图像帧与基准帧之间的相似度，根据所述相似度选择有损图像帧中的区块或无损图像帧中的区块生成显示图像帧，具体包括：
预先设置一个相似度阈值，当区块的相似度大于该相似度阈值时，则以无损图像帧的区块作为显示图像帧的对应该区块，否则，用有损图像帧的区块作为显示图像帧的对应该区块。
6.根据权利要求5所述的远程显示的发送端数据处理***，其特征在于：所述原始图像获取模块具体用于通过复制操作***显示合成模块或显示驱动模块显示缓冲区的内容所得到的原始图像；
或者，用于通过对原始视频文件进行解析得到的原始图像；
或者，用于通过图像采集设备采集得到的原始图像；
所述处理模块具体用于从所述原始图像中选择预设的第一特定帧，进行无损压缩得到的无损视频流；从所述原始图像中选择预设的第二特定帧，进行有损压缩得到的有损视频流。
7.一种远程显示的接收端数据处理***，其特征在于，包括：
获取模块：用于获取有损数据和无损数据；1帧无损数据对应N帧有损数据，N为大于1的整数；
还原模块：用于根据所述有损数据不同帧之间的相似度，以所述有损数据和无损数据生成要显示图像帧；
显示模块：用于显示所述显示图像帧；
所述还原模块具体用于从所述无损数据中获取无损图像帧，从所述有损数据中获取有损图像帧；将所述无损图像帧和所述有损图像帧均按相同的方法进行区块划分；确定一有损图像帧为基准帧，按区块比较有损图像帧与基准帧之间的相似度，根据所述相似度选择有损图像帧中的区块或无损图像帧中的区块生成显示图像帧，具体包括：
预先设置一个相似度阈值，当区块的相似度大于该相似度阈值时，则以无损图像帧的区块作为显示图像帧的对应该区块，否则，用有损图像帧的区块作为显示图像帧的对应该区块。
8.一种远程显示***，其特征在于：包括发送端设备和接收端设备，所述发送端设备和接收端设备之间网络连接；所述发送端设备包括如权利要求5或6所述的发送端数据处理***；所述接收端设备包括如权利要求7所述的接收端数据处理***。
CN201710478346.6A 2017-06-22 2017-06-22 一种远程显示的数据处理方法及*** Active CN107318021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710478346.6A CN107318021B (zh) 2017-06-22 2017-06-22 一种远程显示的数据处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710478346.6A CN107318021B (zh) 2017-06-22 2017-06-22 一种远程显示的数据处理方法及***

Publications (2)

Publication Number Publication Date
CN107318021A CN107318021A (zh) 2017-11-03
CN107318021B true CN107318021B (zh) 2020-10-27

Family

ID=60182033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710478346.6A Active CN107318021B (zh) 2017-06-22 2017-06-22 一种远程显示的数据处理方法及***

Country Status (1)

Country Link
CN (1) CN107318021B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086227A (zh) * 2018-08-01 2018-12-25 长沙市极云网络科技有限公司 一种独占输入方法、输入转换设备、输入装置及智能终端
CN114422807B (zh) * 2022-03-28 2022-10-21 麒麟软件有限公司 一种基于Spice协议的传输优化方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104838653A (zh) * 2012-12-12 2015-08-12 苹果公司 使用差分传送进行的无损图像压缩

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2163057C2 (ru) * 1994-08-22 2001-02-10 Конинклийке Филипс Электроникс Н.В. Система для записи и воспроизведения изображений на носителе записи по меньшей мере в первом и втором потоке данных
KR100723505B1 (ko) * 2005-10-06 2007-05-30 삼성전자주식회사 하이브리드 방식의 영상 데이터 처리 시스템 및 영상데이터 처리 방법
CN100469108C (zh) * 2006-11-01 2009-03-11 李博航 实时视频、图像传输方法
US8812615B2 (en) * 2009-02-17 2014-08-19 Canon Kabushiki Kaisha Remote control of a host computer
JP4991816B2 (ja) * 2009-09-30 2012-08-01 シャープ株式会社 画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104838653A (zh) * 2012-12-12 2015-08-12 苹果公司 使用差分传送进行的无损图像压缩

Also Published As

Publication number Publication date
CN107318021A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
US7284069B2 (en) Method for document viewing
US9619916B2 (en) Method for transmitting digital scene description data and transmitter and receiver scene processing device
US9426476B2 (en) Video stream
US20150242994A1 (en) Method and system for accelerating video preview digital camera
JP4116006B2 (ja) 画面転送装置、画面転送システム、画面転送方法、およびプログラム
US9875552B1 (en) Content independent method of motion determination using sparse matrices
GB2484736A (en) Connecting a display device via USB interface
US8760366B2 (en) Method and system for remote computing
US20130148740A1 (en) Method and apparatus for processing partial video frame data
US20060053233A1 (en) Method and system for implementing a remote overlay cursor
JP2005287035A (ja) マルチメディアデータの表示方法および表示システム
US9226003B2 (en) Method for transmitting video signals from an application on a server over an IP network to a client device
US20160005379A1 (en) Image Generation
CN107318021B (zh) 一种远程显示的数据处理方法及***
CN110740352A (zh) 显卡透传环境下基于spice协议的差异图像显示方法
GB2528870A (en) Managing display data for display
JP2007524286A (ja) 画像データを処理するシステムおよび方法
CN107318020B (zh) 远程显示的数据处理方法及***
US20100049832A1 (en) Computer program product, a system and a method for providing video content to a target system
CN105025359A (zh) 一种基于spice协议的远程视频显示方法及***
US8411740B2 (en) System and method for low bandwidth display information transport
CN114666477A (zh) 一种视频数据处理方法、装置、设备及存储介质
CN101065760B (zh) 处理图像数据的***和方法
US9317891B2 (en) Systems and methods for hardware-accelerated key color extraction
Matsui et al. Virtual desktop display acceleration technology: RVEC

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant