CN111654702B - 数据传输方法及*** - Google Patents
数据传输方法及*** Download PDFInfo
- Publication number
- CN111654702B CN111654702B CN202010444418.7A CN202010444418A CN111654702B CN 111654702 B CN111654702 B CN 111654702B CN 202010444418 A CN202010444418 A CN 202010444418A CN 111654702 B CN111654702 B CN 111654702B
- Authority
- CN
- China
- Prior art keywords
- image
- transmission
- area
- target
- layers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 303
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003993 interaction Effects 0.000 claims abstract description 144
- 230000002452 interceptive effect Effects 0.000 claims description 104
- 230000003213 activating effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 230000000903 blocking effect Effects 0.000 abstract description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 21
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 3
- 241000699660 Mus musculus Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供一种数据传输方法及***,涉及电子信息技术领域,能够解决基于虚拟桌面传输时图像传输质量不佳、传输卡顿的问题。具体技术方案为:服务器在获取终端设备发送的图像传输请求后,根据该图像传输请求中的交互区域信息,获取目标区域中交互区域对应的第一图像和非交互区域对应的第二图像;根据预设传输规则和当前网络带宽,确定第一图像中可传输的最大图层和第二图像中可传输的最大图层,对第一图像中可传输的最大图层和第二图像中可传输的最大图层,依次进行编码传输,从而实现了传输目标区域对应图像的技术效果。本公开用于数据传输。
Description
技术领域
本公开涉及电子信息技术领域,尤其涉及数据传输方法及***。
背景技术
随着企业的个性化要求越来越高,VDI(Virtual Desktop Infrastructure,即虚拟桌面基础架构)受到越来越多的企业欢迎。VDI可以通过桌面虚拟化技术,在一台性能强大的服务器上虚拟出若干台虚拟机VM(Virtual Machine),用户和管理员可以在该VM中安装操作***、应用程序等,管理员可以根据需要将一台或多台VM分配给一个或多个用户。而用户桌面上不再需要部署性能强大的个人电脑,而只需要部署一台安全、易管理的零终端,就可以连接到数据中心的VM。零终端与显示器连接,零终端将用户输入的键鼠事件,发送给VM,VM根据键鼠事件来执行操作,并将操作后的显示画面传输到零终端的显示器展示给用户。
在VDI***中,会因为网络带宽、或者图像参数等因素影响远程桌面传输清晰度。特别是在网络环境差或者窄带网络中,即使采用业界最高压缩比的编码算法,也可能无法保证每一帧画面都得到清晰地传输。带宽受限直接限制了每一秒可以传输的画面数据大小。对于此类问题,一般采用画面分层编码传输和策略丢帧,但带来的问题是画面清晰度降低以及画面卡顿。
发明内容
本公开实施例提供一种数据传输方法及***,能够解决在虚拟桌面的传输过程中画面清晰度低的问题。所述技术方案如下:
根据本公开实施例的第一方面,提供一种数据传输方法,应用于服务器,该方法包括:
接收终端设备发送的该图像传输请求信息,该图像传输请求信息用于请求该服务器传输该目标区域中的图像,该目标区域包括交互区域和非交互区域,该交互区域信息包括该交互区域中各个顶点的坐标信息;
根据该图像传输请求信息,确定该目标区域中的交互区域和非交互区域,并获取该交互区域对应的第一图像及该非交互区域的第二图像,并将该第一图像划分为n个图层,将该第二图像划分为m个图层;
根据目标传输资源和预设传输策略,计算该第一图像对应的第一传输图层层数和该第二图像对应的第二传输图层层数,该第一传输图层数是指目标传输资源可传输的图层层数,该第一传输图层数是指该目标传输资源可传输该第一图像中的图层层数,该第二传输图层数是指该目标传输资源可传输该第二图像中的图层层数,该预设传输策略包括先传输该第一图像再传输该第二图像
根据该第一传输图层层数对该第一图像进行编码处理,并根据该第二传输图层层数对该第二图像进行编码处理,通过向该终端设备发送该已编码的第一图像和该已编码的第二图像,实现传输该目标区域中的图像。
根据本公开实施例的第二方面,提供一种数据传输方法,应用于终端设备,该方法包括:
根据目标操作指令,确定目标区域和该目标区域中的交互区域,并获取交互区域信息,该目标区域包括交互区域和非交互区域,该交互区域信息包括该交互区域中的各个顶点的坐标信息;
根据该目标区域和该交互区域信息,生成图像传输请求信息,并向该服务器发送该图像传输请求信息,该图像传输请求信息用于请求该服务器传输目标区域中的图像;
根据该图像传输请求信息,获取该交互区域对应的图像和该非交互区域对应的图像,并根据该交互区域对应的图像和该非交互区域对应的图像,获取该目标区域对应的图像。
根据本公开实施例的第三方面,提供一种数据传输***,包括:终端设备和服务器,该终端设备和该服务器相连接,
该终端设备,用于根据目标操作指令,确定目标区域和该目标区域中的交互区域,并获取该交互区域信息,该目标区域包括该交互区域和非交互区域,该交互区域信息包括该交互区域中各个顶点的坐标信息;
根据该目标区域和该交互区域信息,生成图像传输请求信息,并向该服务器发送该图像传输请求信息,该图像传输请求信息用于请求该服务器传输该目标区域中的图像;
该服务器,用于接收该终端设备发送的该图像传输请求信息;
根据该图像传输请求信息,确定该目标区域中的交互区域和非交互区域,并获取该交互区域对应的第一图像及该非交互区域的第二图像,并将该第一图像划分为n个图层,将该第二图像划分为m个图层;
根据目标传输资源和预设传输策略,计算该第一图像对应的第一传输图层层数和该第二图像对应的第二传输图层层数,该第一传输图层数是指该目标传输资源可传输该第一图像的图层层数,该预设传输策略包括先传输该第一图像再传输该第二图像;
根据该第一传输图层层数对该第一图像进行编码处理,并根据该第二传输图层层数对该第二图像进行编码处理,向该终端设备发送该已编码的第一图像和该已编码的第二图像。
在一个实施例中,该的***中的终端设备在生成该交互区信息之前还用于,
激活交互区域捕获功能,该交互区域捕获功能用于捕获该目标区域中鼠标操作事件;
根据该交互区域捕获功能,在目标区域中捕获目标鼠标的鼠标操作事件;
根据该鼠标操作事件,确定该交互区域。
在一个实施例中,该的***中的服务器还用于,
对该第一图像进行编码处理,获取该第一图像中n个图层对应的编码码流;
对比该第一图像中n个图层对应的编码码流和该目标传输资源,并获取对比结果;
当该n个图层对应的编码码流小于或等于该目标传输资源时,确定该第一传输图层层数为n;
当该n个图层对应的编码码流大于该目标传输资源时,逐层对比确定该图层对应的编码码流和该目标传输资源,直至满足预设条件,确定该图层层数数为该第一传输图层层数。
在一个实施例中,该的***中的服务器还用于,
对该第二图像进行编码处理,获取该第二图像中m个图层对应的编码码流;
根据该目标传输资源和该第一传输图层层数,获取传输完毕该第一图像后的剩余传输资源;
对比该剩余传输资源与该第二图像中m个图层对应的编码码流;
当该m个图层对应的编码码流小于或等于该剩余传输资源时,确定第二传输图层层数为m;
当该编码码流大于该剩余传输资源时,逐层对比确定该图层对应的编码码流和该剩余传输资源,直至满足预设条件,确定该图层数为第二传输图层。
在一个实施例中,该的***中的服务器还用于,
获取该交互区域的标识信息及该第一传输图图层层数;
根据该交互区域的标识信息及该第一传输图图层层数,标记该第一传输图层对应的第一图像;
对该已标记的该第一传输图层对应的第一图像进行编码处理。
本公开实施例提供的数据传输***,包括终端设备和服务器,终端设备根据键鼠事件,在目标区域中选定自定义的交互区域,再根据交互区域和目标区域,向服务器发送图像传输请求,请求服务器发送目标区域的图像,服务器在获取终端设备发送的图像传输请求后,根据该图像传输请求中的交互区域信息,获取目标区域中交互区域对应的第一图像和非交互区域对应的第二图像;根据预设传输规则和当前网络带宽,确定第一图像中可传输的最大图层和第二图像中可传输的最大图层,对第一图像中可传输的最大图层和第二图像中可传输的最大图层,依次进行编码传输,从而实现了传输目标区域对应图像的技术效果。本公开所提供的传输方法中,服务器在编码传输时,可以根据预设传输策略和交互区域信息,对交互区域的优先传输,在带宽还有剩余的前提下,再对非交互区域进行编码传输。从而在优先保证交互区域的清晰度和流畅度的前提下,逐步提高零终端的显示画面的清晰度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是本公开实施例提供的一种数据传输方法的传输示意图;
图2是本公开实施例提供的一种数据传输方法的流程图1;
图3是本公开实施例提供的一种数据传输方法的流程图2;
图4是本公开实施例提供的一种数据传输***的结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的***和方法的例子。
如图1所示,为本公开中的图像传输示意图,终端设备101与服务器102通过通信方式进行连接。
该服务器可以虚拟出若干台虚拟机VM(Virtual Machine),用户和管理员可以在该VM中安装操作***、应用程序等,管理员可以根据需要将一台或多台VM分配给一个或多个用户。零终端与显示器连接,零终端将用户输入的键鼠事件,发送给VM,VM根据键鼠事件来执行操作,并将操作后的显示画面传输到零终端的显示器展示给用户。用户通过该终端设备就可以连接到数据中心的VM,而无需部署性能强大的个人电脑。
因为人机交互的桌面的特点,即:无论当前屏幕多大,在交互时用户最关心是正在操作的那一小块区域,也即本发明中的交互区域。本公开从这个角度出发,在窄带网络下远程桌面传输时,优先保证交互区域的清晰和流畅传输,而对非交互区域采用在有限带宽条件下尽力而为的传输策略,
因此,需要在终端设备确定交互区域和非交互区域,通过传输交互区域的图像和非交互区域的图像,传输服务器中的目标区域的图像。
实施例一
本公开实施例提供一种数据传输方法,如图1所示,应用于服务器,该数据传输方法包括以下步骤:
201、接收终端设备发送的该图像传输请求信息。
该图像传输请求信息用于请求该服务器传输目标区域中的图像,该目标区域包括交互区域和非交互区域。
该目标传输请求包括交互区域信息。其中,交互区信息包括交互区的顶点的坐标,比如,交互区是长方形,交互区信息即为四个顶点的坐标。提供该交互区域信息,能够便于服务器的编码器针对交互区进行优先编码。
进一步的,服务器在接收到终端设备发送的图像传输请求信息时,为该终端设备分配目标虚拟机,该目标虚拟机可以运行目标***和目标软件,通过该目标虚拟机处理图像传输请求信息,并向终端设备发送处理结果。
202、根据该图像传输请求信息,获取交互区域对应的第一图像及非交互区域的第二图像。
该目标区域对应的目标图像由第一图像和第二图像组成,即本公开传输目标区域的图像时,将该目标图像划分为两部分:交互区域的图像和非交互区域的图像,因为人机交互的桌面的特点,即:无论当前屏幕多大,在交互时用户最关心是正在操作的那一小块区域,也即本发明中的交互区域。本公开从这个角度出发,在窄带网络下远程桌面传输时,优先保证交互区域的清晰和流畅传输,而对非交互区域采用在有限带宽条件下尽力而为的传输策略
本公开所提供的方法在获取该图像传输请求信息后,解析该目标图像传输请求信息,根据解析结果,先获取目标区域对应的目标图像,再根据获取交互区域信息中的坐标信息,确定目标区域中的交互区域和非交互区域,最后再获取该交互区域对应的第一图像和非交互区域对应的第二图像。
本公开所提供的方法在获取第一图像和第二图像后,还会根据预设图层划分规则将该第一图像划分为n个图层,第二图像划分为n个图层。
203、根据目标传输资源和预设传输策略,计算该第一图像对应的第一传输图层层数和第二图像对应的第二传输图层层数。
该第一传输图层数是指目标传输资源可支持传输第一图像中的图层层数,该层数大于1小于等于n。
该第二传输图层数是指目标传输资源在传输完毕所述第一图像后,可支持传输第二图像中的图层层数,即传输完毕第一图像后的剩余传输网络资源可传输的最大图层层数,该层数大于1小于等于m。
本公开所提供的预设传输策略包括:基于当前传输带宽,对交互区域的优先传输,在当前传输带宽还有剩余的前提下,再对非交互区域进行编码传输。从而可以在优先保证交互区域的清晰度和流畅度的前提下,逐步提高零终端的显示画面的清晰度。
基于上述的预设传输策略,则需要分别计算交互区域对应的传输层数及非交互区域的传输层数,此处依次阐述计算过程:
步骤一、计算交互区域对应第一图像的传输层数:
本公开对交互区域对应的第一图像进行逐层编码,判断已编码的图层产生的码流,是否大于或等于当前网络带宽TB,具体会出现如下两种情况:
第一种情况,当第一图像中图层对应的编码码流小于当前网络带宽时,那么,可以第一图像的n个图层同时进行传输,等同于无损传输;
具体的计算过程可以是:
假定当前网络带宽为TB(bits/s),每秒传输帧率FPS=30帧/秒。编码算法支持N层的分层编码,也即每帧图像可拆分为N个图层进行分层传输(渐进式传输)。
交互区域L(m)=交互区域编码至m层,m<=N;
sizeof(交互区域L(m))=交互区域编码至m层产生的码流大小,单位bits/s。
sizeof(交互区域L(N))<TB/FPS,说明交互区域的N个图层产生的总码流未超过TB,
同时,计算传输传输该第一图像后的剩余带宽LB=TB/FPS-sizeof(交互区域L(N))。
第二种情况,当第一图像中n个图层对应的编码码流大于当前网络带宽时,也即交互区域的N个图层产生的总码流超过当前网络带宽,无法将交互区域的N个图层一次传输,那么,则依次计算计算出第一图像中每个图层对应的编码码流,并依次比较每个图层的编码码流与传输带宽之间的差值,当图层X的编码码流与传输带宽之间的差值符合预设要求时,确定X为第一编码图层层数。
步骤二、计算非交互区域对应第二图像的传输层数:
在确定交互区域优先传输之后,可以根据当前网络的传输完毕交互区域图像后对应的剩余带宽LB,确定非交互区域对应第二图像的传输图层数,具体包括:
获取当前传输带宽传输完毕第一图像中第一传输图层层数对应的图像后的剩余带宽;
对非交互区域的第二图像进行逐层编码,判断已编码的图层产生的码流,是否大于或等于当前网络的剩余带宽LB。
sizeof(非交互区域L(X2))<=LB,其中X2<=N且sizeof(非交互区域L(X2))最接近LB。
当所述编码码流大于所述剩余传输资源时,逐层对比确定所述图层对应的编码码流和所述剩余传输资源,直至满足预设条件,确定所述图层层数为所述第二传输图层。
说明sizeof(非交互区域L(N))>=TB/FPS,也即非交互区域的N个图层产生的总码流超过LB,无法将非交互区域的N个图层一次传输,这是因为本发明的使用场景即为窄带网络,带宽较小,所以会出现这种情况。那么,计算出X2层,X 2<=N且sizeof(非交互区域L(X2))最接近LB/FPS,首先将非交互区域的前X2层进行传输,然后再传输剩余的图层。
在具体的实施过程中,对第一图像的编码方式可以和第二图像的编码方式不同,例如可以对第一图像采取相较于第二图像质量更好、清晰度更高的编码方式,从而进一步的提高传输效率。
204、根据该第一传输图层层数对该第一图像进行编码处理,并根据该第二传输图层层数对该第二图像进行编码处理,向该终端设备发送该已编码的第一图像和该已编码的第二图像。
本公开所提供的方法在根据该第一传输图层层数对该第一图像进行编码处理时,会根据该第一传输图层层数对第一图像进行标记,便于下一次传输该第一图像中未传输图层,例如可以对第一图像进行渐进式传输。
进一步的也会根据交互区域的标识信息对已编码的第一图像进行标记,便于终端设备优先处理该第一图像,进一步的该标识信息还包括坐标信息,便于终端设备在该交互区域对应的位置显示该第一图像。
同时,本公开所提供的方法会根据第二传输图层层数对第二图像进行标记,进一步的也会根据非交互区域的标识信息对已编码的第二图像进行标记。
在依据上述方法对已编码处理的第一图像和已编码处理的第二图像标记处理后,向终端设备发送。
本公开实施例提供的数据传输方法,应用于服务器,服务器在获取终端设备发送的图像传输请求后,根据该图像传输请求中的交互区域信息,获取目标区域中交互区域对应的第一图像和非交互区域对应的第二图像;根据预设传输规则和当前网络带宽,确定第一图像中可传输的最大图层和第二图像中可传输的最大图层,对第一图像中可传输的最大图层和第二图像中可传输的最大图层,依次进行编码传输,从而实现了传输目标区域对应图像的技术效果。本公开所提供的传输方法中,服务器在编码传输时,可以根据预设传输策略和交互区域信息,对交互区域的优先传输,在带宽还有剩余的前提下,再对非交互区域进行编码传输。从而在优先保证交互区域的清晰度和流畅度的前提下,逐步提高零终端的显示画面的清晰度。
实施例二
基于上述图1对应的实施例提供的数据传输方法,本公开另一实施例提供一种数据传输方法,该方法可以应用于终端设备,例如,终端设备是零终端设备等。参照图3所示,本实施例提供的数据传输方法包括以下步骤:
301、根据目标操作指令,确定目标区域和该目标区域中的交互区域,并获取交互区域信息。
该目标区域包括交互区域和非交互区域,例如目标区域为某绘图软件的操作界面区域,交互区域为绘图区域,非交互区域为该绘图软件中的工具栏区域。交互区域的数据会根据检查到的用户操作指令发生变化,因此交互区域的图像的清晰度要求要高于非交互区域。
该交互区域信息包括交互区域中的各个顶点的坐标信息;
本公开所提供的方法中还包括确定交互区域,其确定步骤可以包括:
激活交互区域捕获功能,该交互区域捕获功能用于捕获目标区域鼠标操作事件;
根据该交互区域捕获功能,在目标区域中捕获目标鼠标的鼠标操作事件;
根据该鼠标操作事件,确定交互区域。
上述的激活交互区域的获取功能,可以由预设的组合键来启动,当检测到触发预设的组合键后,再输入用于选定交互区信息的键鼠事件。比如,当终端设备检测到触发Ctrl键+Alt键的组合键时,激活交互区域的捕获功能,根据该捕获功能,捕获鼠标左键选择一块矩形区域作为交互区,则确定该矩形区域为交互区域。
上述交互区域捕获功能也可以通过键盘、操控面板、触控笔等方式确定交互区域。
需要说明的是,用户用于选定交互区信息的键鼠事件,与普通的键鼠事件不同,普通的键鼠事件是由零终端透传到云端服务器的虚拟机,而用户用于选定交互区信息的键鼠事件,是由零终端获取,并根据键鼠事件生成交互区信息,然后将交互区信息发送至服务器的编码器。
302、根据该目标区域和该交互区域信息,生成图像传输请求信息,并向该服务器发送该图像传输请求信息。
该图像传输请求信息用于请求该服务器传输目标区域中的图像,该图像传输请求信息包括交互区域信息,也可以包括预设传输策略,该预设传输策略包括:基于当前传输带宽,对交互区域的优先传输,在当前传输带宽还有剩余的前提下,再对非交互区域进行编码传输。从而可以在优先保证交互区域的清晰度和流畅度的前提下,逐步提高零终端的显示画面的清晰度。
303、根据该图像传输请求,获取该交互区域对应的第一图像和该非交互区域对应的第二图像。
本公开在获取该交互区域对应的第一图像和该非交互区域对应的第二图像后,对第二图像和第一图像进行叠加处理,从而获取了目标区域的目标图像。
本公开所提供方法中获取该交互区域对应的第一图像和该非交互区域对应的第二图像,该包括获取与该第一图像对应的标识信息和第二图像对应的标识信息,通过该标识信息可以将第一图像显示在交互区域,将第二图像显示在非交互区域。
本公开所提供方法中获取该交互区域对应的第一图像和该非交互区域对应的第二图像,可以是交互区域对应完整的第一图像,则只需按照标识信息将该图像进行解码处理,并显示在交互区域即可,若该图层为第一图像中的部分图层,则需根据该标识信息确定已传输的图层,并等待传输未传输的图层,将该图层进行叠加处理。
本公开所提供的实施例中,在获取该交互区域对应的图像和该非交互区域对应的图像后,可以优先对交互区域对应的图像进行处理,再对非交互区域对应的图像进行处理,该处理包括解码处理、显示处理等。
在实际应用中,可能因为带宽限制或者图像清晰度等条件影响,导致若不区分交互区域和非交互区域图像,而对目标区域图像进行整体传输,则会导致传输卡顿,图像显示差,因此本公开所提供的方法优先处理交互区域的图像,在带宽还有剩余的前提下,再对非交互区域进行编码传输,能够保证终端设备显示出的交互区域的画面清晰和流畅,用户体验好。对于非交互区域的图像,根据网络带宽的情况,逐层传输,非交互区域的画面也会越来越清晰。
本公开实施例提供的数据传输方法,应用于终端设备,终端设备预先根据一组自定义的键鼠事件,在目标区域中选定自定义的交互区域,再根据交互区域和目标区域,向服务器发送图像传输请求,请求服务器发送目标区域的图像,根据该图像传输请求,获取目标区域中交互区域的图像和非交互区域的图像,从而获取目标区域的图像。本方法所使用的传输策略优先传输交互区域,因此,零终端显示出的交互区域的画面非常清晰和流畅,用户体验较好。对于非交互区域,根据网络带宽的情况,逐层传输,非交互区域的画面也会越来越清晰
实施例三
基于上述图2和图3对应的实施例中所描述的数据传输方法,下述为本公开***实施例,可以用于执行本公开方法实施例。
本公开实施例提供一种数据传输***,如图4所示,该数据传输***40包括:终端设备401和服务器402,该终端设备401和该服务器402相连接,该终端设备401,用于根据目标操作指令,确定目标区域和该目标区域中的交互区域,并获取该交互区域信息,该目标区域包括该交互区域和非交互区域,该交互区域信息包括该交互区域中各个顶点的坐标信息;
根据该目标区域和该交互区域信息,生成图像传输请求信息,并向该服务器402发送该图像传输请求信息,该图像传输请求信息用于请求该服务器402传输该目标区域中的图像;
该服务器402,用于接收该终端设备401发送的该图像传输请求信息;
根据该图像传输请求信息,确定该目标区域中的交互区域和非交互区域,并获取该交互区域对应的第一图像及该非交互区域的第二图像,并将该第一图像划分为n个图层,将该第二图像划分为m个图层;
根据目标传输资源和预设传输策略,计算该第一图像对应的第一传输图层层数和该第二图像对应的第二传输图层层数,该第一传输图层数是指该目标传输资源可传输该第一图像的图层层数,该预设传输策略包括先传输该第一图像再传输该第二图像;
根据该第一传输图层层数对该第一图像进行编码处理,并根据该第二传输图层层数对该第二图像进行编码处理,向该终端设备401发送该已编码的第一图像和该已编码的第二图像。
在一个实施例中,该的***中的终端设备401在生成该交互区信息之前还用于,
激活交互区域捕获功能,该交互区域捕获功能用于捕获该目标区域中触控指令,该触控指令根据鼠标、键盘、触控板中至少一项设备产生的指令生成;
根据该交互区域捕获功能,在目标区域中捕获目标鼠标的鼠标操作事件;
根据该鼠标操作事件,确定该交互区域。
在一个实施例中,该的***中的服务器402还用于,
对该第一图像进行编码处理,获取该第一图像中n个图层对应的编码码流;
对比该第一图像中n个图层对应的编码码流和该目标传输资源,并获取对比结果;
当该n个图层对应的编码码流小于或等于该目标传输资源时,确定该第一传输图层层数为n;
当该n个图层对应的编码码流大于该目标传输资源时,逐层对比确定该图层对应的编码码流和该目标传输资源,直至该目标传输资源不满足预设条件,获取此时对比的图层层数,并根据该此时对比的图层层数的图层确定该第一传输图层层数。
在一个实施例中,该的***中的服务器402还用于,
对该第二图像进行编码处理,获取该第二图像中m个图层对应的编码码流;
根据该目标传输资源和该第一传输图层层数,获取传输完毕该第一图像后的剩余传输资源;
对比该剩余传输资源与该第二图像中m个图层对应的编码码流;
当该m个图层对应的编码码流小于或等于该剩余传输资源时,确定第二传输图层层数为m;
当该编码码流大于该剩余传输资源时,逐层对比确定该图层对应的编码码流和该剩余传输资源,直至满足预设条件,确定该图层数为第二传输图层。
在一个实施例中,该的***中的服务器402还用于,
获取该交互区域的标识信息及该第一传输图图层层数;
根据该交互区域的标识信息及该第一传输图图层层数,标记该第一传输图层对应的第一图像;
对该已标记的该第一传输图层对应的第一图像进行编码处理。
本公开实施例提供的数据传输***,包括终端设备和服务器,终端设备根据键鼠事件,在目标区域中选定自定义的交互区域,再根据交互区域和目标区域,向服务器发送图像传输请求,请求服务器发送目标区域的图像,服务器在获取终端设备发送的图像传输请求后,根据该图像传输请求中的交互区域信息,获取目标区域中交互区域对应的第一图像和非交互区域对应的第二图像;根据预设传输规则和当前网络带宽,确定第一图像中可传输的最大图层和第二图像中可传输的最大图层,对第一图像中可传输的最大图层和第二图像中可传输的最大图层,依次进行编码传输,从而实现了传输目标区域对应图像的技术效果。本公开所提供的传输方法中,服务器在编码传输时,可以根据预设传输策略和交互区域信息,对交互区域的优先传输,在带宽还有剩余的前提下,再对非交互区域进行编码传输。从而在优先保证交互区域的清晰度和流畅度的前提下,逐步提高零终端的显示画面的清晰度。
基于上述图2和图3对应的实施例中所描述的数据传输方法,本公开实施例还提供一种计算机可读存储介质,例如,非临时性计算机可读存储介质可以是只读存储器(英文:Read Only Memory,ROM)、随机存取存储器(英文:Random Access Memory,RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令,用于执行上述图2和图3对应的实施例中所描述的数据传输方法,此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
Claims (10)
1.一种数据传输***,其特征在于,所述***包括终端设备和服务器,所述终端设备和所述服务器相连接,
所述终端设备,用于根据目标操作指令,确定目标区域和所述目标区域中的交互区域,并获取所述交互区域信息,所述目标区域包括所述交互区域和非交互区域,所述交互区域信息包括所述交互区域中各个顶点的坐标信息;
根据所述目标区域和所述交互区域信息,生成图像传输请求信息,并向所述服务器发送所述图像传输请求信息,所述图像传输请求信息用于请求所述服务器传输所述目标区域中的图像;
所述服务器,用于接收所述终端设备发送的所述图像传输请求信息;
根据所述图像传输请求信息,确定所述目标区域中的交互区域和非交互区域,并获取所述交互区域对应的第一图像及所述非交互区域对应的第二图像,并将所述第一图像划分为n个图层,将所述第二图像划分为m个图层;
根据目标传输资源和预设传输策略,计算所述第一图像对应的第一传输图层层数和所述第二图像对应的第二传输图层层数,所述第一传输图层层数是指所述目标传输资源可传输所述第一图像的图层层数,所述第二传输图层层数是指所述目标传输资源传输完毕所述第一图像后可传输所述第二图像中的图层层数;
根据所述第一传输图层层数对所述第一图像进行编码处理,并根据所述第二传输图层层数对所述第二图像进行编码处理,向所述终端设备发送所述已编码的第一图像和所述已编码的第二图像。
2.根据权利要求1所述***,其特征在于,在生成所述交互区域信息之前,所述终端设备还用于,
激活交互区域捕获功能,所述交互区域捕获功能用于捕获所述目标区域中鼠标操作事件;
根据所述交互区域捕获功能,在目标区域中捕获目标鼠标的鼠标操作事件;
根据所述鼠标操作事件,确定所述交互区域。
3.根据权利要求1所述的***,其特征在于,所述服务器还用于,
对所述第一图像进行编码处理,获取所述第一图像中n个图层对应的编码码流;
对比所述第一图像中n个图层对应的编码码流和所述目标传输资源,并获取对比结果;
当所述n个图层对应的编码码流小于或等于所述目标传输资源时,确定所述第一传输图层层数为n;
当所述n个图层对应的编码码流大于所述目标传输资源时,逐层对比所述n个图层对应的编码码流和所述目标传输资源,直至满足预设条件,确定所述图层层数为所述第一传输图层层数。
4.根据权利要求3所述的***,其特征在于,所述服务器还用于,
对所述第二图像进行编码处理,获取所述第二图像中m个图层对应的编码码流;
根据所述目标传输资源和所述第一传输图层层数,获取传输完毕所述第一图像后的剩余传输资源;
对比所述剩余传输资源与所述第二图像中m个图层对应的编码码流;
当所述m个图层对应的编码码流小于或等于所述剩余传输资源时,确定第二传输图层层数为m;
当所述编码码流大于所述剩余传输资源时,逐层对比确定所述m个图层对应的编码码流和所述剩余传输资源,直至满足预设条件,确定所述图层层数为所述第二传输图层层数。
5.根据权利要求1所述的***,其特征在于,所述服务器还用于,
获取所述交互区域的标识信息及所述第一传输图层层数;
根据所述交互区域的标识信息及所述第一传输图层层数,标记所述第一传输图层对应的第一图像;
对所述已标记的所述第一传输图层对应的第一图像进行编码处理。
6.一种数据传输方法,其特征在于,应用于服务器,所述方法包括:
接收终端设备发送的图像传输请求信息,所述图像传输请求信息用于请求服务器传输目标区域中的图像,所述目标区域包括交互区域和非交互区域,所述交互区域信息包括所述交互区域中各个顶点的坐标信息;
根据所述图像传输请求信息,确定所述目标区域中的交互区域和非交互区域,并获取所述交互区域对应的第一图像及所述非交互区域的第二图像,并将所述第一图像划分为n个图层,将所述第二图像划分为m个图层;
根据目标传输资源和预设传输策略,计算所述第一图像对应的第一传输图层层数和所述第二图像对应的第二传输图层层数,所述第一传输图层层数是指所述目标传输资源可传输所述第一图像的图层层数,所述第二传输图层层数是指所述目标传输资源传输完毕所述第一图像后可传输所述第二图像中的图层层数;
根据所述第一传输图层层数对所述第一图像进行编码处理,并根据所述第二传输图层层数对所述第二图像进行编码处理,通过向所述终端设备发送所述已编码的第一图像和所述已编码的第二图像,实现传输所述目标区域中的图像。
7.根据权利要求6所述的方法,其特征在于,所述计算所述第一图像对应的第一传输图层层数,包括:
对所述第一图像进行编码处理,获取所述第一图像中n个图层对应的编码码流;
对比所述第一图像中n个图层对应的编码码流和所述目标传输资源,并获取对比结果;
当所述n个图层对应的编码码流小于或等于所述目标传输资源时,确定所述第一传输图层层数为n;
当所述n个图层对应的编码码流大于所述目标传输资源时,逐层对比所述n个图层对应的编码码流和所述目标传输资源,直至满足预设条件,确定所述图层层数数为所述第一传输图层层数。
8.根据权利要求7所述的方法,其特征在于,所述计算所述第二图像对应的第二传输图层层数,包括:
对所述第二图像进行编码处理,获取所述第二图像中m个图层对应的编码码流;
根据所述目标传输资源和所述第一传输图层层数,获取传输完毕所述第一图像后的剩余传输资源;
对比所述剩余传输资源与所述第二图像中m个图层对应的编码码流;
当所述m个图层对应的编码码流小于或等于所述剩余传输资源时,确定第二传输图层层数为m;
当所述编码码流大于所述剩余传输资源时,逐层对比所述m个图层对应的编码码流和所述剩余传输资源,直至满足预设条件,确定所述图层层数为第二传输图层层数。
9.根据权利要求7所述的方法,其特征在于,所述根据所述第一传输图层层数对所述第一图像进行编码处理,包括:
获取所述交互区域的标识信息及所述第一传输图层层数;
根据所述交互区域的标识信息及所述第一传输图层层数,标记所述第一传输图层对应的第一图像;
对所述已标记的所述第一传输图层对应的第一图像进行编码处理。
10.一种数据传输方法,其特征在于,应用于终端设备,所述方法包括:
根据目标操作指令,确定目标区域和所述目标区域中的交互区域,并获取交互区域信息,所述目标区域包括交互区域和非交互区域,所述交互区域信息包括所述交互区域中的各个顶点的坐标信息;
根据所述目标区域和所述交互区域信息,生成图像传输请求信息,并向服务器发送所述图像传输请求信息,所述图像传输请求信息用于请求所述服务器传输目标区域中的图像,所述服务器用于根据所述图像传输请求信息,确定所述目标区域中的交互区域和非交互区域,并获取所述交互区域对应的第一图像及所述非交互区域的第二图像,并将所述第一图像划分为n个图层,将所述第二图像划分为m个图层;根据目标传输资源和预设传输策略,计算所述第一图像对应的第一传输图层层数和所述第二图像对应的第二传输图层层数,所述第一传输图层层数是指所述目标传输资源可传输所述第一图像的图层层数,所述第二传输图层层数是指所述目标传输资源传输完毕所述第一图像后可传输所述第二图像中的图层层数,并根据所述第一传输图层层数对所述第一图像进行编码处理,并根据所述第二传输图层层数对所述第二图像进行编码处理,通过向所述终端设备发送所述已编码的第一图像和所述已编码的第二图像,实现传输所述目标区域中的图像;
根据所述图像传输请求信息,获取所述交互区域对应的图像和所述非交互区域对应的图像,并根据所述交互区域对应的图像和所述非交互区域对应的图像,获取所述目标区域对应的图像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410369439.5A CN118301360A (zh) | 2020-05-22 | 2020-05-22 | 数据传输方法及终端设备、服务器 |
CN202010444418.7A CN111654702B (zh) | 2020-05-22 | 2020-05-22 | 数据传输方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010444418.7A CN111654702B (zh) | 2020-05-22 | 2020-05-22 | 数据传输方法及*** |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410369439.5A Division CN118301360A (zh) | 2020-05-22 | 2020-05-22 | 数据传输方法及终端设备、服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111654702A CN111654702A (zh) | 2020-09-11 |
CN111654702B true CN111654702B (zh) | 2024-05-17 |
Family
ID=72345790
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010444418.7A Active CN111654702B (zh) | 2020-05-22 | 2020-05-22 | 数据传输方法及*** |
CN202410369439.5A Pending CN118301360A (zh) | 2020-05-22 | 2020-05-22 | 数据传输方法及终端设备、服务器 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410369439.5A Pending CN118301360A (zh) | 2020-05-22 | 2020-05-22 | 数据传输方法及终端设备、服务器 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN111654702B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115278376B (zh) * | 2022-05-25 | 2024-03-22 | 西安万像电子科技有限公司 | 一种音视频数据传输方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6314452B1 (en) * | 1999-08-31 | 2001-11-06 | Rtimage, Ltd. | System and method for transmitting a digital image over a communication network |
JP2002077903A (ja) * | 2000-08-28 | 2002-03-15 | Canon Inc | 画像符号化装置及び画像符号化方法並びに記憶媒体 |
KR20030081772A (ko) * | 2002-04-12 | 2003-10-22 | 한국과학기술원 | Mpeg-4 fgs 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치 |
JP2006217643A (ja) * | 2006-03-10 | 2006-08-17 | Ricoh Co Ltd | 画像処理システム |
KR20120059214A (ko) * | 2010-11-30 | 2012-06-08 | 고려대학교 산학협력단 | 적응적 관심 영역을 적용한 비디오 스트리밍을 제공하는 비디오 코덱 장치 및 그 방법 |
CN105721879A (zh) * | 2016-01-26 | 2016-06-29 | 北京空间飞行器总体设计部 | 一种深空探测图像分段保护下的感兴趣区域传输方法 |
CN108111878A (zh) * | 2017-12-25 | 2018-06-01 | 横琴国际知识产权交易中心有限公司 | 一种媒体流图像传输的方法及*** |
CN110139129A (zh) * | 2019-03-27 | 2019-08-16 | 西安万像电子科技有限公司 | 图像传输方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4111926B2 (ja) * | 2004-03-09 | 2008-07-02 | 株式会社リコー | 画像処理装置、プログラム、記憶媒体及び画像送信方法 |
US8356114B2 (en) * | 2010-04-15 | 2013-01-15 | Canon Kabushiki Kaisha | Region of interest-based image transfer |
-
2020
- 2020-05-22 CN CN202010444418.7A patent/CN111654702B/zh active Active
- 2020-05-22 CN CN202410369439.5A patent/CN118301360A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6314452B1 (en) * | 1999-08-31 | 2001-11-06 | Rtimage, Ltd. | System and method for transmitting a digital image over a communication network |
JP2002077903A (ja) * | 2000-08-28 | 2002-03-15 | Canon Inc | 画像符号化装置及び画像符号化方法並びに記憶媒体 |
KR20030081772A (ko) * | 2002-04-12 | 2003-10-22 | 한국과학기술원 | Mpeg-4 fgs 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치 |
JP2006217643A (ja) * | 2006-03-10 | 2006-08-17 | Ricoh Co Ltd | 画像処理システム |
KR20120059214A (ko) * | 2010-11-30 | 2012-06-08 | 고려대학교 산학협력단 | 적응적 관심 영역을 적용한 비디오 스트리밍을 제공하는 비디오 코덱 장치 및 그 방법 |
CN105721879A (zh) * | 2016-01-26 | 2016-06-29 | 北京空间飞行器总体设计部 | 一种深空探测图像分段保护下的感兴趣区域传输方法 |
CN108111878A (zh) * | 2017-12-25 | 2018-06-01 | 横琴国际知识产权交易中心有限公司 | 一种媒体流图像传输的方法及*** |
CN110139129A (zh) * | 2019-03-27 | 2019-08-16 | 西安万像电子科技有限公司 | 图像传输方法及装置 |
Non-Patent Citations (6)
Title |
---|
JPEG2000及其兴趣区域(ROI)编码在数字图书馆中的应用;林林;现代图书情报技术;20030325(第03期);全文 * |
一种基于人眼视觉特性的ROI渐进图像传输算法;周大伟;耿金玲;郑继明;;计算机应用;20070701(第07期);全文 * |
一种基于感兴趣区域的质量可分级编码传输方案研究;宋晓炜;刘忠;杨蕾;吴源昭;;中原工学院学报;20130425(第02期);全文 * |
一种适于ROI区域的图像编码算法的研究;席志红;许新利;刘利彬;王姜铂;;电子科技;20070615(第06期);全文 * |
基于视觉掩蔽特性的感兴趣区渐进图像传输;郑继明;周大伟;;计算机工程与应用;20080301(第07期);全文 * |
支持多用户的三维地震体远程可视化关键技术;纪连恩;赵妮;梁适宜;黄博;;***仿真学报;20180402(第07期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN118301360A (zh) | 2024-07-05 |
CN111654702A (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9578373B2 (en) | Remote display performance measurement triggered by application display upgrade | |
CN110415325B (zh) | 云渲染三维可视化实现方法及*** | |
CN101918921B (zh) | 用于远程提供三维图形的方法和*** | |
KR100982511B1 (ko) | 원격 제어 장치 및 방법 | |
US8910228B2 (en) | Measurement of remote display performance with image-embedded markers | |
CN103412701B (zh) | 远程桌面图像处理方法及装置 | |
EP3117333A1 (en) | Systems and methods for scalable asynchronous computing framework | |
US8924507B2 (en) | Cross-frame progressive spoiling support for reduced network bandwidth usage | |
JP5788865B2 (ja) | 複数のプロセッサを用いた画像圧縮の加速 | |
TWI495330B (zh) | 有效地串流數位視訊的系統及方法 | |
CN104837013A (zh) | 信息处理设备、方法、程序和终端设备 | |
CN103873886B (zh) | 一种处理图像信息的方法、装置及*** | |
CN106101794A (zh) | 一种虚拟桌面视频数据的处理方法、装置及*** | |
CN110807111A (zh) | 三维图形的处理方法及装置、存储介质、电子设备 | |
CN111654702B (zh) | 数据传输方法及*** | |
CN114327318A (zh) | 云桌面的显示方法和*** | |
US9866724B2 (en) | Pixel perturbation for transmission of meta-information | |
US9460481B2 (en) | Systems and methods for processing desktop graphics for remote display | |
CN111629228A (zh) | 数据传输方法及服务器 | |
CN107426114B (zh) | 资源分配方法及*** | |
US9842387B2 (en) | Pixel perturbation for image quality measurement | |
JP6781445B1 (ja) | 情報処理方法 | |
CN111930326A (zh) | 图像处理方法、设备及*** | |
CN111880869A (zh) | 画面调整方法、装置和*** | |
CN105227622B (zh) | HyperV平台中虚拟机VNC协议接入方法与*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |