CN114466228B - 一种提高投屏显示流畅度的方法、设备及存储介质 - Google Patents

一种提高投屏显示流畅度的方法、设备及存储介质 Download PDF

Info

Publication number
CN114466228B
CN114466228B CN202111669613.0A CN202111669613A CN114466228B CN 114466228 B CN114466228 B CN 114466228B CN 202111669613 A CN202111669613 A CN 202111669613A CN 114466228 B CN114466228 B CN 114466228B
Authority
CN
China
Prior art keywords
projected
video stream
gray
screen
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111669613.0A
Other languages
English (en)
Other versions
CN114466228A (zh
Inventor
王海波
蔡富东
孔志强
唐尊良
吴亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Senter Electronic Co Ltd
Original Assignee
Shandong Senter Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Senter Electronic Co Ltd filed Critical Shandong Senter Electronic Co Ltd
Priority to CN202111669613.0A priority Critical patent/CN114466228B/zh
Publication of CN114466228A publication Critical patent/CN114466228A/zh
Application granted granted Critical
Publication of CN114466228B publication Critical patent/CN114466228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请实施例提供了一种提高投屏显示流畅度的方法、设备及存储介质，方法包括：基于第一待投屏视频流中任意一帧的全屏图像，确定第一待投屏视频流中对应的待投屏区域坐标；基于待投屏区域坐标，对第一待投屏视频流中的所有帧图像进行截取并进行灰度化处理，以生成第一灰度图像集；结合第一灰度图像集中各灰度图像及第一待投屏视频流的帧率，确定单位时间内的数据传输量大于预设的视频流传输带宽的情况下，对第一灰度图像集中的若干个灰度图像编码，以生成第二待投屏视频流，并将第二待投屏视频流发送到显示设备。本申请实施例通过上述方法能够在占用传输带宽少且不无限降低图像分辨率与帧率的情况下，提高投屏显示流畅度。

Description

一种提高投屏显示流畅度的方法、设备及存储介质
技术领域
本申请涉及无线通信技术领域，尤其涉及一种提高投屏显示流畅度的方法、设备及存储介质。
背景技术
随着通信技术的发展，智能手机已经大众化，同时很多基于android操作***的物联网设备出于成本的考虑没有设计屏幕，因此不能进行显示和触摸控制。因此，将这类设备投屏到手机端显示，并通过手机反向控制设备成为一种需求，但是受制于物联网设备的接口类型和应用场景的限制，物联网设备不能把全部的带宽用于投屏功能，投屏功能必须尽可能少的占用带宽。
为了提高投屏显示的流畅度，现有的技术方案是采用降低图像的分辨率和传输时的帧率来降低网络传输时的视频流数据量，从而在带宽不足的情况下获得较为流畅的用户体验。但由于分辨率不能无限降低，否则会造成投屏显示模糊不清，影响用户体验，同样的帧率也不能无限降低，否则会造成投屏显示“卡顿”现象。因此，如何在占用传输带宽少且不无限降低图像分辨率与帧率的情况下，提高投屏显示流畅度成了亟待解决的问题。
发明内容
本申请实施例提供了一种提高投屏显示流畅度的方法、设备及存储介质，用于解决如下技术问题：如何在占用传输带宽少且不无限降低图像分辨率与帧率的情况下，提高投屏显示流畅度。
第一方面，本申请提供了一种提高投屏显示流畅度的方法，其特征在于，方法包括：获取第一待投屏视频流中任意一帧的全屏图像，并基于全屏图像，确定第一待投屏视频流中对应的待投屏区域坐标；基于待投屏区域坐标，对第一待投屏视频流中的所有帧图像进行截取，以获得对应的截取图像集；将截取图像集进行灰度化处理，以生成第一灰度图像集；确定第一灰度图像集中各灰度图像的压缩率，并基于压缩率、各灰度图像的分辨率及第一待投屏视频流的帧率，判断单位时间内的数据传输量是否大于预设的视频流传输带宽；在确定单位时间内的数据传输量大于预设的视频流传输带宽的情况下，确定第一灰度图像集中的若干个灰度图像为待编码灰度图像；对若干个待编码灰度图像进行编码，以获得第二待投屏视频流，并将第二待投屏视频流发送到显示设备。
本申请实施例提供的一种提高投屏显示流畅度的方法，首先获取第一待投屏视频流中任意一帧的全屏图像，根据全屏图像确定第一待投屏视频流中对应的待投屏区域坐标，本申请实施例通过获取第一待投屏视频流中任意一帧的全屏图像，可以使用户根据需要选择不同的投屏区域。然后对第一待投屏视频流中的所有帧图像进行截取，将截取的图像进行灰度化处理，生成第一灰度图像集。本申请实施例通过对截取的图像进行灰度化处理可以降低单位时间内的数据传输量，即在一定程度上降低了数据传输量需要的带宽。基于灰度图像的压缩率、分辨率和第一待投屏视频流的帧率，得到单位时间内的数据量，在确定单位时间内的数据传输量大于预设的视频流传输带宽的情况下，确定第一灰度图像集中的若干个灰度图像为待编码灰度图像；然后对若干个待编码灰度图像进行编码，获得第二待投屏视频流，并将第二待投屏视频流发送到显示设备。本申请实施例通过上述方法有效的避免了通过无限降低图像的分辨率和帧率而使投屏显示出现模糊不清和“卡顿”的现象，还能在占用传输带宽少且不无限降低图像分辨率与帧率的情况下，提高投屏显示流畅度。
在本申请的一种实现方式中，将截取图像集进行灰度化处理，以生成第一灰度图像集，具体包括：确定截图图像中各像素点在其颜色空间中对应的第一色值；其中，截图图像对应的颜色空间为YUV颜色空间；通过预设的计算规则，对各像素点对应的第一色值进行灰度计算，以确定各像素点对应的第一灰度值；基于各像素点对应的第一灰度值，将截取图像集中的各截图图像灰度化处理，以生成第一灰度图像集。
在本申请的一种实现方式中，通过预设的计算规则，对各像素点对应的第一色值进行灰度计算，以确定各像素点对应的第一灰度值，具体包括：将截图图像中的各像素点均通过黑塞矩阵计算，以确定各像素点对应的黑塞值；基于黑塞值，确定各像素点对应的预设灰度转换函数的系数；基于灰度转换函数，对各像素点对应的第一色值进行灰度计算，以确定各像素点对应的第一灰度值。
在本申请的一种实现方式中，基于黑塞值，确定各像素点对应的预设灰度转换函数的系数，具体包括：确定黑塞值对应的黑塞值预设区间；基于黑塞值预设区间，确定各像素点对应的预设灰度转换函数的系数。
在本申请的一种实现方式中，基于待投屏区域坐标，对第一待投屏视频流中的所有帧图像进行截取，以获得对应的截取图像集，具体包括：基于待投屏区域坐标，生成针对第一待投屏视频流的待投屏区域截取指令；基于截取指令中包含的待截屏区域坐标，对第一待投屏视频流中的所有帧图像进行截取，以获得对应的截取图像集。
本申请实施例通过对第一待投屏视频流中的所有帧图像进行截取，可以使用户在后续的视频播放中获取的所有图像区域为需要投屏的区域。
在本申请的一种实现方式中，在获取第一待投屏视频流中任意一帧的全屏图像之后，方法还包括：将全屏图像发送到显示设备；显示设备响应于区域选择指令，选择全屏图像中的待截屏区域，并基于待投屏区域，确定待截屏区域坐标。
在本申请的一种实现方式中，对若干个待编码灰度图像进行编码，以获得第二待投屏视频流，并将第二待投屏视频流发送到显示设备之后，方法还包括：显示设备对第二待投屏视频流的编码格式进行解析，以确定对应的编码规则；基于编码规则，对第二待投屏视频流进行解码，以获得第二待投屏视频流。
在本申请的一种实现方式中，在确定单位时间内的数据传输量不大于预设的视频流传输带宽的情况下，对第一灰度图像集进行编码，以获得第三待投屏视频流，并将第三待投屏视频流发送到显示设备；其中，第三待投屏视频流包含待投屏物联网设备的投屏信息。
第二方面，本申请实施例还提供了一种提高投屏显示流畅度的设备，设备包括：处理器；及存储器，其上存储有可执行代码，当可执行代码被执行时，使得处理器执行如权利要求1-8任一项的一种方法。
第三方面，本申请实施例还提供了一种提高投屏显示流畅度的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，计算机可执行指令设置为：获取第一待投屏视频流中任意一帧的全屏图像，并基于全屏图像，确定第一待投屏视频流中对应的待投屏区域坐标；基于待投屏区域坐标，对第一待投屏视频流中的所有帧图像进行截取，以获得对应的截取图像集；将截取图像集进行灰度化处理，以生成第一灰度图像集；确定第一灰度图像集中各灰度图像的压缩率，并基于压缩率、各灰度图像的分辨率及第一待投屏视频流的帧率，判断单位时间内的数据传输量是否大于预设的视频流传输带宽；在确定单位时间内的数据传输量大于预设的视频流传输带宽的情况下，确定第一灰度图像集中的若干个灰度图像为待编码灰度图像；对若干个待编码灰度图像进行编码，以获得第二待投屏视频流，并将第二待投屏视频流发送到显示设备。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种提高投屏显示流畅度的方法流程图；
图2为本申请实施例提供的一种提高投屏显示流畅度的设备内部结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种提高投屏显示流畅度的方法、设备及存储介质，用于解决如下技术问题：如何在占用传输带宽少且不无限降低图像分辨率与帧率的情况下，提高投屏显示流畅度。
下面通过附图对本申请实施例提出的技术方案进行详细的说明。
图1为本申请实施例提供的一种提高投屏显示流畅度的方法流程图。如图1所示，本申请实施例提供的一种提高投屏显示流畅度的方法，主要包括以下步骤：
步骤101、获取第一待投屏视频流中任意一帧的全屏图像，并基于全屏图像，确定第一待投屏视频流中对应的待投屏区域坐标。
由于很多物联网设备没有考虑没有设计屏幕，因此不能进行显示和触摸控制，因此，将物联网设备对应的虚拟屏幕投屏到显示设备上进行观看或操作是非常必要的，需要说明的是，本申请的显示设备包含但不限于手机、平板电脑，具有显示屏的现有移动通信设备均可作为显示设备。另外，还可以理解的是，不论虚拟屏幕呈现的是什么内容(包括但不限于交互界面或视频图像展示)，在将虚拟屏幕传输到显示屏幕的过程中都是将待投屏虚拟屏幕转换为视频流进行传输。
在本申请的一个实施例中，为提高投屏的显示流畅度，可以先将在第一待投屏视频流中获取的任意一张全屏图像发送到显示设备，显示设备响应于区域选择指令，确定待截屏区域并生成待截屏区域坐标。可以理解的是，为了使用户可以通过对全屏图像的观看来选择所需要投屏的区域，因此本申请对获取的视频流中的任意一帧全屏图像进行截屏。其中，任意一帧全屏图像即为根据用户的不同需求进行投屏的区域选择，也就是说，用户在某一帧图像播放时，还不足以确定需要投屏的区域，当播放到后面的某一帧时才可以确定需要投屏的区域。这样可以使用户在获得全屏图像之后对接下来所需投屏的区域进行选择，需要说明的是，对所需投屏的区域进行选择对应于区域选择指令，该指令可以通过人工操作显示设备进行生成，也可以通过预置于服务器中的图像进行自动选取，即当服务器检测到该全屏图像与服务器中预置的某一图像相同时，生成对应该预置图像的区域选择指令。选取完成后即可确定该全屏图像的待投屏区域坐标，从而也就确定了待投屏视频流中对应的待投屏区域坐标。
步骤102、基于待投屏区域坐标，对第一待投屏视频流中的所有帧图像进行截取，以获得对应的截取图像集。
在本申请的一个实施例中，在确定待投屏区域坐标后，基于待投屏区域坐标生成针对第一待投屏视频流的待投屏区域截取指令；可以理解的是，待投屏区域截取指令中会包含待投屏区域坐标信息。基于截取指令中包含的待投屏区域坐标信息，对第一待投屏视频流中的帧图像进行逐帧截取。在第一待投屏视频流中的所有帧图像都进行截取完成之后，构建一个截取图像集，然后将所有帧图像截取完的截取图像加入到截取图像集中。
步骤103、将截取图像集进行灰度化处理，以生成第一灰度图像集；
在本申请的一个实施例中，在确定截取图像集后，对截取图像集进行灰度化处理。可以理解的是，灰度图像不包含色彩信息仅包含亮度信息，因此将截取图像进行灰度化后，可以有效的提高对图像的压缩率，从而可以降低所需要的传输带宽。
首先需要说明的是，在电视***中图像对应的颜色空间为YUV颜色空间，因此，截取图像集中各截图图像对应的颜色空间也为YUV颜色空间。还需要说明的是，YUV颜色空间对应的色值表达包括三个分量(Y、U、V)，其中，Y为亮度分量，U和V为构成彩色的两个色度分量。
以一个截取图像的灰度化为例，首先需要确定截取图像中各像素点对应的第一色值。由于人眼所感知到的灰度值与图像本身的亮度值还是存在一定的差异，为了使得到的灰度图像更符合人眼的感知，本申请通过预设的计算规则，对所述各像素点对应的第一色值进行灰度计算，以确定所述各像素点对应的第一灰度值。
具体地，首先将截图图像中的各像素点均通过黑塞矩阵计算，以确定各像素点对应的黑塞值。然后，确定该黑塞值所对应的黑塞值预设区间，并基于该黑塞值预设区间，确定像素点对应的预设灰度转换函数的系数。需要说明的是，本申请的预设灰度转换函数是为了结合色值中的U和V为两个色度分量，生成一个符合人眼感知的灰度值所应用的函数。该预设灰度转换函数可以表示为如下公式：
yi＝Yi+aiUi+biVi
其中，yi表示第i个像素点的灰度值，Yi为第i个像素点在YUV颜色模型中的亮度值，Ui为第i个像素点的U色度分量，ai为第i个像素点的U色度分量系数，Vi为第i个像素点的V色度分量，bi为第i个像素点的V色度分量系数。可以理解的是，两个色度分量对应的系数即预设灰度转换函数所需的系数，可以基于各像素点黑塞值对应黑塞值预设区间确定这两个系数。还可以理解的是，每个黑塞值预设区间对应两个系数。
进一步地，在确定预设灰度转换函数的系数之后，基于该灰度转换函数对各像素点对应的第一色值进行灰度计算，以确定各像素点对应的第一灰度值。从而得到截图图像对应的灰度图像，对截图图像集中的所有截图图像通过上述灰度化处理方法，则可以获得第一灰度图像集。
步骤104、确定第一灰度图像集中各灰度图像的压缩率，并基于压缩率、各灰度图像的分辨率及第一待投屏视频流的帧率，判断单位时间内的数据传输量是否大于预设的视频流传输带宽；
在本申请的一个实施例中，由于要尽可能地减小视频流传输所占用的带宽，因此，需要对第一待投屏视频流预先设定一个带宽，来判断单位时间内的数据传输量是否大于预设的视频流传输带宽。另外，由于第一灰度图像集中各灰度图像的压缩率是一定的，第一待投屏视频流的帧率以及各灰度图像的分辨率也是一定的，因此可以直接判断这些灰度图像单位时间内的数据传输量是否大于预设的视频流传输带宽。
步骤105、在确定单位时间内的数据传输量大于预设的视频流传输带宽的情况下，确定第一灰度图像集中的若干个灰度图像为待编码灰度图像。
在本申请的一个实施例中，在确定单位时间内的数据传输量大于预设的视频流传输带宽的情况下，说明此时单位时间内的数据传输量不符合预设的要求，因此在无法降低灰度图像的压缩率和分辨率的情况下，可以适当降低第一灰度图像集对应视频流的帧率，从而降低单位时间内的数据传输量。
需要说明的是，如何确定第一灰度图像集中的若干个灰度图像为待编码灰度图像本申请不做限定，可根据具体的场景选择不同的灰度图像选择规则。选择规则例如：每隔预设张灰度图像剔除一张灰度图像，剩余的若干个灰度图像为待编码灰度图像。
步骤106、对若干个待编码灰度图像进行编码，以获得第二待投屏视频流，并将第二待投屏视频流发送到显示设备。
在本申请的一个实施例中，在确定待编码灰度图像后，对待编码图像进行编码，以生成对应的第二待投屏视频流，其中，第二待投屏视频流即为第一待投屏视频流中对应待投屏区域内对应的视频流。
在本申请的一个实施例中，在确定第二待投屏视频流之后，将第二待第二待投屏视频流发送到显示设备，显示设备接收第二待投屏视频流之后，对第二待投屏视频流的编码格式进行解析，以确定第二待投屏视频流对应的编码规则，基于该编码规则，对第二待投屏视频流进行解码，从而获得第二待投屏视频流中的若干个待编码灰度图像并进行显示。
在本申请的一个实施例中，方法还包括：在确定单位时间内的数据传输量不大于预设的视频流传输带宽的情况下，就不需要降低单位时间内的数据传输量，因此，可以直接对第一灰度图像集中的灰度图像进行编码，以生成第三待投屏视频流，并发送到显示设备即可。
基于同样的发明构思，本申请实施例还提供了一种提高投屏显示流畅度的设备，其内部结构如图2所示。
图2为本申请实施例提供的一种提高投屏显示流畅度的设备内部结构示意图。如图2所示，设备包括：处理器201；存储器202，其上存储有可执行指令，当可执行指令被执行时，使得处理器201执行如上述的一种提高投屏显示流畅度的方法。
在本申请的一个实施例中，处理器201用于获取第一待投屏视频流中任意一帧的全屏图像，并基于全屏图像，确定第一待投屏视频流中对应的待投屏区域坐标；基于待投屏区域坐标，对第一待投屏视频流中的所有帧图像进行截取，以获得对应的截取图像集；将截取图像集进行灰度化处理，以生成第一灰度图像集；确定第一灰度图像集中各灰度图像的压缩率，并基于压缩率、各灰度图像的分辨率及第一待投屏视频流的帧率，判断单位时间内的数据传输量是否大于预设的视频流传输带宽；在确定单位时间内的数据传输量大于预设的视频流传输带宽的情况下，确定第一灰度图像集中的若干个灰度图像为待编码灰度图像；对若干个待编码灰度图像进行编码，以获得第二待投屏视频流，并将第二待投屏视频流发送到显示设备。
本申请的一些实施例提供的对应于图1的一种提高投屏显示流畅度的非易失性计算机存储介质，存储有计算机可执行指令，计算机可执行指令设置为：
获取第一待投屏视频流中任意一帧的全屏图像，并基于全屏图像，确定第一待投屏视频流中对应的待投屏区域坐标；
基于待投屏区域坐标，对第一待投屏视频流中的所有帧图像进行截取，以获得对应的截取图像集；
将截取图像集进行灰度化处理，以生成第一灰度图像集；
确定灰度图像的压缩率，并基于压缩率、灰度图像的分辨率及第一待投屏视频流的帧率，判断单位时间内的数据传输量是否大于预设的视频流传输带宽；
在确定单位时间内的数据传输量大于预设的视频流传输带宽的情况下，确定第一灰度图像集中的若干个灰度图像为待编码灰度图像；
对若干个待编码灰度图像进行编码，以获得第二待投屏视频流，并将第二待投屏视频流发送到显示设备。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于物联网设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例提供的***和介质与方法是一一对应的，因此，***和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述***和介质的有益技术效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种提高投屏显示流畅度的方法，其特征在于，所述方法包括：
获取第一待投屏视频流中任意一帧的全屏图像，并将所述全屏图像发送到显示设备；其中，所述第一待投屏视频流由无显示功能的待投屏物联网设备生成；
所述显示设备响应于区域选择指令，选择所述全屏图像中的待投屏区域，并基于所述待投屏区域，确定所述待投屏区域坐标；
基于所述待投屏区域坐标，确定所述第一待投屏视频流中对应的待投屏区域坐标；
基于所述待投屏区域坐标，对所述第一待投屏视频流中的所有帧图像进行截取，以获得对应的截取图像集；
将所述截取图像集进行灰度化处理，以生成第一灰度图像集；
确定所述第一灰度图像集中各灰度图像的压缩率，并基于所述压缩率、所述各灰度图像的分辨率及所述第一待投屏视频流的帧率，判断单位时间内的数据传输量是否大于预设的视频流传输带宽；
在确定单位时间内的数据传输量大于预设的视频流传输带宽的情况下，确定所述第一灰度图像集中的若干个灰度图像为待编码灰度图像；
对所述若干个待编码灰度图像进行编码，以获得第二待投屏视频流，并将所述第二待投屏视频流发送到显示设备。
2.根据权利要求1所述的一种提高投屏显示流畅度的方法，其特征在于，将所述截取图像集进行灰度化处理，以生成第一灰度图像集，具体包括：
确定截图图像中各像素点在其颜色空间中对应的第一色值；其中，所述截图图像对应的颜色空间为YUV颜色空间；
通过预设的计算规则，对所述各像素点对应的第一色值进行灰度计算，以确定所述各像素点对应的第一灰度值；
基于所述各像素点对应的第一灰度值，将所述截取图像集中的各截图图像灰度化处理，以生成第一灰度图像集。
3.根据权利要求2所述的一种提高投屏显示流畅度的方法，其特征在于，通过预设的计算规则，对所述各像素点对应的第一色值进行灰度计算，以确定所述各像素点对应的第一灰度值，具体包括：
将所述截图图像中的各像素点均通过黑塞矩阵计算，以确定各像素点对应的黑塞值；
基于所述黑塞值，确定各像素点对应的预设灰度转换函数的系数；
基于所述灰度转换函数，对所述各像素点对应的第一色值进行灰度计算，以确定所述各像素点对应的第一灰度值。
4.根据权利要求3所述的一种提高投屏显示流畅度的方法，其特征在于，基于所述黑塞值，确定各像素点对应的预设灰度转换函数的系数，具体包括：
确定所述黑塞值对应的黑塞值预设区间；
基于所述黑塞值预设区间，确定所述各像素点对应的预设灰度转换函数的系数。
5.根据权利要求1所述的一种提高投屏显示流畅度的方法，其特征在于，基于所述待投屏区域坐标，对所述第一待投屏视频流中的所有帧图像进行截取，以获得对应的截取图像集，具体包括：
基于所述待投屏区域坐标，生成针对所述第一待投屏视频流的待投屏区域截取指令；
基于所述截取指令中包含的待投屏区域坐标信息，对所述第一待投屏视频流的所有帧图像进行截取，以获得对应的截取图像集。
6.根据权利要求1所述的一种提高投屏显示流畅度的方法，其特征在于，对所述若干个待编码灰度图像进行编码，以获得第二待投屏视频流，并将所述第二待投屏视频流发送到显示设备之后，方法还包括：
所述显示设备对所述第二待投屏视频流的编码格式进行解析，以确定所述第二待投屏视频流对应的编码规则；
基于所述编码规则，对所述第二待投屏视频流进行解码，以获得第二待投屏视频流。
7.根据权利要求1所述的一种提高投屏显示流畅度的方法，其特征在于，所述方法还包括：
在确定单位时间内的数据传输量不大于预设的视频流传输带宽的情况下，对所述第一灰度图像集进行编码，以获得第三待投屏视频流，并将所述第三待投屏视频流发送到显示设备；其中，所述第三待投屏视频流包含待投屏物联网设备的投屏信息。
8.一种提高投屏显示流畅度的设备，其特征在于，所述设备包括：
处理器；
及存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求1-7任一项所述的一种方法。
9.一种提高投屏显示流畅度的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：
获取第一待投屏视频流中任意一帧的全屏图像，并将所述全屏图像发送到显示设备；其中，所述第一待投屏视频流由无显示功能的待投屏物联网设备生成；
所述显示设备响应于区域选择指令，选择所述全屏图像中的待投屏区域，并基于所述待投屏区域，确定所述待投屏区域坐标；
基于所述待投屏区域坐标，确定所述第一待投屏视频流中对应的待投屏区域坐标；
基于所述待投屏区域坐标，对所述第一待投屏视频流中的所有帧图像进行截取，以获得对应的截取图像集；
将所述截取图像集进行灰度化处理，以生成第一灰度图像集；
确定所述第一灰度图像集中各灰度图像的压缩率，并基于所述压缩率、所述各灰度图像的分辨率及所述第一待投屏视频流的帧率，判断单位时间内的数据传输量是否大于预设的视频流传输带宽；
在确定单位时间内的数据传输量大于预设的视频流传输带宽的情况下，确定所述第一灰度图像集中的若干个灰度图像为待编码灰度图像；
对所述若干个待编码灰度图像进行编码，以获得第二待投屏视频流，并将所述第二待投屏视频流发送到显示设备。
CN202111669613.0A 2021-12-31 2021-12-31 一种提高投屏显示流畅度的方法、设备及存储介质 Active CN114466228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111669613.0A CN114466228B (zh) 2021-12-31 2021-12-31 一种提高投屏显示流畅度的方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111669613.0A CN114466228B (zh) 2021-12-31 2021-12-31 一种提高投屏显示流畅度的方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114466228A CN114466228A (zh) 2022-05-10
CN114466228B true CN114466228B (zh) 2023-09-05

Family

ID=81408151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111669613.0A Active CN114466228B (zh) 2021-12-31 2021-12-31 一种提高投屏显示流畅度的方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114466228B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115941911B (zh) * 2022-12-02 2024-06-04 浪潮卓数大数据产业发展有限公司 可视化大屏投屏效果自动校正偏色的方法及设备、介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9035992B1 (en) * 2013-04-08 2015-05-19 Google Inc. Bandwidth modulation system and method
CN105580383A (zh) * 2013-09-30 2016-05-11 高通股份有限公司 用于在无线装置之间实时共享多媒体内容的方法和设备
CN106203261A (zh) * 2016-06-24 2016-12-07 大连理工大学 基于svm和surf的无人车野外水体检测与跟踪方法
WO2017176036A1 (ko) * 2016-04-05 2017-10-12 오성근 사용자 동작 기반의 컨텐츠 공유 방법 및 시스템
CN107770600A (zh) * 2017-11-07 2018-03-06 深圳创维－Rgb电子有限公司 流媒体数据的传输方法、装置、设备和存储介质
CN111787240A (zh) * 2019-04-28 2020-10-16 北京京东尚科信息技术有限公司 视频生成方法、装置和计算机可读存储介质
CN112492395A (zh) * 2020-11-30 2021-03-12 维沃移动通信有限公司 数据处理方法、装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060010392A1 (en) * 2004-06-08 2006-01-12 Noel Vicki E Desktop sharing method and system
US9503497B2 (en) * 2011-12-10 2016-11-22 LogMeln, Inc. Optimizing transfer to a remote access client of a high definition (HD) host screen image
KR20150117968A (ko) * 2014-04-11 2015-10-21 삼성전자주식회사 입력방향에 따라 기능을 전환하는 전자 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9035992B1 (en) * 2013-04-08 2015-05-19 Google Inc. Bandwidth modulation system and method
CN105580383A (zh) * 2013-09-30 2016-05-11 高通股份有限公司 用于在无线装置之间实时共享多媒体内容的方法和设备
WO2017176036A1 (ko) * 2016-04-05 2017-10-12 오성근 사용자 동작 기반의 컨텐츠 공유 방법 및 시스템
CN106203261A (zh) * 2016-06-24 2016-12-07 大连理工大学 基于svm和surf的无人车野外水体检测与跟踪方法
CN107770600A (zh) * 2017-11-07 2018-03-06 深圳创维－Rgb电子有限公司 流媒体数据的传输方法、装置、设备和存储介质
CN111787240A (zh) * 2019-04-28 2020-10-16 北京京东尚科信息技术有限公司 视频生成方法、装置和计算机可读存储介质
CN112492395A (zh) * 2020-11-30 2021-03-12 维沃移动通信有限公司 数据处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN114466228A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
US11330262B2 (en) Local image enhancing method and apparatus
CN107040794A (zh) 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放***
KR102617258B1 (ko) 이미지 프로세싱 방법 및 장치
CN110795056B (zh) 调节显示参数的方法、装置、终端及存储介质
US20170161862A1 (en) Method and electronic device for adding watermark to video
CN109688465B (zh) 视频增强控制方法、装置以及电子设备
CN108235120B (zh) 直播视频流推送方法、装置及电子设备
CN110876079B (zh) 视频处理方法、装置和设备
CN106162232A (zh) 视频播放控制方法及装置
CN113691737B (zh) 视频的拍摄方法、设备、存储介质
CN110958399B (zh) 高动态范围图像hdr实现方法及相关产品
CN113301342B (zh) 视频编码方法、网络直播方法、装置和终端设备
CN113301355B (zh) 视频传输、直播与播放方法、设备及存储介质
CN114466228B (zh) 一种提高投屏显示流畅度的方法、设备及存储介质
CN114979625A (zh) 视频质量评价方法、装置、设备、存储介质及程序产品
CN110858388B (zh) 一种增强视频画质的方法和装置
CN114339412A (zh) 视频质量增强方法、移动终端、存储介质及装置
CN112261408B (zh) 用于头戴显示设备的图像处理方法、装置及电子设备
CN106921840B (zh) 一种即时视频中的人脸美化方法、设备及***
CN115293994B (zh) 图像处理方法、装置、计算机设备和存储介质
CN110941413B (zh) 显示画面的生成方法及相关装置
WO2021052040A1 (zh) 视频图像的增强方法、装置、设备、芯片及存储介质
CN111866514B (zh) 一种压缩视频、解压视频的方法和装置
CN114363663A (zh) 一种直播观看方法、装置及云视频服务器
CN113099237A (zh) 视频处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant