CN108989832B - 一种图像数据处理方法及其设备、存储介质、终端 - Google Patents

一种图像数据处理方法及其设备、存储介质、终端 Download PDF

Info

Publication number
CN108989832B
CN108989832B CN201710401614.4A CN201710401614A CN108989832B CN 108989832 B CN108989832 B CN 108989832B CN 201710401614 A CN201710401614 A CN 201710401614A CN 108989832 B CN108989832 B CN 108989832B
Authority
CN
China
Prior art keywords
detection time
image data
data
image
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710401614.4A
Other languages
English (en)
Other versions
CN108989832A (zh
Inventor
罗巧龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710401614.4A priority Critical patent/CN108989832B/zh
Publication of CN108989832A publication Critical patent/CN108989832A/zh
Application granted granted Critical
Publication of CN108989832B publication Critical patent/CN108989832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805Controlling the feeding rate to the network, e.g. by controlling the video pump
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407Monitoring of transmitted content, e.g. distribution time, number of downloads

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开一种图像数据处理方法及其设备、存储介质、终端,其中方法包括如下步骤:获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对图像数据进行筛选处理,并将筛选处理后的图像数据添加至网络上传缓存中;基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器;当到达第二检测时刻时,获取第一检测时刻与第二检测时刻间网络上传缓存中的数据量变化信息,并基于数据量变化信息对图像筛选帧率进行更新。采用本发明,可以及时获取当前网络状态以对图像筛选帧率进行更新,保证图像筛选帧率适应于网络状态,进而保证网络直播的效果。

Description

一种图像数据处理方法及其设备、存储介质、终端
技术领域
本发明涉及计算机技术领域,尤其涉及一种图像数据处理方法及其设备、存储介质、终端。
背景技术
随着互联网技术的快速发展,新闻资讯、娱乐直播、教育直播等各种网络直播已经成为当前多媒体信息传播的主流手段之一,智能手机、电脑、网络电视等终端设备作为网络直播的主要平台,直接体现了直播效果的优劣,例如,网络状态较好时,通过摄像机或终端设备自带的摄像功能所采集的图像可以快速不丢帧的向观众直播,然而网络状态欠佳时,可能会在直播时出现卡顿现象。现有技术中,通过手动调节摄像机或终端设备自带的摄像功能的图像采集帧率可以减少网络状态欠佳时的直播卡顿现象,然而,当网络状态波动较频繁时,通过人为调整图像采集帧率会出现调整不及时或人为主观判断失误等问题,降低了图像采集帧率调整的准确性,无法及时获取网络状态对图像数据上传造成的影响,进而影响了网络直播的效果。
发明内容
本发明实施例提供一种图像数据处理方法及其设备、存储介质、终端,可以及时获取当前网络状态以对图像筛选帧率进行更新,保证图像筛选帧率适应于网络状态,进而保证网络直播的效果。
本发明实施例第一方面提供了一种图像数据处理方法,可包括:
获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,并将筛选处理后的所述图像数据添加至网络上传缓存中;
基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器;
当到达第二检测时刻时,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新;
其中,所述第二检测时刻为所述第一检测时刻的下一个检测时刻,所述第一检测时刻与所述第二检测时刻间的时长为预先配置的检测时长。
本发明实施例第二方面提供了一种图像数据处理设备,可包括:
数据处理模块,用于获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,并将筛选处理后的所述图像数据添加至网络上传缓存中;
数据上传模块,用于基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器;
帧率更新模块,用于当到达第二检测时刻时,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新;
其中,所述第二检测时刻为所述第一检测时刻的下一个检测时刻,所述第一检测时刻与所述第二检测时刻间的时长为预先配置的检测时长。
本发明实施例第三方面提供了一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行以下步骤:
获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,并将筛选处理后的所述图像数据添加至网络上传缓存中;
基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器;
当到达第二检测时刻时,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新;
其中,所述第二检测时刻为所述第一检测时刻的下一个检测时刻,所述第一检测时刻与所述第二检测时刻间的时长为预先配置的检测时长。
本发明实施例第四方面提供了一种终端,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行以下步骤:
获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,并将筛选处理后的所述图像数据添加至网络上传缓存中;
基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器;
当到达第二检测时刻时,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新;
其中,所述第二检测时刻为所述第一检测时刻的下一个检测时刻,所述第一检测时刻与所述第二检测时刻间的时长为预先配置的检测时长。
在本发明实施例中,通过获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对图像数据进行筛选处理,并将筛选处理后的图像数据添加至网络上传缓存中,再基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器,当到达第二检测时刻时,获取第一检测时刻与第二检测时刻间网络上传缓存中的数据量变化信息,并基于数据量变化信息对图像筛选帧率进行更新,其中,第二检测时刻为第一检测时刻的下一个检测时刻,第一检测时刻与第二检测时刻间的时长为预先配置的检测时长。通过分析检测时长内的图像数据在终端设备中的缓存量的变化,对图像数据的筛选帧率进行变更,可以及时获取当前网络状态以对图像筛选帧率进行更新,保证了图像筛选帧率适应于网络状态,进而保证了网络直播的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像数据处理设备的结构示意图;
图2是本发明实施例提供的一种图像数据处理方法的流程示意图;
图3是本发明实施例提供的另一种图像数据处理方法的流程示意图;
图4是本发明实施例提供的另一种图像数据处理方法的流程示意图;
图5是本发明实施例提供的另一种图像数据处理方法的流程示意图;
图6是本发明实施例提供的另一种图像数据处理方法的流程示意图;
图7是本发明实施例提供的一种图像数据处理设备的结构示意图;
图8是本发明实施例提供的另一种图像数据处理设备的结构示意图;
图9是本发明实施例提供的帧率更新模块的结构示意图;
图10是本发明实施例提供的帧率更新单元的结构示意图;
图11是本发明实施例提供的时长更新模块的结构示意图;
图12是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的图像数据处理方法可以应用于网络直播中针对不同的网络状态确定相应的图像筛选帧率,进而优化网络直播的场景中,例如:图像数据处理设备获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对图像数据进行筛选处理,并将筛选处理后的图像数据添加至网络上传缓存中,再基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器,当到达第二检测时刻时,图像数据处理设备获取第一检测时刻与第二检测时刻间网络上传缓存中的数据量变化信息,并基于数据量变化信息对图像筛选帧率进行更新,其中,第二检测时刻为第一检测时刻的下一个检测时刻,第一检测时刻与第二检测时刻间的时长为预先配置的检测时长。通过分析检测时长内的图像数据在终端设备中的缓存量的变化,对图像数据的筛选帧率进行变更,可以及时获取当前网络状态以对图像筛选帧率进行更新,保证了图像筛选帧率适应于网络状态,进而保证了网络直播的效果。
本发明实施例涉及的图像数据处理设备可以为平板电脑、智能手机、掌上电脑、网络电视以及移动互联网设备(MID)等具备联网功能和拍摄功能的终端设备或者可以与摄像机建立通信连接的终端设备。例如,图像数据处理设备可以是如图1所示的计算机,该计算机通过采集卡获取摄像机所采集的图像数据,也可以将图1中的摄像机和采集卡融合在计算机中,组成图像采集与筛选功能一体的终端设备。
下面将结合附图2-附图5,对本发明实施例提供的图像数据处理方法进行详细介绍。
请参见图2,为本发明实施例提供了一种图像数据处理方法的流程示意图。如图2所示,本发明实施例的所述方法可以包括以下步骤S101-步骤S103。
S101,获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,并将筛选处理后的所述图像数据添加至网络上传缓存中;
具体的,图像数据处理设备可以获取从第一检测时刻起所采集的图像数据,可以理解的是,所述图像数据处理设备可以采用自身的摄像功能采集图像数据,也可以通过与摄像机的通信连接获取摄像机所拍摄的图像数据。所述第一检测时刻可以人为确定的任意开始时刻,例如,可以是采用终端设备进行网络直播的开始时刻,也可以为所述第一检测时刻的上一检测时刻经检测时长所到达的检测时刻。
进一步的,所述图像数据处理设备可以采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,可以理解的是,所述图像筛选帧率可以为将所述图像数据上传之前,对所述图像数据进行筛选的帧率,例如,图像数据采集时的帧率为60FPS,预先设置的图像筛选帧率为20FPS,则需要将采集的图像数据丢掉2/3即每3帧图像数据只保留1帧。
进一步的,所述图像数据处理设备可以将筛选处理后的所述图像数据添加至网络上传缓存中,可以理解的是,所述网络上传缓存可以是所述图像数据处理设备在将筛选处理后的所述图像数据上传至网络服务器前,对所述图像数据进行存储的区域,例如,可以是图像数据处理设备中的存储器。
S102,基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器;
具体的,所述图像数据处理设备可以基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器,可以理解的是,所述当前网络状态的好坏可以用最直接的网速来评判,例如,上传网速为25帧/S可以表示当前网络状态较好,上传网速为5帧/S可以表示当前网络状态欠佳。
可以理解的是,所述网络上传缓存中的图像数据通常情况下不会全部上传至网络服务器中,当所述当前网络状态欠佳时,会产生图像数据的缓存留在所述网络上传缓存中。
S103,当到达第二检测时刻时,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新;
具体的,当到达第二检测时刻时,所述图像数据处理设备可以获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,可以理解的是,所述第二检测时刻可以是预设的检测时长到达时的时刻,例如,预设的检测时长为1min,若第一检测时刻为终端设备进行网络直播的开始时刻,则第二检测时刻为1min后的时刻。可选的,所述图像数据处理设备可以通过比较所述第一检测时刻与所述第二检测时刻的网络上传缓存中缓存量之间的差值,得到所述数据量变化信息。可以理解的是,所述数据量变化信息可以是图像数据的缓存量增加的信息或者缓存量减少的信息。
进一步的,所述图像数据处理设备可以基于所述数据量变化信息对所述图像筛选帧率进行更新,可选的,当所述数据量变化信息为图像数据的缓存量增加的信息时,说明在检测时长内图像数据上传的速度比采集的速度慢,图像缓存量增加,此时需要降低所述图像数筛选帧率,例如,开始的图像筛选帧率为60FPS,更新后为20FPS,图像筛选帧率降低后可以将每3帧图像丢弃2帧只保留1帧,在充分利用网络资源的同时保证了上传的图像组成的视频数据的质量。可选的,当所述数据量变化信息为图像数据的缓存量减少的信息时,说明在检测时长内图像数据上传的速度比采集的速度快,图像缓存量减少,此时需要增加所述图像数筛选帧率,例如,原来的图像筛选帧率为20FPS,更新后为40FPS,图像筛选帧率增加后可以将员原来的每3帧图像丢弃2帧改为每3帧丢弃1帧,进一步提高视频的画面质量。
在本发明实施例中,通过获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对图像数据进行筛选处理,并将筛选处理后的图像数据添加至网络上传缓存中,再基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器,当到达第二检测时刻时,获取第一检测时刻与第二检测时刻间网络上传缓存中的数据量变化信息,并基于数据量变化信息对图像筛选帧率进行更新,其中,第二检测时刻为第一检测时刻的下一个检测时刻,第一检测时刻与第二检测时刻间的时长为预先配置的检测时长。通过分析检测时长内的图像数据在终端设备中的缓存量的变化,对图像数据的筛选帧率进行变更,可以及时获取当前网络状态以对图像筛选帧率进行更新,保证了图像筛选帧率适应于网络状态,进而保证了网络直播的效果。
请参见图3,为本发明实施例提供了另一种图像数据处理方法的流程示意图。如图3所示,本发明实施例的所述方法可以包括以下步骤S201-步骤S208。
S201,获取预先设置的图像采集配置信息,所述图像采集配置信息包括默认筛选帧率和默认时长;
具体的,图像数据处理设备可以获取预先设置的图像采集配置信息,可以理解的是,所述图像采集配置信息可以包括默认筛选帧率和默认时长,所述默认筛选帧率可以是所述图像数据处理设备采集图像数据时的采集帧率,例如,可以是摄像机物理采集帧率60FPS,所述默认时长可以是所述图像数据处理设备首次对图像数据进行筛选处理时的检测时长,例如可以是1min或者其他合理的时间段。
S202,将所述默认筛选帧率确定为图像筛选帧率,将所述默认时长确定为检测时长;
具体的,所述图像数据处理设备可以将所述默认筛选帧率确定为图像筛选帧率,并将所述默认时长确定为检测时长,可以理解的是,所述默认筛选帧率和所述默认时长可以认为是对图像数据进行首次筛选处理时,图像筛选帧率和检测时长的初始化值。
S203,获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,并将筛选处理后的所述图像数据添加至网络上传缓存中;
具体的,所述图像数据处理设备可以获取从第一检测时刻起所采集的图像数据,可以理解的是,所述图像数据处理设备可以采用自身的摄像功能采集图像数据,也可以通过与摄像机的通信连接获取摄像机所拍摄的图像数据。所述第一检测时刻可以人为确定的任意开始时刻,例如,可以是采用终端设备进行网络直播的开始时刻,也可以为所述第一检测时刻的上一检测时刻经检测时长所到达的检测时刻。
进一步的,所述图像数据处理设备可以采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,可以理解的是,所述图像筛选帧率可以为将所述图像数据上传之前,对所述图像数据进行筛选的帧率,例如,图像数据采集时的帧率为60FPS,预先设置的图像筛选帧率为20FPS,则需要将采集的图像数据丢掉2/3即每3帧图像数据只保留1帧。
进一步的,所述图像数据处理设备可以将筛选处理后的所述图像数据添加至网络上传缓存中,可以理解的是,所述网络上传缓存可以是所述图像数据处理设备在将筛选处理后的所述图像数据上传至网络服务器前,对所述图像数据进行存储的区域,例如,可以是图像数据处理设备中的存储器。
S204,基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器;
具体的,所述图像数据处理设备可以基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器,可以理解的是,所述当前网络状态的好坏可以用最直接的网速来评判,例如,上传网速为25帧/S可以表示当前网络状态较好,上传网速为5帧/S可以表示当前网络状态欠佳。
可以理解的是,所述网络上传缓存中的图像数据通常情况下不会全部上传至网络服务器中,当所述当前网络状态欠佳时,会产生图像数据的缓存留在所述网络上传缓存中。
S205,当到达第二检测时刻时,获取所述第一检测时刻时所述网络上传缓存的第一缓存量,获取所述第二检测时刻时所述网络上传缓存的第二缓存量;
具体的,当到达第二检测时刻时,所述图像数据处理设备可以获取所述第一检测时刻时所述网络上传缓存的第一缓存量,可以理解的是,所述第二检测时刻可以是预设的检测时长到达时的时刻,例如,预设的检测时长为1min,若第一检测时刻为终端设备进行网络直播的开始时刻,则第二检测时刻为1min后的时刻。所述第一缓存量可以是所述第一检测时刻时所述网络上传缓存中存储的图像数据的缓存量,例如,可以是10帧。可选的,所述第一缓存量可以是在所述第一检测时刻时,所述图像数据处理设备就获取并存储的,当到达所述第二检测时刻时,直接获取的。
进一步的,所述图像数据处理设备可以获取第二检测时刻时所述网络上传缓存的第二缓存量,可以理解的是,所述第二缓存量可以是所述第二检测时刻时所述网络上传缓存中存储的图像数据的缓存量,例如,可以是15帧或者9帧。
S206,根据所述第一缓存量和所述第二缓存量,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态和数据量变化值,并基于所述数据量变化状态和所述数据量变化值对所述图像筛选帧率进行更新;
具体的,所述图像数据处理设备可以根据所述第一缓存量和所述第二缓存量,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态和数据量变化值,可以理解的是,数据量变化状态可以是所述第一检测时刻与所述第二检测时刻间的网络上传缓存中缓存量之间的差值状态,例如,差值为正数时代表所述数据量变化状态为数据量增加状态,差值为负数时代表所述数据量变化状态为数据量减少状态。所述数据量变化值可以是上述差值的具体值,例如,可以是5帧或者-1帧等。
进一步的,所述图像数据处理设备可以基于所述数据量变化状态和所述数据量变化值对所述图像筛选帧率进行更新,可选的,当所述数据量变化状态为数据量增加状态时,通过获取数据量增加值,对所述图像筛选帧率进行更新,例如,根据所述数据量增加值降低所述图像筛选帧率。可选的,当所述数据量变化状态为数据量减少状态时,通过获取数据量减少值,对所述图像筛选帧率进行更新,例如,根据所述数据量增加值增加所述图像筛选帧率。
S207,根据所述数据量变化值计算所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化率;
具体的,所述图像数据处理设备可以根据所述数据量变化值计算所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化率,例如,第一检测时刻的缓存量为10帧,第二检测时刻的缓存量为15帧,则数据量变化值为5帧,从而可以计算所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化率即增长率为(5/10)*100%=50%,若第一检测时刻的缓存量为10帧,第二检测时刻的缓存量为9帧,则数据量变化值为-1帧,数据量变化率即减少率为(1/10)*100%=10%。
S208,基于所述数据量变化率对所述检测时长进行更新;
具体的,所述图像数据处理设备可以基于所述数据量变化率对所述检测时长进行更新。可选的,所述图像数据处理设备可以根据实践经验预设变化率阈值作为所述数据量变化率的参考值,例如,当所述数据量变化率大于或等于第一预设变化率阈值时,可以认为在缓存量变化的较快,检测时长可能存在取值较大的问题,此时可以减少所述检测时长;当所述数据量变化率小于或等于第二预设变化率阈值时,可以认为在缓存量变化的较慢,检测时长可能存在取值较小的问题,此时可以增加所述检测时长;当所述数据量变化率小于所述第一预设变化率阈值且大于所述第二预设变化率阈值时,可以认为在缓存量变化的比较适中,此时可以保持所述检测时长不变,可以理解的是,所述数据量变化率可以是增长率也可以是减少率,所述第一预设变化率阈值大于所述第二预设变化率阈值,例如,所述第一预设变化率阈值可以为20%,所述第二预设变化率阈值可以为10%。
在本发明实施例一种具体实现方式中,所述根据所述第一缓存量和所述第二缓存量,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态和数据量变化值,并基于所述数据量变化状态和所述数据量变化值对所述图像筛选帧率进行更新可以包括以下几个步骤,如图4所示:
S301,当所述第二缓存量大于所述第一缓存量时,确定所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态为数据量增加状态,获取所述第一缓存量与第二缓存量间的数据量增加值,并根据所述数据量增加值降低所述图像筛选帧率;
具体的,当所述第二缓存量大于所述第一缓存量时,所述图像数据处理设备可以确定所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态为数据量增加状态,例如,所述第一缓存量为10帧,第二缓存量为12帧时,所述数据量变化状态为数据量增加状态,进一步的,所述图像数据处理设备可以获取所述第一缓存量与第二缓存量间的数据量增加值,例如,上述数据量的增加值为2帧。
进一步的,所述图像数据处理设备可以根据所述数据量增加值降低所述图像筛选帧率,例如,开始的图像筛选帧率为60FPS,在检测时长(可以设为1min)内的数据量增加值为2帧,即1min的时间内图像数据的缓存增加了2帧,说明当前网络状态欠佳需要降低图像筛选帧率,才能保证图像数据组成的视频数据的画面质量的同时尽量提高网络的使用率,例如,可以将图像筛选帧率降低为20FPS。
S302,当所述第二缓存量小于所述第一缓存量时,确定所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态为数据量减少状态,获取所述第一缓存量与第二缓存量间的数据量减少值,并根据所述数据量减少值增加所述图像筛选帧率;
具体的,当所述第二缓存量小于所述第一缓存量时,所述图像数据处理设备可以确定所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态为数据量减少状态,例如,所述第一缓存量为10帧,第二缓存量为7帧时,所述数据量变化状态为数据量减少状态,进一步的,所述图像数据处理设备可以获取所述第一缓存量与第二缓存量间的数据量减少值,例如,上述数据量的增加值为3帧。
进一步的,所述图像数据处理设备可以根据所述数据量减少值增加所述图像筛选帧率,例如,开始的图像筛选帧率为40FPS,在检测时长(可以设为1min)内的数据量减少值为3帧,即1min的时间内图像数据的缓存减少了3帧,说明当前网络状态较好需要增加图像筛选帧率,可以进一步提高图像数据组成的视频数据的画面质量,例如,可以将图像筛选帧率增加为50FPS。
在本发明实施例中,通过增加或减少的数据量实现对图像筛选帧率的更新,提高了对图像筛选帧率更新的合理性。
在本发明实施例一种具体实现方式中,所述基于所述数据量变化率对所述检测时长进行更新可以包括以下几个步骤,如图5所示:
S401,当所述数据量变化率大于或等于第一预设变化率阈值时,减少所述检测时长;
具体的,当所述数据量变化率大于或等于第一预设变化率阈值时,所述图像数据处理设备可以减少所述检测时长,例如,所述数据量变化率为30%,表示在检测时长1min内图像数据缓存量增加或减少了30%,变化的较快,需要减少该检测时长,以保证可以更快的获取网络上传缓存中的数据量的变化情况,便于及时的对图像筛选帧率进行更新,使得网络上传缓存中的数据量的变化趋于一个合适的范围内(该范围可以是长期实践经验所得),例如,可以将检测时长1min改为0.5min。
S402,当所述数据量变化率小于或等于第二预设变化率阈值时,增加所述检测时长;
具体的,当所述数据量变化率小于或等于第二预设变化率阈值时,所述图像数据处理设备可以增加所述检测时长,例如,所述数据量变化率为8%,表示在检测时长1min内图像数据缓存量增加或减少了8%,变化的较缓慢,可以增加该检测时长,无需过于频繁的对图像筛选帧率进行更新,例如,可以将检测时长1min改为1.5min。
S403,当所述数据量变化率小于所述第一预设变化率阈值且大于所述第二预设变化率阈值时,保持所述检测时长;
具体的,当所述数据量变化率小于所述第一预设变化率阈值且大于所述第二预设变化率阈值时,所述图像数据处理设备可以保持所述检测时长,例如,所述数据量变化率为15%,表示在检测时长1min内图像数据缓存量增加或减少了15%,图像数据的缓存量变化范围处在经验范围内,可以维持原来的检测时长不变。
在本发明实施例中,通过分析数据量变化率对检测时长进行更新,保证了检测时长随网络状态变化的适应性,从而提高了基于检测时长对图像筛选帧率进行更新的合理性。
在本发明实施例中,通过获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对图像数据进行筛选处理,并将筛选处理后的图像数据添加至网络上传缓存中,再基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器,当到达第二检测时刻时,获取第一检测时刻与第二检测时刻间网络上传缓存中的数据量变化信息,并基于数据量变化信息对图像筛选帧率进行更新,其中,第二检测时刻为第一检测时刻的下一个检测时刻,第一检测时刻与第二检测时刻间的时长为预先配置的检测时长。通过分析检测时长内的图像数据在终端设备中的缓存量的变化,对图像数据的筛选帧率进行变更,可以及时获取当前网络状态以对图像筛选帧率进行更新,保证了图像筛选帧率适应于网络状态,进而保证了网络直播的效果;通过增加或减少的数据量实现对图像筛选帧率的更新,提高了对图像筛选帧率更新的合理性;通过分析数据量变化率对检测时长进行更新,保证了检测时长随网络状态变化的适应性,从而提高了基于检测时长对图像筛选帧率进行更新的合理性。
下面将引用一个具体的实施过程对本发明实施例提供的图像数据处理方法进行详细说明,本发明实施例所示步骤具体从获取的一张图像数据的角度进行描述,具体实施方式如图6所示:
S501,配置默认筛选帧率和默认时长,将所述默认筛选帧率确定为图像筛选帧率,将所述默认时长确定为检测时长;
具体的,图像数据处理设备可以获取预先设置的图像采集配置信息,可以理解的是,所述图像采集配置信息可以包括默认筛选帧率和默认时长,所述默认筛选帧率可以是所述图像数据处理设备采集图像数据时的采集帧率,例如,可以是摄像机物理采集帧率60FPS,所述默认时长可以是所述图像数据处理设备首次对图像数据进行筛选处理时的检测时长,例如可以是1min或者其他合理的时间段。
进一步的,所述图像数据处理设备可以将所述默认筛选帧率确定为图像筛选帧率,并将所述默认时长确定为检测时长,可以理解的是,所述默认筛选帧率和所述默认时长可以认为是对图像数据进行首次筛选处理时,图像筛选帧率和检测时长的初始化值。
S502,对图像筛选帧率和检测时长进行更新;
具体的,所述图像数据处理设备可以采用图2-图5所示实施例所述的图像筛选帧率和检测时长的更新方法对所述图像筛选帧率和所述检测时长进行更新,此处不再赘述。
进一步的,所述图像数据处理设备可以通过更新后的图像筛选帧率确定所采集的图像数据需要丢弃的帧数,例如,图像数据采集时的帧率为60FPS,预先设置的图像筛选帧率为20FPS,则需要将采集的图像数据丢掉2/3即每3帧图像数据只保留1帧。
S503,判断是否结束直播或拍摄;
具体的,通过更新后的图像筛选帧率确定所采集的图像数据需要丢弃的帧数后,所述图像数据处理设备可以判断当前正在进行的直播或者拍摄是否结束,若判断结果为否,则转入执行步骤S504。
S504,接收所采集的图像数据;
具体的,若步骤S503的判断结果为否,则所述图像数据处理设备可以接收所采集的图像数据进,可以理解的是,所述图像数据可以是所述图像数据处理设备通过自身配备的摄像功能所采集的图像数据,也可以是通过采集卡接收摄像机所采集的图像数据。
S505,根据更新后的图像筛选帧率判断所述图像数据是否该丢弃;
具体的,当所述图像数据处理设备可以根据更新后的图像筛选帧率判断所采集的图像数据是否该丢弃,例如,图像数据采集时的帧率为60FPS,若更新后的图像筛选帧率为最大的60FPS,则不需要丢弃任何一帧图像,若更新后的图像筛选帧率为40FPS,则需要将采集的图像数据丢掉1/3即每3帧图像数据丢弃1帧,通过大数据统计后可以判断当前采集的该帧图像数据是否需要丢弃,例如,所采集的第一帧丢弃则第二帧和第三帧不丢弃,第四帧丢弃。
S506,丢弃该图像数据;
具体的,若步骤S505的判断结果为是则执行步骤S506丢弃该图像数据,可选的,所述图像数据处理设备可以直接将该帧图像数据丢弃掉,此后也不会再恢复,可选的,所述图像数据处理设备还可以将需要丢弃的该帧图像数据放入其他缓存中,例如,方式所设置的丢弃数据存储区域中,以供后续需要对完整的视频数据进行处理或保存时,恢复所录制的视频数据,确保所保存视频数据的完整性及清晰度。
进一步的,对丢弃该图像数据后,可以转入执行步骤S503判断直播或拍摄是否接结束。
S507,对图像数据进行编码、并添加至网络上传缓存中,再上传至网络服务器;
具体的,若步骤S505的判断结果为否则对所述图像数据进行编码处理,可以理解的是,所述编码处理可以是对所述图像数据进行数字化处理,将所述图像数据编码为机器语言。
进一步的,所述图像数据处理设备可以将编码后的图像数据上传至网络上传缓存中,再基于所述网络上传缓存和当前的网络上传至网络服务器,通过视频播放端解码后播放出来。
S508,判断是否达到检测时长;
具体的,所述图像数据处理设备可以判断是否到达检测时长,例如,所述图像数据处理设备可以判断对所采集的图像数据进行图像筛选帧率更新、图像数据丢弃判断以及编码上传的过程是否在检测时长1min内完成。若判断结果为否则转入执行步骤S503判断直播或拍摄是否接结束,若判断结果为是则转入执行步骤S509。
S509,检测网络上传缓存,计算更新后的图像筛选帧率和更新后的检测时长;
具体的,当在检测时长内完成了对所采集的图像数据的编码上传后,所述图像数据处理设备可以通过检测当前的网络上传缓存中的缓存量,计算更新后的图像筛选帧率和更新后的检测时长,更新后的图像筛选帧率和检测时长的计算方法具体可以参见图2-图5所示实施例所述的图像数据处理方法中的详细描述,此处不再赘述。
在本发明实施例中,通过获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对图像数据进行筛选处理,并将筛选处理后的图像数据添加至网络上传缓存中,再基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器,当到达第二检测时刻时,获取第一检测时刻与第二检测时刻间网络上传缓存中的数据量变化信息,并基于数据量变化信息对图像筛选帧率进行更新,其中,第二检测时刻为第一检测时刻的下一个检测时刻,第一检测时刻与第二检测时刻间的时长为预先配置的检测时长。通过分析检测时长内的图像数据在终端设备中的缓存量的变化,对图像数据的筛选帧率进行变更,可以及时获取当前网络状态以对图像筛选帧率进行更新,保证了图像筛选帧率适应于网络状态,进而保证了网络直播的效果;通过增加或减少的数据量实现对图像筛选帧率的更新,提高了对图像筛选帧率更新的合理性;通过分析数据量变化率对检测时长进行更新,保证了检测时长随网络状态变化的适应性,从而提高了基于检测时长对图像筛选帧率进行更新的合理性。
下面将结合附图7-附图11,对本发明实施例提供的图像数据处理设备进行详细介绍。需要说明的是,附图7-附图11所示的设备,用于执行本发明图1-图6所示实施例的方法,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明图1-图6所示的实施例。
请参见图7,为本发明实施例提供了一种图像数据处理设备的结构示意图。如图7所示,本发明实施例的所述图像数据处理设备1可以包括:数据处理模块11、数据上传模块12和帧率更新模块13。
数据处理模块11,用于获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,并将筛选处理后的所述图像数据添加至网络上传缓存中;
具体实现中,数据处理模块11可以获取从第一检测时刻起所采集的图像数据,可以理解的是,所述数据处理模块11可以采用自身的摄像功能采集图像数据,也可以通过与摄像机的通信连接获取摄像机所拍摄的图像数据。所述第一检测时刻可以人为确定的任意开始时刻,例如,可以是采用终端设备进行网络直播的开始时刻,也可以为所述第一检测时刻的上一检测时刻经检测时长所到达的检测时刻。
进一步的,所述数据处理模块11可以采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,可以理解的是,所述图像筛选帧率可以为将所述图像数据上传之前,对所述图像数据进行筛选的帧率,例如,图像数据采集时的帧率为60FPS,预先设置的图像筛选帧率为20FPS,则需要将采集的图像数据丢掉2/3即每3帧图像数据只保留1帧。
进一步的,所述数据处理模块11可以将筛选处理后的所述图像数据添加至网络上传缓存中,可以理解的是,所述网络上传缓存可以是所述图像数据处理设备1在将筛选处理后的所述图像数据上传至网络服务器前,对所述图像数据进行存储的区域,例如,可以是图像数据处理设备1中的存储器。
数据上传模块12,用于基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器;
具体实现中,数据上传模块12可以基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器,可以理解的是,所述当前网络状态的好坏可以用最直接的网速来评判,例如,上传网速为25帧/S可以表示当前网络状态较好,上传网速为5帧/S可以表示当前网络状态欠佳。
可以理解的是,所述网络上传缓存中的图像数据通常情况下不会全部上传至网络服务器中,当所述当前网络状态欠佳时,会产生图像数据的缓存留在所述网络上传缓存中。
帧率更新模块13,用于当到达第二检测时刻时,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新;
具体实现中,当到达第二检测时刻时,帧率更新模块13可以获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,可以理解的是,所述第二检测时刻可以是预设的检测时长到达时的时刻,例如,预设的检测时长为1min,若第一检测时刻为终端设备进行网络直播的开始时刻,则第二检测时刻为1min后的时刻。可选的,所述帧率更新模块13可以通过比较所述第一检测时刻与所述第二检测时刻的网络上传缓存中缓存量之间的差值,得到所述数据量变化信息。可以理解的是,所述数据量变化信息可以是图像数据的缓存量增加的信息或者缓存量减少的信息。
进一步的,所述帧率更新模块13可以基于所述数据量变化信息对所述图像筛选帧率进行更新,可选的,当所述数据量变化信息为图像数据的缓存量增加的信息时,说明在检测时长内图像数据上传的速度比采集的速度慢,图像缓存量增加,此时需要降低所述图像数筛选帧率,例如,开始的图像筛选帧率为60FPS,更新后为20FPS,图像筛选帧率降低后可以将每3帧图像丢弃2帧只保留1帧,在充分利用网络资源的同时保证了上传的图像组成的视频数据的质量。可选的,当所述数据量变化信息为图像数据的缓存量减少的信息时,说明在检测时长内图像数据上传的速度比采集的速度快,图像缓存量减少,此时需要增加所述图像数筛选帧率,例如,原来的图像筛选帧率为20FPS,更新后为40FPS,图像筛选帧率增加后可以将员原来的每3帧图像丢弃2帧改为每3帧丢弃1帧,进一步提高视频的画面质量。
在本发明实施例中,通过获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对图像数据进行筛选处理,并将筛选处理后的图像数据添加至网络上传缓存中,再基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器,当到达第二检测时刻时,获取第一检测时刻与第二检测时刻间网络上传缓存中的数据量变化信息,并基于数据量变化信息对图像筛选帧率进行更新,其中,第二检测时刻为第一检测时刻的下一个检测时刻,第一检测时刻与第二检测时刻间的时长为预先配置的检测时长。通过分析检测时长内的图像数据在终端设备中的缓存量的变化,对图像数据的筛选帧率进行变更,可以及时获取当前网络状态以对图像筛选帧率进行更新,保证了图像筛选帧率适应于网络状态,进而保证了网络直播的效果。
请参见图8,为本发明实施例提供了另一种图像数据处理设备的结构示意图。如图8所示,本发明实施例的所述图像数据处理设备1可以包括:数据处理模块11、数据上传模块12、帧率更新模块13、信息获取模块14、信息确认模块15、变化率计算模块16和时长更新模块17。
信息获取模块14,用于获取预先设置的图像采集配置信息,所述图像采集配置信息包括默认筛选帧率和默认时长;
具体实现中,信息获取模块14可以获取预先设置的图像采集配置信息,可以理解的是,所述图像采集配置信息可以包括默认筛选帧率和默认时长,所述默认筛选帧率可以是所述图像数据处理设备1采集图像数据时的采集帧率,例如,可以是摄像机物理采集帧率60FPS,所述默认时长可以是所述图像数据处理设备首次对图像数据进行筛选处理时的检测时长,例如可以是1min或者其他合理的时间段。
信息确认模块15,用于将所述默认筛选帧率确定为图像筛选帧率,将所述默认时长确定为检测时长;
具体实现中,信息确认模块15可以将所述默认筛选帧率确定为图像筛选帧率,并将所述默认时长确定为检测时长,可以理解的是,所述默认筛选帧率和所述默认时长可以认为是对图像数据进行首次筛选处理时,图像筛选帧率和检测时长的初始化值。
数据处理模块11,用于获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,并将筛选处理后的所述图像数据添加至网络上传缓存中;
具体实现中,数据处理模块11可以获取从第一检测时刻起所采集的图像数据,可以理解的是,所述数据处理模块11可以采用自身的摄像功能采集图像数据,也可以通过与摄像机的通信连接获取摄像机所拍摄的图像数据。所述第一检测时刻可以人为确定的任意开始时刻,例如,可以是采用终端设备进行网络直播的开始时刻,也可以为所述第一检测时刻的上一检测时刻经检测时长所到达的检测时刻。
进一步的,所述数据处理模块11可以采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,可以理解的是,所述图像筛选帧率可以为将所述图像数据上传之前,对所述图像数据进行筛选的帧率,例如,图像数据采集时的帧率为60FPS,预先设置的图像筛选帧率为20FPS,则需要将采集的图像数据丢掉2/3即每3帧图像数据只保留1帧。
进一步的,所述数据处理模块11可以将筛选处理后的所述图像数据添加至网络上传缓存中,可以理解的是,所述网络上传缓存可以是所述图像数据处理设备在将筛选处理后的所述图像数据上传至网络服务器前,对所述图像数据进行存储的区域,例如,可以是图像数据处理设备中的存储器。
数据上传模块12,用于基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器;
具体实现中,数据上传模块12可以基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器,可以理解的是,所述当前网络状态的好坏可以用最直接的网速来评判,例如,上传网速为25帧/S可以表示当前网络状态较好,上传网速为5帧/S可以表示当前网络状态欠佳。
可以理解的是,所述网络上传缓存中的图像数据通常情况下不会全部上传至网络服务器中,当所述当前网络状态欠佳时,会产生图像数据的缓存留在所述网络上传缓存中。
帧率更新模块13,用于当到达第二检测时刻时,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新;
具体实现中,当到达第二检测时刻时,帧率更新模块13可以获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新。
请一并参考图9,为本发明实施例提供了帧率更新模块的结构示意图。如图9所示,所述帧率更新模块13可以包括:
缓存量获取单元131,用于当到达第二检测时刻时,获取所述第一检测时刻时所述网络上传缓存的第一缓存量,获取所述第二检测时刻时所述网络上传缓存的第二缓存量;
具体实现中,当到达第二检测时刻时,缓存量获取单元131可以获取所述第一检测时刻时所述网络上传缓存的第一缓存量,可以理解的是,所述第二检测时刻可以是预设的检测时长到达时的时刻,例如,预设的检测时长为1min,若第一检测时刻为终端设备进行网络直播的开始时刻,则第二检测时刻为1min后的时刻。所述第一缓存量可以是所述第一检测时刻时所述网络上传缓存中存储的图像数据的缓存量,例如,可以是10帧。可选的,所述第一缓存量可以是在所述第一检测时刻时,所述图像数据处理设备1就获取并存储的,当到达所述第二检测时刻时,直接获取的。
进一步的,所述缓存量获取单元131可以获取第二检测时刻时所述网络上传缓存的第二缓存量,可以理解的是,所述第二缓存量可以是所述第二检测时刻时所述网络上传缓存中存储的图像数据的缓存量,例如,可以是15帧或者9帧。
帧率更新单元132,用于根据所述第一缓存量和所述第二缓存量,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态和数据量变化值,并基于所述数据量变化状态和所述数据量变化值对所述图像筛选帧率进行更新;
具体实现中,帧率更新单元132可以根据所述第一缓存量和所述第二缓存量,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态和数据量变化值,可以理解的是,数据量变化状态可以是所述第一检测时刻与所述第二检测时刻间的网络上传缓存中缓存量之间的差值状态,例如,差值为正数时代表所述数据量变化状态为数据量增加状态,差值为负数时代表所述数据量变化状态为数据量减少状态。所述数据量变化值可以是上述差值的具体值,例如,可以是5帧或者-1帧等。
进一步的,所述帧率更新单元132可以基于所述数据量变化状态和所述数据量变化值对所述图像筛选帧率进行更新,可选的,当所述数据量变化状态为数据量增加状态时,通过获取数据量增加值,对所述图像筛选帧率进行更新,例如,根据所述数据量增加值降低所述图像筛选帧率。可选的,当所述数据量变化状态为数据量减少状态时,通过获取数据量减少值,对所述图像筛选帧率进行更新,例如,根据所述数据量增加值增加所述图像筛选帧率。
变化率计算模块16,用于根据所述数据量变化值计算所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化率;
具体实现中,变化率计算模块16可以根据所述数据量变化值计算所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化率,例如,第一检测时刻的缓存量为10帧,第二检测时刻的缓存量为15帧,则数据量变化值为5帧,从而可以计算所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化率即增长率为(5/10)*100%=50%,若第一检测时刻的缓存量为10帧,第二检测时刻的缓存量为9帧,则数据量变化值为-1帧,数据量变化率即减少率为(1/10)*100%=10%。
时长更新模块17,用于基于所述数据量变化率对所述检测时长进行更新;
具体实现中,时长更新模块17可以基于所述数据量变化率对所述检测时长进行更新。可选的,所述时长更新模块17可以根据实践经验预设变化率阈值作为所述数据量变化率的参考值,例如,当所述数据量变化率大于或等于第一预设变化率阈值时,可以认为在缓存量变化的较快,检测时长可能存在取值较大的问题,此时可以减少所述检测时长;当所述数据量变化率小于或等于第二预设变化率阈值时,可以认为在缓存量变化的较慢,检测时长可能存在取值较小的问题,此时可以增加所述检测时长;当所述数据量变化率小于所述第一预设变化率阈值且大于所述第二预设变化率阈值时,可以认为在缓存量变化的比较适中,此时可以保持所述检测时长不变,可以理解的是,所述数据量变化率可以是增长率也可以是减少率,所述第一预设变化率阈值大于所述第二预设变化率阈值,例如,所述第一预设变化率阈值可以为20%,所述第二预设变化率阈值可以为10%。
在本发明实施例一种具体实现方式中,如图10所示,所述帧率更新单元132可以包括:
帧率减低子单元1321,用于当所述第二缓存量大于所述第一缓存量时,确定所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态为数据量增加状态,获取所述第一缓存量与第二缓存量间的数据量增加值,并根据所述数据量增加值降低所述图像筛选帧率;
具体实现中,当所述第二缓存量大于所述第一缓存量时,帧率减低子单元1321可以确定所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态为数据量增加状态,例如,所述第一缓存量为10帧,第二缓存量为12帧时,所述数据量变化状态为数据量增加状态,进一步的,所述帧率减低子单元1321可以获取所述第一缓存量与第二缓存量间的数据量增加值,例如,上述数据量的增加值为2帧。
进一步的,所述帧率减低子单元1321可以根据所述数据量增加值降低所述图像筛选帧率,例如,开始的图像筛选帧率为60FPS,在检测时长(可以设为1min)内的数据量增加值为2帧,即1min的时间内图像数据的缓存增加了2帧,说明当前网络状态欠佳需要降低图像筛选帧率,才能保证图像数据组成的视频数据的画面质量的同时尽量提高网络的使用率,例如,可以将图像筛选帧率降低为20FPS。
帧率增加子单元1322,用于当所述第二缓存量小于所述第一缓存量时,确定所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态为数据量减少状态,获取所述第一缓存量与第二缓存量间的数据量减少值,并根据所述数据量减少值增加所述图像筛选帧率;
具体实现中,当所述第二缓存量小于所述第一缓存量时,帧率增加子单元1322可以确定所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态为数据量减少状态,例如,所述第一缓存量为10帧,第二缓存量为7帧时,所述数据量变化状态为数据量减少状态,进一步的,所述帧率增加子单元1322可以获取所述第一缓存量与第二缓存量间的数据量减少值,例如,上述数据量的增加值为3帧。
进一步的,所述帧率增加子单元1322可以根据所述数据量减少值增加所述图像筛选帧率,例如,开始的图像筛选帧率为40FPS,在检测时长(可以设为1min)内的数据量减少值为3帧,即1min的时间内图像数据的缓存减少了3帧,说明当前网络状态较好需要增加图像筛选帧率,可以进一步提高图像数据组成的视频数据的画面质量,例如,可以将图像筛选帧率增加为50FPS。
在本发明实施例中,通过增加或减少的数据量实现对图像筛选帧率的更新,提高了对图像筛选帧率更新的合理性。
在本发明实施例一种具体实现方式中,如图10所示,所述时长更新模块17可以包括:
时长减少单元171,用于当所述数据量变化率大于或等于第一预设变化率阈值时,减少所述检测时长;
具体实现中,当所述数据量变化率大于或等于第一预设变化率阈值时,时长减少单元171可以减少所述检测时长,例如,所述数据量变化率为30%,表示在检测时长1min内图像数据缓存量增加或减少了30%,变化的较快,需要减少该检测时长,以保证可以更快的获取网络上传缓存中的数据量的变化情况,便于及时的对图像筛选帧率进行更新,使得网络上传缓存中的数据量的变化趋于一个合适的范围内(该范围可以是长期实践经验所得),例如,可以将检测时长1min改为0.5min。
时长增加单元172,用于当所述数据量变化率小于或等于第二预设变化率阈值时,增加所述检测时长;
具体实现中,当所述数据量变化率小于或等于第二预设变化率阈值时,时长增加单元172可以增加所述检测时长,例如,所述数据量变化率为8%,表示在检测时长1min内图像数据缓存量增加或减少了8%,变化的较缓慢,可以增加该检测时长,无需过于频繁的对图像筛选帧率进行更新,例如,可以将检测时长1min改为1.5min。
时长保持单元173,用于当所述数据量变化率小于所述第一预设变化率阈值且大于所述第二预设变化率阈值时,保持所述检测时长;
具体实现中,所述数据量变化率小于所述第一预设变化率阈值且大于所述第二预设变化率阈值时,时长保持单元173可以保持所述检测时长,例如,所述数据量变化率为15%,表示在检测时长1min内图像数据缓存量增加或减少了15%,图像数据的缓存量变化范围处在经验范围内,可以维持原来的检测时长不变。
在本发明实施例中,通过分析数据量变化率对检测时长进行更新,保证了检测时长随网络状态变化的适应性,从而提高了基于检测时长对图像筛选帧率进行更新的合理性。
在本发明实施例中,通过获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对图像数据进行筛选处理,并将筛选处理后的图像数据添加至网络上传缓存中,再基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器,当到达第二检测时刻时,获取第一检测时刻与第二检测时刻间网络上传缓存中的数据量变化信息,并基于数据量变化信息对图像筛选帧率进行更新,其中,第二检测时刻为第一检测时刻的下一个检测时刻,第一检测时刻与第二检测时刻间的时长为预先配置的检测时长。通过分析检测时长内的图像数据在终端设备中的缓存量的变化,对图像数据的筛选帧率进行变更,可以及时获取当前网络状态以对图像筛选帧率进行更新,保证了图像筛选帧率适应于网络状态,进而保证了网络直播的效果;通过增加或减少的数据量实现对图像筛选帧率的更新,提高了对图像筛选帧率更新的合理性;通过分析数据量变化率对检测时长进行更新,保证了检测时长随网络状态变化的适应性,从而提高了基于检测时长对图像筛选帧率进行更新的合理性。
本发明实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1-图6所示实施例的方法步骤,具体执行过程可以参见图1-图6所示实施例的具体说明,在此不进行赘述。
请参见图12,为本发明实施例提供了一种终端的结构示意图。如图12所示,所述终端1000可以包括:至少一个处理器1001,例如CPU,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图12所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及图像数据处理应用程序。
在图12所示的服务器1000中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;网络接口1004用于与用户终端进行数据通信;而处理器1001可以用于调用存储器1005中存储的图像数据处理应用程序,并具体执行以下操作:
获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,并将筛选处理后的所述图像数据添加至网络上传缓存中;
基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器;
当到达第二检测时刻时,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新;
其中,所述第二检测时刻为所述第一检测时刻的下一个检测时刻,所述第一检测时刻与所述第二检测时刻间的时长为预先配置的检测时长。
在一个实施例中,所述处理器1001在执行获取从第一检测时刻起所采集的图像数据之前,还执行以下操作:
获取预先设置的图像采集配置信息,所述图像采集配置信息包括默认筛选帧率和默认时长;
将所述默认筛选帧率确定为图像筛选帧率,将所述默认时长确定为检测时长。
在一个实施例中,所述处理器1001在执行当到达第二检测时刻时,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新时,具体执行以下操作:
当到达第二检测时刻时,获取所述第一检测时刻时所述网络上传缓存的第一缓存量,获取所述第二检测时刻时所述网络上传缓存的第二缓存量;
根据所述第一缓存量和所述第二缓存量,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态和数据量变化值,并基于所述数据量变化状态和所述数据量变化值对所述图像筛选帧率进行更新。
在一个实施例中,所述处理器1001在执行根据所述第一缓存量和所述第二缓存量获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态和数据量变化值,并基于所述数据量变化状态和所述数据量变化值对所述图像筛选帧率进行更新时,具体执行以下操作:
当所述第二缓存量大于所述第一缓存量时,确定所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态为数据量增加状态,获取所述第一缓存量与第二缓存量间的数据量增加值,并根据所述数据量增加值降低所述图像筛选帧率;
当所述第二缓存量小于所述第一缓存量时,确定所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态为数据量减少状态,获取所述第一缓存量与第二缓存量间的数据量减少值,并根据所述数据量减少值增加所述图像筛选帧率。
在一个实施例中,所述处理器1001还用于执行以下操作:
根据所述数据量变化值计算所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化率;
基于所述数据量变化率对所述检测时长进行更新。
在一个实施例中,所述处理器1001在执行基于所述数据量变化率对所述检测时长进行更新时,具体执行以下操作:
当所述数据量变化率大于或等于第一预设变化率阈值时,减少所述检测时长;
当所述数据量变化率小于或等于第二预设变化率阈值时,增加所述检测时长;
当所述数据量变化率小于所述第一预设变化率阈值且大于所述第二预设变化率阈值时,保持所述检测时长;
其中,所述第一预设变化率阈值大于所述第二预设变化率阈值。
在本发明实施例中,通过获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对图像数据进行筛选处理,并将筛选处理后的图像数据添加至网络上传缓存中,再基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器,当到达第二检测时刻时,获取第一检测时刻与第二检测时刻间网络上传缓存中的数据量变化信息,并基于数据量变化信息对图像筛选帧率进行更新,其中,第二检测时刻为第一检测时刻的下一个检测时刻,第一检测时刻与第二检测时刻间的时长为预先配置的检测时长。通过分析检测时长内的图像数据在终端设备中的缓存量的变化,对图像数据的筛选帧率进行变更,可以及时获取当前网络状态以对图像筛选帧率进行更新,保证了图像筛选帧率适应于网络状态,进而保证了网络直播的效果;通过增加或减少的数据量实现对图像筛选帧率的更新,提高了对图像筛选帧率更新的合理性;通过分析数据量变化率对检测时长进行更新,保证了检测时长随网络状态变化的适应性,从而提高了基于检测时长对图像筛选帧率进行更新的合理性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (14)

1.一种图像数据处理方法,其特征在于,包括:
获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,并将筛选处理后的所述图像数据添加至网络上传缓存中,将丢弃的图像数据添加至丢弃数据存储区域中;所述丢弃的图像数据用于对所述图像数据进行恢复处理,所述丢弃的图像数据和筛选处理后的所述图像数据均属于所述图像数据;
基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器;
当到达第二检测时刻时,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新其中,所述第二检测时刻为所述第一检测时刻的下一个检测时刻,所述第一检测时刻与所述第二检测时刻间的时长为预先配置的检测时长。
2.如权利要求1所述的方法,其特征在于,所述获取从第一检测时刻起所采集的图像数据之前,还包括:
获取预先设置的图像采集配置信息,所述图像采集配置信息包括默认筛选帧率和默认时长;
将所述默认筛选帧率确定为图像筛选帧率,将所述默认时长确定为检测时长。
3.如权利要求1所述的方法,其特征在于,所述当到达第二检测时刻时,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新,包括:
当到达第二检测时刻时,获取所述第一检测时刻时所述网络上传缓存的第一缓存量,获取所述第二检测时刻时所述网络上传缓存的第二缓存量;
根据所述第一缓存量和所述第二缓存量,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态和数据量变化值,并基于所述数据量变化状态和所述数据量变化值对所述图像筛选帧率进行更新。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一缓存量和所述第二缓存量获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态和数据量变化值,并基于所述数据量变化状态和所述数据量变化值对所述图像筛选帧率进行更新,包括:
当所述第二缓存量大于所述第一缓存量时,确定所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态为数据量增加状态,获取所述第一缓存量与第二缓存量间的数据量增加值,并根据所述数据量增加值降低所述图像筛选帧率;
当所述第二缓存量小于所述第一缓存量时,确定所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态为数据量减少状态,获取所述第一缓存量与第二缓存量间的数据量减少值,并根据所述数据量减少值增加所述图像筛选帧率。
5.如权利要求3所述的方法,其特征在于,还包括:
根据所述数据量变化值计算所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化率;
基于所述数据量变化率对所述检测时长进行更新。
6.根据权利要求5所述的方法,其特征在于,所述基于所述数据量变化率对所述检测时长进行更新,包括:
当所述数据量变化率大于或等于第一预设变化率阈值时,减少所述检测时长;
当所述数据量变化率小于或等于第二预设变化率阈值时,增加所述检测时长;
当所述数据量变化率小于所述第一预设变化率阈值且大于所述第二预设变化率阈值时,保持所述检测时长;
其中,所述第一预设变化率阈值大于所述第二预设变化率阈值。
7.一种图像数据处理设备,其特征在于,包括:
数据处理模块,用于获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,并将筛选处理后的所述图像数据添加至网络上传缓存中,将丢弃的图像数据添加至丢弃数据存储区域中;所述丢弃的图像数据用于对所述图像数据进行恢复处理,所述丢弃的图像数据和筛选处理后的所述图像数据均属于所述图像数据;
数据上传模块,用于基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器;
帧率更新模块,用于当到达第二检测时刻时,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新;
其中,所述第二检测时刻为所述第一检测时刻的下一个检测时刻,所述第一检测时刻与所述第二检测时刻间的时长为预先配置的检测时长。
8.如权利要求7所述的设备,其特征在于,还包括:
信息获取模块,用于获取预先设置的图像采集配置信息,所述图像采集配置信息包括默认筛选帧率和默认时长;
信息确认模块,用于将所述默认筛选帧率确定为图像筛选帧率,将所述默认时长确定为检测时长。
9.如权利要求7所述的设备,其特征在于,所述帧率更新模块包括:
缓存量获取单元,用于当到达第二检测时刻时,获取所述第一检测时刻时所述网络上传缓存的第一缓存量,获取所述第二检测时刻时所述网络上传缓存的第二缓存量;
帧率更新单元,用于根据所述第一缓存量和所述第二缓存量,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态和数据量变化值,并基于所述数据量变化状态和所述数据量变化值对所述图像筛选帧率进行更新。
10.如权利要求9所述的设备,其特征在于,所述帧率更新单元包括:
帧率减低子单元,用于当所述第二缓存量大于所述第一缓存量时,确定所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态为数据量增加状态,获取所述第一缓存量与第二缓存量间的数据量增加值,并根据所述数据量增加值降低所述图像筛选帧率;
帧率增加子单元,用于当所述第二缓存量小于所述第一缓存量时,确定所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化状态为数据量减少状态,获取所述第一缓存量与第二缓存量间的数据量减少值,并根据所述数据量减少值增加所述图像筛选帧率。
11.如权利要求9所述的设备,其特征在于,还包括:
变化率计算模块,用于根据所述数据量变化值计算所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化率;
时长更新模块,用于基于所述数据量变化率对所述检测时长进行更新。
12.如权利要求11所述的设备,所述时长更新模块包括:
时长减少单元,用于当所述数据量变化率大于或等于第一预设变化率阈值时,减少所述检测时长;
时长增加单元,用于当所述数据量变化率小于或等于第二预设变化率阈值时,增加所述检测时长;
时长保持单元,用于当所述数据量变化率小于所述第一预设变化率阈值且大于所述第二预设变化率阈值时,保持所述检测时长;
其中,所述第一预设变化率阈值大于所述第二预设变化率阈值。
13.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行以下步骤:
获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,并将筛选处理后的所述图像数据添加至网络上传缓存中;将丢弃的图像数据添加至丢弃数据存储区域中;所述丢弃的图像数据用于对所述图像数据进行恢复处理,所述丢弃的图像数据和筛选处理后的所述图像数据均属于所述图像数据;
基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器;
当到达第二检测时刻时,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新;
其中,所述第二检测时刻为所述第一检测时刻的下一个检测时刻,所述第一检测时刻与所述第二检测时刻间的时长为预先配置的检测时长。
14.一种终端,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行以下步骤:
获取从第一检测时刻起所采集的图像数据,采用预先配置的图像筛选帧率对所述图像数据进行筛选处理,并将筛选处理后的所述图像数据添加至网络上传缓存中;将丢弃的图像数据添加至丢弃数据存储区域中;所述丢弃的图像数据用于对所述图像数据进行恢复处理,所述丢弃的图像数据和筛选处理后的所述图像数据均属于所述图像数据;
基于当前网络状态将网络上传缓存中的图像数据上传至网络服务器;
当到达第二检测时刻时,获取所述第一检测时刻与所述第二检测时刻间网络上传缓存中的数据量变化信息,并基于所述数据量变化信息对所述图像筛选帧率进行更新;
其中,所述第二检测时刻为所述第一检测时刻的下一个检测时刻,所述第一检测时刻与所述第二检测时刻间的时长为预先配置的检测时长。
CN201710401614.4A 2017-05-31 2017-05-31 一种图像数据处理方法及其设备、存储介质、终端 Active CN108989832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710401614.4A CN108989832B (zh) 2017-05-31 2017-05-31 一种图像数据处理方法及其设备、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710401614.4A CN108989832B (zh) 2017-05-31 2017-05-31 一种图像数据处理方法及其设备、存储介质、终端

Publications (2)

Publication Number Publication Date
CN108989832A CN108989832A (zh) 2018-12-11
CN108989832B true CN108989832B (zh) 2021-12-10

Family

ID=64501102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710401614.4A Active CN108989832B (zh) 2017-05-31 2017-05-31 一种图像数据处理方法及其设备、存储介质、终端

Country Status (1)

Country Link
CN (1) CN108989832B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324654A (zh) * 2019-08-02 2019-10-11 广州虎牙科技有限公司 主播端直播视频帧处理方法、装置、设备、***及介质
CN112788265B (zh) * 2019-11-11 2024-02-02 浙江宇视科技有限公司 录像数据保存方法、装置、图像采集设备及可读存储介质
CN111511002B (zh) * 2020-04-23 2023-12-05 Oppo广东移动通信有限公司 检测帧率的调节方法和装置、终端和可读存储介质
CN111682980A (zh) * 2020-05-28 2020-09-18 西安万像电子科技有限公司 一种图像编码方法及装置
CN113824992B (zh) * 2020-06-19 2023-04-14 京东方科技集团股份有限公司 终端及上传方法、服务器及监测方法、介质、设备及***
CN112350958B (zh) * 2020-10-30 2024-01-23 深圳Tcl新技术有限公司 语音数据动态上传方法、物联网设备及存储介质
CN113132637B (zh) * 2021-04-19 2023-04-07 Oppo广东移动通信有限公司 图像处理方法、图像处理芯片、应用处理芯片及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1956508A (zh) * 2005-10-27 2007-05-02 夏普株式会社 接收机、发送/接收***和通信方法
CN101228748A (zh) * 2005-06-28 2008-07-23 诺基亚公司 优化突发实时流的回放启动时间
CN101552909A (zh) * 2009-04-28 2009-10-07 山东大学 基于无线视频监控的帧率控制方法
CN101583025A (zh) * 2009-06-11 2009-11-18 中兴通讯股份有限公司 一种流媒体播放方法及装置
CN102945583A (zh) * 2012-12-07 2013-02-27 南京大学 基于蓝牙通信的移动设备防盗检测方法
CN103702119A (zh) * 2013-12-20 2014-04-02 电子科技大学 低延迟视频编码基于可变帧率的码率控制方法
CN104683762A (zh) * 2015-01-29 2015-06-03 中国人民解放军理工大学 一种基于缓冲占用比的无人机视频无线自适应传输方法和无线传输***
CN105812902A (zh) * 2016-03-17 2016-07-27 联发科技(新加坡)私人有限公司 数据播放的方法、设备及***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008311831A (ja) * 2007-06-13 2008-12-25 Panasonic Corp 動画像通信装置、動画像通信システムおよび動画像通信用の半導体集積回路
JP4561851B2 (ja) * 2008-03-18 2010-10-13 カシオ計算機株式会社 撮像装置、撮像方法および撮像プログラム
US20090268097A1 (en) * 2008-04-28 2009-10-29 Siou-Shen Lin Scene change detection method and related apparatus according to summation results of block matching costs associated with at least two frames
JP2013110572A (ja) * 2011-11-21 2013-06-06 Sony Corp 再生装置、再生方法、及びプログラム
EP2863630A4 (en) * 2012-07-03 2016-03-09 Samsung Electronics Co Ltd Method and apparatus for video coding with temporal scalability and method and apparatus for video decoding with temporal scalability
WO2016129303A1 (ja) * 2015-02-10 2016-08-18 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228748A (zh) * 2005-06-28 2008-07-23 诺基亚公司 优化突发实时流的回放启动时间
CN1956508A (zh) * 2005-10-27 2007-05-02 夏普株式会社 接收机、发送/接收***和通信方法
CN101552909A (zh) * 2009-04-28 2009-10-07 山东大学 基于无线视频监控的帧率控制方法
CN101583025A (zh) * 2009-06-11 2009-11-18 中兴通讯股份有限公司 一种流媒体播放方法及装置
CN102945583A (zh) * 2012-12-07 2013-02-27 南京大学 基于蓝牙通信的移动设备防盗检测方法
CN103702119A (zh) * 2013-12-20 2014-04-02 电子科技大学 低延迟视频编码基于可变帧率的码率控制方法
CN104683762A (zh) * 2015-01-29 2015-06-03 中国人民解放军理工大学 一种基于缓冲占用比的无人机视频无线自适应传输方法和无线传输***
CN105812902A (zh) * 2016-03-17 2016-07-27 联发科技(新加坡)私人有限公司 数据播放的方法、设备及***

Also Published As

Publication number Publication date
CN108989832A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN108989832B (zh) 一种图像数据处理方法及其设备、存储介质、终端
CN108495142B (zh) 视频编码方法及装置
CN108124194B (zh) 一种视频直播方法、装置及电子设备
CN110557670B (zh) 在网页页面中播放视频的方法、装置、终端和存储介质
CN106303157B (zh) 一种视频降噪处理方法及视频降噪处理装置
US20150156421A1 (en) Digital Zoom With Sensor Mode Change
EP3253064A1 (en) Frame loss method for video frame and video sending apparatus
CN109089131B (zh) 一种基于ios***的录屏直播方法、装置、设备及存储介质
CN107483401B (zh) 一种多媒体数据传输方法及其设备、存储介质、服务器
JP7295950B2 (ja) 映像増強制御方法、装置、電子機器及び記憶媒体
CN108235120B (zh) 直播视频流推送方法、装置及电子设备
CN108347580B (zh) 一种处理视频帧数据的方法及电子设备
KR20150040872A (ko) 가상 인트라-프레임을 사용하여 비디오 콘텐츠를 인코딩하기 위한 시스템 및 방법
CN104580907A (zh) 一种防抖的拍照方法及装置
US10389785B2 (en) Method for adaptively streaming an audio/visual material
CN103327252A (zh) 拍摄装置及其拍摄方法
CN112399123B (zh) 视频清晰度的调整方法、装置、电子设备及存储介质
CN107333147B (zh) 一种视频缓冲控制方法、终端及存储装置
CN110930467A (zh) 图像处理方法、电子设备及可读存储介质
KR20160095058A (ko) 카메라 모션에 의해 손상된 비디오 프레임의 처리
CN114245196B (zh) 一种录屏推流方法、装置、电子设备及存储介质
CN113691859A (zh) 一种视频缓存方法、装置、设备及介质
CN105391940A (zh) 一种图像推荐方法及装置
CN110689496B (zh) 降噪模型的确定方法、装置、电子设备和计算机存储介质
CN105306830B (zh) 一种拍照控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant