CN110163835B - 检测截图的方法、装置、设备及计算机可读存储介质 - Google Patents

检测截图的方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110163835B
CN110163835B CN201810717204.5A CN201810717204A CN110163835B CN 110163835 B CN110163835 B CN 110163835B CN 201810717204 A CN201810717204 A CN 201810717204A CN 110163835 B CN110163835 B CN 110163835B
Authority
CN
China
Prior art keywords
screenshot
information
information entropy
sample
live broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810717204.5A
Other languages
English (en)
Other versions
CN110163835A (zh
Inventor
谢金运
王超
伍倡辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810717204.5A priority Critical patent/CN110163835B/zh
Publication of CN110163835A publication Critical patent/CN110163835A/zh
Application granted granted Critical
Publication of CN110163835B publication Critical patent/CN110163835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种检测截图的方法、装置、设备及计算机可读存储介质。方法包括:获取待检测的截图;获取所述截图的目标通道中各个像素点的像素值;根据所述各个像素点的像素值获取所述截图的信息量;基于所述截图的信息量检测所述截图是否损坏,得到检测结果。由于截图的信息量能够反映色彩的多少,从而当获取到待检测的截图后,通过截图的信息量来检测该截图是否损坏,不仅具有良好的鲁棒性,且能够提高检测结果的准确性。

Description

检测截图的方法、装置、设备及计算机可读存储介质
技术领域
本发明实施例涉及互联网技术领域,特别涉及一种检测截图的方法、装置、设备及计算机可读存储介质。
背景技术
随着互联网技术的发展,依托于互联网的应用程序的种类越来越多,直播应用便是时下比较受欢迎的一种。在直播应用中,为了使得用户能够对直播内容有初步了解,常常以直播视频中的画面截图作为直播间的封面。如果截图损坏,将无法表达直播间的内容,因此,如何检测截图是否损坏,成为了影响直播体验的关键。
相关技术在进行截图检测时,考虑到截图损坏时,一般色彩比较单调,比如损坏的截图为纯绿色的图片,因而相关技术提供的一种检测方式是遍历截图的所有像素,直接将颜色个数少的截图确定为损坏的截图。
然而,上述检测方式中,仅凭颜色数量无法覆盖损坏的截图情况,比如对于损坏时以黑色图片为背景,小部分区域内错乱导致呈现彩色,此种情况下,颜色个数仍然比较多,因此,颜色多少不能作为判断截图损坏的标准,相关技术提供的检测方式的准确性不高。
发明内容
本发明实施例提供了一种检测截图的方法、装置、设备及计算机可读存储介质,可用于解决相关技术中的问题。所述技术方案如下:
一方面,本发明实施例提供一种检测截图的方法,所述方法包括:
获取待检测的截图;
获取所述截图的目标通道中各个像素点的像素值;
根据所述各个像素点的像素值获取所述截图的信息量;
基于所述截图的信息量检测所述截图是否损坏,得到检测结果。
一方面,提供了一种检测截图的装置,包括:
第一获取模块,用于获取待检测的截图;
第二获取模块,用于获取所述截图的目标通道中各个像素点的像素值;
第三获取模块,用于根据所述各个像素点的像素值获取所述截图的信息量;
检测模块,用于基于所述截图的信息量检测所述截图是否损坏,得到检测结果。
一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被所述处理器执行时实现上述的检测截图的方法。
一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被执行时实现上述的检测截图的方法。
本发明实施例提供的技术方案可以带来如下有益效果:
由于截图的信息量能够反映色彩的多少,从而当获取到待检测的截图后,通过获取该截图的信息量,基于该截图的信息量来检测该截图是否损坏,不仅具有良好的鲁棒性,且能够提高检测结果的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种实施环境的示意图;
图2是本发明实施例提供的一种损坏的截图示意图;
图3是本发明实施例提供的一种检测截图的方法流程图;
图4是本发明实施例提供的一种信息熵分类器的学习过程示意图;
图5是本发明实施例提供的一种分类器的学习原理示意图;
图6是本发明实施例提供的一种将信息熵分类器应用至直播场景的示意图;
图7是本发明实施例提供的一种截图的示意图;
图8是本发明实施例提供的一种检测截图的装置的结构示意图;
图9是本发明实施例提供的一种检测截图的装置的结构示意图;
图10是本发明实施例提供的一种终端的结构示意图;
图11是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
随着互联网技术的发展,依托于互联网的应用程序的种类越来越多,直播应用便是其中一种。在直播应用中,为了使得用户能够对直播内容有初步了解,常常以直播视频中的画面截图作为直播间的封面。然而,当截图损坏时,将无法表达直播间的内容,为此,本发明实施例提供了一种检测截图的方法。在详细介绍本发明实施例提供的方法之前,首先对该方法的实施环境进行介绍。请参考图1,其示出了本发明实施例提供的实施环境的示意图。该实施环境可以包括:终端11和服务器12。
终端11安装有应用程序客户端,例如,直播应用程序客户端等。当该应用程序客户端启动后,可通过终端11从服务器12上获取直播的各种资源及数据,该资源包括但不限于直播过程所需要的素材资源,例如直播间的装饰物数据等。此外,终端11还可以从服务器12上获取对端数据。无论是直播过程所需要的素材,还是对端数据,当终端11对其进行获取之后,可据此显示直播界面,并通过该直播界面展示直播信息。
服务器12用于存储直播过程所需要的素材资源,并当终端11请求获取该素材资源时,将其发送给终端11。
其中,终端11可以是诸如手机、平板电脑、个人计算机等电子设备。
服务器12可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。
终端11与服务器12通过有线或无线网络建立通信连接。
为了检测损坏的截图,相关技术一般采用两种方式中的一种。方式一中考虑到截图损坏时,一般色彩比较单调,比如损坏的截图为纯绿色的图片,如图2所示。遍历截图的所有像素,直接将颜色个数少的截图确定为损坏的截图。然而,方式一中无法覆盖黑彩损坏类型的截图情况,黑彩图片主要以黑色图片为背景,小部分区域内存在错乱导致呈现色彩,该种情况下颜色个数较多,由此可见,颜色多少并不能作为判断截图损坏的标准。因此,方式一的检测方式的准确性不高。
方式二在对直播流进行解码时,对解码器API使用hook(钩子)技术来检测图片解码是否失败,当检测到图片解码失败时,直接确定截图损坏。然而,该方式二无法过滤因非解码失败而形成的损坏截图,如图2中的“采集损坏”类型的截图,其由采集端直接推送了损坏数据流所生成的截图,推流端采集的问题并不会导致云端解码失败,故hook的API也无法感知该类截图的产生。
通过上述分析不难看出,方式一和方式二均有很大概率无法过滤损坏的截图,如果将损坏的截图作为直播间的封面,将影响用户浏览房间的体验,给直播产品带来损失。为此,本发明实施例提供了一种检测截图的方法,该方法通过计算截图的信息量来确定截图是否损坏,由于截图的信息量能够反映色彩的多少,从而当获取到待检测的截图后,通过获取该截图的信息量,基于该截图的信息量来检测该截图是否损坏,不仅具有良好的鲁棒性,且能够提高检测结果的准确性。
请参考图3,其示出了本发明实施例提供的检测截图的方法流程图,该方法可应用于图1所示实施环境的终端11中。如图3所示,本发明实施例提供的方法可以包括如下几个步骤:
在步骤301中,获取待检测的截图。
由于本发明实施例提供的方法应用于直播应用中,因而可在获取到直播流后,从直播流中获取待检测的截图。在一种可选实施方式中,获取待检测的截图,包括:获取直播流,对获取到的直播流进行截图,得到待检测的截图。其中,对获取到的直播流进行截图时,可以按照等时间间隔进行截图,例如,每10秒从直播流中截图一张图片。此外,在获取到直播流后,还可以对直播流进行解码,例如,可采用直播流编码所对应的解码方式进行解码,本发明实施例对此不加以限定。
在步骤302中,获取截图的目标通道中各个像素点的像素值。
针对该步骤,当解码直播流之后,可得到YUV截图。其中,“Y”表示明亮度(Luminance或Luma),也就是灰阶值;而“U”和“V”表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。“亮度”是透过RGB输入信号来建立的,方法是将RGB信号的特定部分叠加到一起。“色度”则定义了颜色的两个方面-色调与饱和度,分别用Cr和Cb来表示。其中,Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量,那么这样表示的图像就是黑白灰度图像。
在本发明实施例中,以Y、U和V中任一通道作为目标通道,并根据该目标通道来确定截图的信息量。
例如,以如下表1所示的封面截图中Y通道矩形为例,每个小矩形代表一个像素点,矩形中的数字为该像素点的Y值。
表1
25 14 22 11
135 223 76 58
39 55 97 42
44 11 8 245
需要说明的是,上述仅以YUV为例,除此之外,还可以RGB来实现,原理一致,本发明实施例对此不加以限定。
在步骤303中,根据各个像素点的像素值获取截图的信息量。
在通过步骤302获取到目标通道的各个像素点的像素值后,根据各个像素点的像素值获取截图的信息量,包括但不限于根据各个像素点的像素值统计各个像素值出现的次数;根据各个像素值出现的次数确定各个像素值出现的概率;基于各个像素值出现的概率计算截图的信息熵,将计算得到的结果作为截图的信息量。
例如,仍以表1所示为例,遍历Y通道像素点,统计各个像素值出现的次数,如表1所示,像素值为11的像素出现了2次;计算各个像素值出现的概率时,可采用像素值出现的次数÷像素总数的方式实现。如表1所示,像素值为11的概率为2÷16。将计算得到的各个像素值出现的概率代入如下信息熵的计算公式中,得到截图的信息熵,即信息量H(x)。
Figure BDA0001717836990000061
由上述公式可以看出,信息熵的定义是:如果变量x有N种可能取值,第i种的发生概率为p(i),则x的熵为每种可能的信息熵的加权平均数(或者说是熵的期望)。由公式可知,x的N种取值的概率越均匀,则x的熵也大,信息量也就越大。类比到截图像素值上,当各个颜色越均匀地出现,则照片越多彩,能呈现的内容也越多,也即信息量越大。
在步骤304中,基于截图的信息量检测截图是否损坏,得到检测结果。
在得到截图的信息量之后,基于截图的信息量检测截图是否损坏,得到检测结果,包括但不限于调用训练好的信息熵过滤器对截图的信息量进行过滤,信息熵过滤器用于根据学习到的信息熵阈值对截图的信息量进行过滤;当截图通过信息熵过滤器的过滤时,得到截图未损坏的检测结果。
进一步地,为了获取训练好的信息熵过滤器,本发明实施例提供的方法还包括:获取损坏截图样本和正常截图样本;调用信息熵引擎分别对损坏截图样本和正常截图样本进行信息熵计算,并将计算得到的信息熵输入分类器进行信息熵阈值学习,得到信息熵过滤器。
其中,信息熵过滤器的学习过程可如图4所示,通过向信息熵引擎不断输入带标签的损坏截图样本和正常截图样本,得到一系列带标签的信息熵值。再将这些信息熵值输入分类器学习模块进行学习,得到最优信息熵过滤阈值,从而得到根据学习到的信息熵阈值对截图的信息量进行过滤的信息熵过滤器。
为了便于理解,以如图5所示的分类器的学习原理图为例,对本发明实施例提供的信息熵过滤器的过滤原理进行说明。如图5所示,其中坐标轴代表信息熵,X代表损坏样本,O代表正常样本。设定一个阈值线(图中虚线),该线的主要作用是能在信息熵轴上找到一个阈值,以将损坏截图和正常截图的样本分开。这里假设阈值线分错一个X的惩罚因子为a,共分错了m个,分错一个O的惩罚因子为b,共分错了n个,那么阈值线分错的惩罚分数为y=a*m+b*n。分类器的学习过程就是不断地调整阈值线,使得y越小越好。此过程,可以调大a而调小b,从而让阈值线更偏向于往右,尽可能降低分错X的可能,降低漏过损坏图片的可能性,反之依然。
通过上述学习过程,最终由信息熵引擎和过滤阈值组合形成信息熵过滤器。将信息熵过滤器应用到直播场景时,终端从直播服务器拉取实时直播流数据,然后将所截得的图片数据输入到信息熵过滤器中进行过滤,能通过的截图作为直播房间的封面,由终端进行显示。
需要说明的是,作为一种可选实施方式,上述截图检测方法,除了由终端实现外,还可以由服务器实现截图检测。由服务器实现截图检测时,服务器可以在进行截图检测之后,将检测通过的截图发送至终端进行显示。如图6所示。截图服务器从直播服务器拉取实时直播流数据,然后将所截得的图片数据输入到信息熵过滤器进行过滤,能通过的截图则可以作为直播房间的封面发送至终端进行显示。
本发明实施例提供的方法可应用于常规的直播场景中,主要用作直播间的封面。此外,在该截图基础上,还可以配以主播名字、房间标题及人气热度等信息进行展示。如图7所示,通过在截图上添加主播名字、房间标题及人气热度等信息,从而使得直播界面更加直观,内容更佳丰富,进一步提升了用户体验。例如,由终端进行截图检测时,如果截图通过检测,则终端在截图上配以主播名字、房间标题及人气热度等信息进行展示。又例如,由服务器进行截图检测时,将截图发送给终端,由终端在截图上配以主播名字、房间标题及人气热度等信息进行展示。
本发明实施例提供的方法,由于截图的信息量能够反映色彩的多少,从而当获取到待检测的截图后,通过获取该截图的信息量,基于该截图的信息量来检测该截图是否损坏,不仅具有良好的鲁棒性,且能够提高检测结果的准确性。
基于与方法同样的构思,参见图8,本发明实施例提供了一种检测截图的装置,用于执行上述检测截图的方法。该装置包括:
第一获取模块801,用于获取待检测的截图;
第二获取模块802,用于获取截图的目标通道中各个像素点的像素值;
第三获取模块803,用于根据各个像素点的像素值获取截图的信息量;
检测模块804,用于基于截图的信息量检测截图是否损坏,得到检测结果。
在一种可选实施方式中,第三获取模块803,用于根据各个像素点的像素值统计各个像素值出现的次数;根据各个像素值出现的次数确定各个像素值出现的概率;基于各个像素值出现的概率计算截图的信息熵,将计算得到的结果作为截图的信息量。
在一种可选实施方式中,检测模块804,用于调用训练好的信息熵过滤器对截图的信息量进行过滤,信息熵过滤器用于根据学习到的信息熵阈值对截图的信息量进行过滤;当截图通过信息熵过滤器的过滤时,得到截图未损坏的检测结果。
参见图9,该装置还包括:
第四获取模块805,用于获取损坏截图样本和正常截图样本;调用信息熵引擎分别对损坏截图样本和正常截图样本进行信息熵计算,并将计算得到的信息熵输入分类器进行信息熵阈值学习,得到信息熵过滤器。
在一种可选实施方式中,第一获取模块801,用于获取直播流,并对获取到的直播流进行解码,得到待检测的截图。
由于截图的信息量能够反映色彩的多少,从而当获取到待检测的截图后,通过获取该截图的信息量,基于该截图的信息量来检测该截图是否损坏,不仅具有良好的鲁棒性,且能够提高检测结果的准确性。
需要说明的是,上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图10示出了本发明一个示例性实施例提供的终端1000的结构框图。该终端1000可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1000包括有:处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1001可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的检测截图的方法。
在一些实施例中,终端1000还可选包括有:***设备接口1003和至少一个***设备。处理器1001、存储器1002和***设备接口1003之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1003相连。具体地,***设备包括:射频电路1004、触摸显示屏1005、摄像头1006、音频电路1007、定位组件1008和电源1009中的至少一种。
***设备接口1003可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器1001和存储器1002。在一些实施例中,处理器1001、存储器1002和***设备接口1003被集成在同一芯片或电路板上;在一些其他实施例中,处理器1001、存储器1002和***设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1004用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1004包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1004还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1005用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时,显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时,显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1005可以为一个,设置终端1000的前面板;在另一些实施例中,显示屏1005可以为至少两个,分别设置在终端1000的不同表面或呈折叠设计;在再一些实施例中,显示屏1005可以是柔性显示屏,设置在终端1000的弯曲表面上或折叠面上。甚至,显示屏1005还可以设置成非矩形的不规则图形,也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1006用于采集图像或视频。可选地,摄像头组件1006包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1001进行处理,或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1007还可以包括耳机插孔。
定位组件1008用于定位终端1000的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1008可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源1009用于为终端1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于:加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。
加速度传感器1010可以检测以终端1000建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号,控制触摸显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1012可以检测终端1000的机体方向及转动角度,陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1013可以设置在终端1000的侧边框和/或触摸显示屏1005的下层。当压力传感器1013设置在终端1000的侧边框时,可以检测用户对终端1000的握持信号,由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在触摸显示屏1005的下层时,由处理器1001根据用户对触摸显示屏1005的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1014用于采集用户的指纹,由处理器1001根据指纹传感器1014采集到的指纹识别用户的身份,或者,由指纹传感器1014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1001授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1014可以被设置终端1000的正面、背面或侧面。当终端1000上设置有物理按键或厂商Logo时,指纹传感器1014可以与物理按键或厂商Logo集成在一起。
光学传感器1015用于采集环境光强度。在一个实施例中,处理器1001可以根据光学传感器1015采集的环境光强度,控制触摸显示屏1005的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1005的显示亮度;当环境光强度较低时,调低触摸显示屏1005的显示亮度。在另一个实施例中,处理器1001还可以根据光学传感器1015采集的环境光强度,动态调整摄像头组件1006的拍摄参数。
接近传感器1016,也称距离传感器,通常设置在终端1000的前面板。接近传感器1016用于采集用户与终端1000的正面之间的距离。在一个实施例中,当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变小时,由处理器1001控制触摸显示屏1005从亮屏状态切换为息屏状态;当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变大时,由处理器1001控制触摸显示屏1005从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图10中示出的结构并不构成对终端1000的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图11是本发明实施例提供的一种检测截图的设备结构示意图,该设备可以为服务器,服务器可以是单独的服务器或集群服务器。具体来讲:
服务器包括中央处理单元(CPU)1101、随机存取存储器(RAM)1102和只读存储器(ROM)1103的***存储器1104,以及连接***存储器1104和中央处理单元1101的***总线1105。服务器还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(I/O***)1106,和用于存储操作***1113、应用程序1114和其他程序模块1115的大容量存储设备1107。
基本输入/输出***1106包括有用于显示信息的显示器1108和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中显示器1108和输入设备1109都通过连接到***总线1105的输入输出控制器1110连接到中央处理单元1101。基本输入/输出***1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1107通过连接到***总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。大容量存储设备1107及其相关联的计算机可读介质为服务器提供非易失性存储。也就是说,大容量存储设备1107可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的***存储器1104和大容量存储设备1107可以统称为存储器。
根据本发明的各种实施例,服务器还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器可以通过连接在***总线1105上的网络接口单元1111连接到网络1112,或者说,也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机***(未示出)。
上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行。所述一个或者一个以上程序包含用于进行本发明实施例提供的检测截图的方法的指令。
在示例中实施例中,还提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集。所述至少一条指令、至少一段程序、代码集或指令集经配置以由一个或者一个以上处理器执行,以实现上述检测截图的方法。
在示例性实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被计算机设备的处理器执行时实现上述检测截图的方法。
可选地,上述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的示例性实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种检测截图的方法,其特征在于,所述方法应用于直播场景,所述方法包括:
获取直播流,对所述直播流进行解码,对解码后的直播流按照固定时间间隔进行截图,得到待检测的截图;
获取所述截图的目标通道中各个像素点的像素值;
根据所述各个像素点的像素值获取所述截图的信息量;
获取带标签的损坏截图样本和正常截图样本;调用信息熵引擎分别对所述带标签的损坏截图样本和正常截图样本进行信息熵计算,将计算得到的带标签的信息熵输入分类器进行信息熵阈值学习,得到信息熵过滤器;其中,所述分类器学习到的信息熵阈值用于将所述损坏截图样本和所述正常截图样本分开,所述信息熵阈值为惩罚分数满足要求的阈值,所述惩罚分数由第一分数与第二分数之和得到,所述第一分数为分错所述损坏截图样本的惩罚因子和数量的乘积,所述第二分数为分错所述正常截图样本的惩罚因子和数量的乘积;
调用所述信息熵过滤器对所述截图的信息量进行过滤,所述信息熵过滤器用于根据学习到的信息熵阈值对所述截图的信息量进行过滤;
当所述截图通过所述信息熵过滤器的过滤时,在所述截图中添加直播信息,将添加所述直播信息的截图作为直播的封面图片,所述直播信息包括主播信息、直播间名称以及直播间热度中的至少一种。
2.根据权利要求1所述的方法,其特征在于,所述根据所述各个像素点的像素值获取所述截图的信息量,包括:
根据所述各个像素点的像素值统计各个像素值出现的次数;
根据所述各个像素值出现的次数确定所述各个像素值出现的概率;
基于所述各个像素值出现的概率计算所述截图的信息熵,将计算得到的结果作为所述截图的信息量。
3.一种检测截图的装置,其特征在于,所述装置应用于直播场景,所述装置包括:
第一获取模块,用于获取直播流,对所述直播流进行解码,对解码后的直播流按照固定时间间隔进行截图,得到待检测的截图;
第二获取模块,用于获取所述截图的目标通道中各个像素点的像素值;
第三获取模块,用于根据所述各个像素点的像素值获取所述截图的信息量;
第四获取模块,用于获取带标签的损坏截图样本和正常截图样本;调用信息熵引擎分别对所述带标签的损坏截图样本和正常截图样本进行信息熵计算,将计算得到的带标签的信息熵输入分类器进行信息熵阈值学习,得到信息熵过滤器;其中,所述分类器学习到的信息熵阈值用于将所述损坏截图样本和所述正常截图样本分开,所述信息熵阈值为惩罚分数满足要求的阈值,所述惩罚分数由第一分数与第二分数之和得到,所述第一分数为分错所述损坏截图样本的惩罚因子和数量的乘积,所述第二分数为分错所述正常截图样本的惩罚因子和数量的乘积;
检测模块,用于调用所述信息熵过滤器对所述截图的信息量进行过滤,所述信息熵过滤器用于根据学习到的信息熵阈值对所述截图的信息量进行过滤;
添加模块,用于当所述截图通过所述信息熵过滤器的过滤时,在所述截图中添加直播信息,将添加所述直播信息的截图作为直播的封面图片,所述直播信息包括主播信息、直播间名称以及直播间热度中的至少一种。
4.根据权利要求3所述的装置,其特征在于,所述第三获取模块,用于根据所述各个像素点的像素值统计各个像素值出现的次数;根据所述各个像素值出现的次数确定所述各个像素值出现的概率;基于所述各个像素值出现的概率计算所述截图的信息熵,将计算得到的结果作为所述截图的信息量。
5.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被所述处理器执行时实现如权利要求1或2任一项所述的检测截图的方法。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被执行时实现如权利要求1或2任一项所述的检测截图的方法。
CN201810717204.5A 2018-07-03 2018-07-03 检测截图的方法、装置、设备及计算机可读存储介质 Active CN110163835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810717204.5A CN110163835B (zh) 2018-07-03 2018-07-03 检测截图的方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810717204.5A CN110163835B (zh) 2018-07-03 2018-07-03 检测截图的方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110163835A CN110163835A (zh) 2019-08-23
CN110163835B true CN110163835B (zh) 2023-06-16

Family

ID=67644999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810717204.5A Active CN110163835B (zh) 2018-07-03 2018-07-03 检测截图的方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110163835B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311697B (zh) * 2020-03-19 2023-11-17 北京搜狐新媒体信息技术有限公司 图片色彩丰富度的检测方法及相关装置
CN113449783B (zh) * 2021-06-17 2022-11-08 广州大学 一种对抗样本生成方法、***、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336381B1 (en) * 2013-04-08 2016-05-10 Amazon Technologies, Inc. Entropy-based detection of sensitive information in code

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169585A (zh) * 2011-03-31 2011-08-31 汉王科技股份有限公司 图像偏色的检测方法及装置
CN102938069A (zh) * 2012-06-13 2013-02-20 北京师范大学 一种基于信息熵的纯净和混合像元自动划分方法
KR102247052B1 (ko) * 2014-07-21 2021-04-30 삼성전자주식회사 배터리의 이상 상태를 감지하는 장치 및 방법
CN106373125B (zh) * 2016-09-30 2018-10-19 杭州电子科技大学 一种基于信息熵的雪花噪声检测方法
CN108171060A (zh) * 2017-12-29 2018-06-15 哈尔滨安天科技股份有限公司 基于信息熵识别加密变形脚本的方法、***及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336381B1 (en) * 2013-04-08 2016-05-10 Amazon Technologies, Inc. Entropy-based detection of sensitive information in code

Also Published As

Publication number Publication date
CN110163835A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN108174275B (zh) 图像展示方法、装置及计算机可读存储介质
CN110493626B (zh) 视频数据处理方法及装置
CN110839128B (zh) 拍照行为检测方法、装置及存储介质
US11386586B2 (en) Method and electronic device for adding virtual item
WO2020048392A1 (zh) 应用程序的病毒检测方法、装置、计算机设备及存储介质
CN110933334B (zh) 视频降噪方法、装置、终端及存储介质
CN110290426B (zh) 展示资源的方法、装置、设备及存储介质
CN111754386B (zh) 图像区域屏蔽方法、装置、设备及存储介质
WO2022033272A1 (zh) 图像处理方法以及电子设备
CN112084811A (zh) 身份信息的确定方法、装置及存储介质
CN111083513B (zh) 直播画面处理方法、装置、终端及计算机可读存储介质
CN112565806A (zh) 虚拟礼物赠送方法、装置、计算机设备及介质
CN110163835B (zh) 检测截图的方法、装置、设备及计算机可读存储介质
CN111586444A (zh) 视频处理方法、装置、电子设备及存储介质
CN111586279B (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN112738606B (zh) 音频文件的处理方法、装置、终端及存储介质
CN111860064B (zh) 基于视频的目标检测方法、装置、设备及存储介质
CN112235650A (zh) 视频处理方法、装置、终端及存储介质
CN111901679A (zh) 封面图像的确定方法、装置、计算机设备及可读存储介质
CN113592874B (zh) 图像显示方法、装置和计算机设备
CN111369434B (zh) 拼接视频封面生成的方法、装置、设备和存储介质
CN109040753B (zh) 预测模式选择方法、装置及存储介质
CN112950535A (zh) 视频处理方法、装置、电子设备及存储介质
CN111464829A (zh) 切换媒体数据的方法、装置、设备及存储介质
CN110996115A (zh) 直播视频播放方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant