CN109522822A - 一种视频检测方法及装置 - Google Patents
一种视频检测方法及装置 Download PDFInfo
- Publication number
- CN109522822A CN109522822A CN201811280432.7A CN201811280432A CN109522822A CN 109522822 A CN109522822 A CN 109522822A CN 201811280432 A CN201811280432 A CN 201811280432A CN 109522822 A CN109522822 A CN 109522822A
- Authority
- CN
- China
- Prior art keywords
- detection model
- data
- pornographic
- video
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提供了一种视频检测方法及装置,所述方法包括:获取任务消息队列中的检测任务,读取所述检测任务中的待检测视频数据;基于所述待检测视频数据以指定频率抽取多帧图像数据,将所述多帧图像数据打包为所述待检测视频数据的测试视频帧包;将所述测试视频帧包输入预先构建的检测模型,所述检测模型包括色情检测模型和/或花屏检测模型;基于所述色情检测模型和/或花屏检测模型对所述测试视频帧包进行色情和/或花屏检测。基于本发明提供的方法,通过对待检测视频数据进行抽帧处理,以在保证检测结果准确的同时节省检测时间;并且将测试视频帧包后直接输入至对应的检测模型中即可,进一步提升视频检测效率。
Description
技术领域
本发明涉及检测技术领域,特别是涉及一种视频检测方法及装置。
背景技术
随着网络技术的不断发展,各种互联网共享信息也随之兴起。尤其是对于网络视频来讲,除了传统的新闻视频、电影电视等视频之外,还有很多小视频以及直播视频等。而在网络视频的传播过程中可能会由于网络延迟等原因导致丢包而产生一些花屏视频,影响用户观感。另外,由于网络视频数量多且可隐蔽性强,可能会被利用传播色情等不良信息,进而对公众造成危害。因此,如何对网络视频检测以保证推荐给用户的视频是健康且完整的是亟待解决的。
发明内容
本发明提供了一种视频检测方法及装置以克服上述问题或者至少部分地解决上述问题。
根据本发明的一个方面,提供了一种视频检测方法,包括:
获取任务消息队列中的检测任务,读取所述检测任务中的待检测视频数据;
基于所述待检测视频数据以指定频率抽取多帧图像数据,将所述多帧图像数据打包为所述待检测视频数据的测试视频帧包;
将所述测试视频帧包输入预先构建的检测模型,所述检测模型包括色情检测模型和/或花屏检测模型;
基于所述色情检测模型和/或花屏检测模型对所述测试视频帧包进行色情和/或花屏检测。
可选地,所述基于所述视频数据以指定频率抽取多帧图像数据之后,将所述多帧图像数据打包为所述待检测视频数据的测试视频帧包之前,还包括:
对所述多帧图像数据进行解码,将所述多帧图像数据的码调整到预设码率范围内。
可选地,所述在预设检测模型中选取检测模型,并将所述测试视频帧包输入所述检测模型之前,还包括:
构建色情检测模型,并基于第一数据集训练所述色情检测模型;和/或
构建花屏检测模型,并基于第二数据集训练所述花屏检测模型。
可选地,所述构建色情检测模型,并基于第一数据集训练所述色情检测模型,包括:
基于VGG、Inception或Inception-Resnet网络结构构建色情检测模型;
获取网络视频数据以及已经过人工审核的视频数据,分别提取第一数值的正样本数据和第二数值的负样本数据构建第一数据集;
基于所述第一数据集训练所述色情检测模型。
可选地,构建花屏检测模型,并基于第二数据集训练所述花屏检测模型,包括:
基于VGG、Inception或Inception-Resnet网络结构构建花屏检测模型;
通过视频处理技术以及深度学习GAN拟合训练数据并构建第二数据集;
基于所述第二数据集训练所述花屏检测模型。
可选地,所述基于所述色情检测模型和/或花屏检测模型对所述测试视频帧包进行色情和/或花屏检测,包括:
基于所述色情检测模型对所述测试视频帧包中的各帧图像数据进行打分;
配置第一置信度参数;
结合所述第一置信度参数判断所述测试视频帧包对应的待检测视频数据是否为色***。
可选地,所述基于所述色情检测模型和/或花屏检测模型对所述测试视频帧包进行色情和/或花屏检测之后,还包括:
基于所述花屏检测模型对所述测试视频帧包中的各帧图像数据进行打分,并分析所述测试视频帧包中各帧图像数据的分值;
配置第二置信度参数;
结合所述第二置信度参数判断所述测试视频帧包对应的待检测视频数据是否为花屏视频。
可选地,所述获取任务消息队列中的检测任务,读取所述检测任务中的待检测视频数据之前,还包括:
通过类Kafka分布式消息队列Qbus传输对视频数据进行检测的任务消息。
根据本发明的另一个方面,还提供了一种视频检测装置,包括:
读取模块,配置为获取任务消息队列中的检测任务,读取所述检测任务中的待检测视频数据;
抽帧模块,配置为基于所述待检测视频数据以指定频率抽取多帧图像数据,将所述多帧图像数据打包为所述待检测视频数据的测试视频帧包;
输入模块,配置为将所述测试视频帧包输入预先构建的检测模型,所述检测模型包括色情检测模型和/或花屏检测模型;
检测模块,配置为基于所述色情检测模型和/或花屏检测模型对所述测试视频帧包进行色情和/或花屏检测。
可选地,所述装置还包括解码模块,配置为:对所述多帧图像数据进行解码,将所述多帧图像数据的码调整到预设码率范围内。
可选地,所述装置还包括模型构建模块,配置为:
构建色情检测模型,并基于第一数据集训练所述色情检测模型;和/或
构建花屏检测模型,并基于第二数据集训练所述花屏检测模型。
可选地,所述模型构建模块还配置为:
基于VGG、Inception或Inception-Resnet网络结构构建色情检测模型;
获取网络视频数据以及已经过人工审核的视频数据,分别提取第一数值的正样本数据和第二数值的负样本数据构建第一数据集;
基于所述第一数据集训练所述色情检测模型。
可选地,所述模型构建模块还配置为:
基于VGG、Inception或Inception-Resnet网络结构构建花屏检测模型;
通过视频处理技术以及深度学习GAN拟合训练数据并构建第二数据集;
基于所述第二数据集训练所述花屏检测模型。
可选地,所述检测模块,包括:
第一检测单元,配置为基于所述色情检测模型对所述测试视频帧包中的各帧图像数据进行打分;
配置第一置信度参数;
结合所述第一置信度参数判断所述测试视频帧包对应的待检测视频数据是否为色***。
可选地,所述检测模块,包括:
第二检测单元,配置为基于所述花屏检测模型对所述测试视频帧包中的各帧图像数据进行打分,并分析所述测试视频帧包中各帧图像数据的分值;
配置第二置信度参数;
结合所述第二置信度参数判断所述测试视频帧包对应的待检测视频数据是否为花屏视频。
可选地,所述装置还包括:
传输模块,配置为通过类Kafka分布式消息队列Qbus传输对视频数据进行检测的任务消息。
根据本发明的另一个方面,还提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序代码,当所述计算机程序代码在计算设备上运行时,导致所述计算设备执行上述任一项所述的视频检测方法。
根据本发明的另一个方面,还提供了一种计算设备,包括:
处理器;
存储有计算机程序代码的存储器;
当所述计算机程序代码被所述处理器运行时,导致所述计算设备执行上述任一项所述的视频检测方法。
本发明提供了一种对色情及花屏视频的检测方法及方法,当获取到检测任务并读取待检测视频数据之后,会基于待检测视频抽取多帧图像数据,进而基于多帧图像数据打包成测试视频帧包以输入预先构建的色情检测模型和/或花屏检测模型中进行检测。由于一个完整的待检测视频数据可能数据量比较大,因此,基于本发明提供的视频检测方法通过对待检测视频数据进行抽帧处理,以预设频率获取其中的多帧图像数据可以在保证检测结果准确的同时节省检测时间。另外,本发明中色情检测模型以及花屏检测模型为预先构建,当获取到待检测视频数据的测试视频帧包后直接输入至对应的检测模型中即可,进一步提升视频检测效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是根据本发明实施例的视频检测方法流程示意图;
图2是根据本发明实施例的VGG网络构建过程示意图;
图3是根据本发明优选实施例的视频检测方法的数据流示意图;
图4是根据本发明实施例的任务消息队列示意图;
图5是根据本发明实施例的视频检测装置结构示意图;
图6是根据本发明优选实施例的视频检测装置结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是根据本发明实施例的视频检测方法流程示意图,如图1所示,根据本发明实施例的视频检测方法可以包括:
步骤S102,获取任务消息队列中的检测任务,读取该检测任务中的待检测视频数据;
步骤S104,基于上述待检测视频数据以指定频率抽取多帧图像数据,将多帧图像数据打包为上述待检测视频数据的测试视频帧包;
步骤S106,将测试视频帧包输入预先构建的检测模型,检测模型包括色情检测模型和/或花屏检测模型;
步骤S108,基于色情检测模型和/或花屏检测模型对测试视频帧包进行色情和/或花屏检测。
本发明实施例提供了一种对色情及花屏视频的检测方法,当获取到检测任务并读取待检测视频数据之后,会基于待检测视频抽取多帧图像数据,进而基于多帧图像数据打包成测试视频帧包以输入预先构建的色情检测模型和/或花屏检测模型中进行检测。由于一个完整的待检测视频数据可能数据量比较大,因此,基于本发明实施例提供的视频检测方法通过对待检测视频数据进行抽帧处理,以预设频率获取其中的多帧图像数据可以在保证检测结果准确的同时节省检测时间。另外,本发明实施例中色情检测模型以及花屏检测模型为预先构建,当获取到待检测视频数据的测试视频帧包后直接输入至对应的检测模型中即可,进一步提升视频检测效率。
上述步骤S102中提及,获取待检测视频数据时,先获取任务消息队列中的检测任务,进而读取检测任务中的待检测视频数据。本发明实施例中优先采Qbus进行检测任务消息的传输,因此,在上述步骤S102之前还可以包括通过类Kafka分布式消息队列Qbus传输对视频数据进行检测的任务消息。
消息队列是为程序或组件提供异步的通信机制,是在消息的传输过程中保存西欧阿西的容器。Qbus消息队列以Kafka为原型,具有分布式、持久化、支持订阅、高可靠、高吞吐、高性能等优点,而且还支持消息批量处理、压缩以及可选可靠级别等优势。本发明实施例中能采用Qbus消息队列对检测任务消息进行传输可保证视频数据检测的有序性,进而提升整体检测效率。
对于一个完整视频来讲,其包括的数据量可能较大,如果对其包括的所有数据帧进行检测的话,不仅浪费时间而且效率低。因此,本发明实施例可基于待检测视频数据以指定频率抽取多帧图像数据,进而对抽取出的多帧图像数据进行检测。举例来说,对于2分钟中的一个视频,可以每秒抽一帧,最终获取120帧的图像数据,进而对上述120帧的图像数据进行检测。实际应用中,对待检测图像数据进行抽帧的频率可根据不同的场景以及不同需求进行设定,本发明不做限定。另外,上述步骤S104中还介绍,抽取多帧图像数据之后,还可以将多帧图像数据打包为上述待检测视频数据的测试视频帧包,优选地,可将所获取的测试视频帧包进行统一存储至指定位置,在后续对待测视频数据进行检测时,再去获取相应的测试视频帧包,进而提升测试效率。
可选地,由于网络视频的码率高低不同,本实施例在上述步骤S104对待检测视频数据进行抽帧以获得多帧图像数据之后,还可以对多帧图像数据进行解码,将多帧图像数据的码调整到预设码率范围内。码率,就是数据传输时单位时间传送的数据位数。有些视频的码率太高或是太低,都不利于后期观看及处理,因此,在本实施例中,通过对抽取的多帧图像数据进行解码,降低或提升其码率以将待检测视频数据的码率控制在预设范围内,可以快速对待检测视频数据进行检测,且不影响用户的后期观看。
上文介绍,对待测视频数据进行测试时,主要是将对应的测试视频帧包输入预先构建的检测模型中,进而通过检测模型对其进行检测,而上述检测模型可以包括色情检测模型和/或花屏检测模型。因此,在上述步骤S106之前,还可以包括:构建色情检测模型,并基于第一数据集训练色情检测模型;和/或构建花屏检测模型,并基于第二数据集训练花屏检测模型。
在本发明一优选实施例中,色情检测模型的构建以及训练可通过以下方式进行:
S1-1-1,基于VGG、Inception或Inception-Resnet网络结构构建色情检测模型;
S1-1-2,获取网络视频数据以及已经过人工审核的视频数据,分别提取第一数值的正样本数据和第二数值的负样本数据构建第一数据集;
S1-1-3,基于上述第一数据集训练色情检测模型。
在构建色情检测模型时,主要是对神经网络的选取以及训练数据的选取。在本发明实施例中,可基于VGG、Inception或Inception-Resnet网络结构构建色情检测模型。上述网络结构属于CNN(卷积神经)网络结构,VGG的最主要的思想就是增加网络深度,Inception网络结构主要就是把稀疏结构近似成几个密集的子矩阵,从而在减少参数的同时,更加有效地利用计算资源。图2示出VGG网络的构建过程,其中:convolution+ReLU代表卷积层;maxpooling代表池化层;fully connected+ReLU代表全连接层,最后为softmax层。softmax可以理解为归一化,如目前图片分类有一百种,那经过softmax层的输出就是一个一百维的向量。向量中的第一个值就是当前图片属于第一类的概率值,向量中的第二个值就是当前图片属于第二类的概率值…这一百维的向量之和为1。
参见图2可知,VGG的输入层以及各卷积层可以如下:
输入:224×224大小的图片,3通道;
第一层卷积:11×11大小的卷积核96个,每个GPU上48个;
第一层max-pooling:2×2的核;
第二层卷积:5×5卷积核256个,每个GPU上128个;
第二层max-pooling:2×2的核;
第三层卷积:与上一层是全连接,3*3的卷积核384个,分到两个GPU上各192个;
第四层卷积:3×3的卷积核384个,两个GPU各192个,该层与上一层连接没有经过pooling层;
第五层卷积:3×3的卷积核256个,两个GPU上各128个;
第五层max-pooling:2×2的核;
第一层全连接:4096维,将第五层max-pooling的输出连接成为一个一维向量,作为该层的输入;
第二层全连接:4096维;
Softmax层:输出为2,输出的每一维都是图片属于该类别的概率。
VGG的特点可以包括:小卷积核,将卷积核全部替换为3x3(极少用了1x1);小池化核,相比AlexNet的3x3的池化核,VGG全部为2x2的池化核;层数更深特征图更宽,基于前两点外,由于卷积核专注于扩大通道数、池化专注于缩小宽和高,使得模型架构上更深更宽的同时,计算量的增加放缓;全连接转卷积,网络测试阶段将训练阶段的三个全连接替换为三个卷积,测试重用训练时的参数,使得测试得到的全卷积网络因为没有全连接的限制,因而可以接收任意宽或高为的输入。
本发明实施例中对色情模型进行训练之前,首先获取网络视频数据以及已经过人工审核的视频数据分别提取第一数值的正样本数据和第二数值的负样本数据构建第一数据集。例如
通过fine-tune的方式,基于VGG、Inception、Inception-Resnet网络结构训练数据。Fine-Tune,是指通过对ImageNet等数据集上训练出来的基础模型(如CaffeNet、VGGNet、ResNet)进行微调,然后应用到训练数据集上,进而提升模型检测效果。在本发明实施例中,可优先选取VGG16,在速度和准确度之间进行平衡。
进一步地,基于上述方法构建的色情检测模型对测试视频帧包进行色情检测时,可以通过以下方式:
S1-2-1,基于色情检测模型对测试视频帧包中的各帧图像数据进行打分;
S1-2-2,配置第一置信度参数;
S1-2-3,结合第一置信度参数判断测试视频帧包对应的待检测视频数据是否为色***。
前文介绍是将测试视频帧包输入至检测模型中,但是在检测模型对其进行检测时,依旧是对于每一帧图像数据进行检测,并为每一帧图像测试数据打上不同的色情分数。与此同时,还可以依据不同的使用场景,配置第一置信度参数,进而结合第一置信度参数对待检测视频数据是否为色***。
了解置信度之前,需要先了解置信区间。在统计学中,一个概率样本的置信区间(Confidence interval)是对这个样本的某个总体参数的区间估计,置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是被测量参数的测量值的可信程度,即前面所要求的“一定概率”。这个概率被称为置信水平。置信水平一般用百分比表示,因此置信水平0.95上的置信区间也可以表达为:95%置信区间。置信区间的两端被称为置信极限。对一个给定情形的估计来说,置信水平越高,所对应的置信区间就会越大
置信度亦称置信概率或置信系数,即被估计的总体参数落在置信区间内的概率。本发明实施例中会对测试视频帧包中的每一帧图像数据进行打分,判断每一帧图像是否为色情图像,假设设定91分以上为色情图像,分数在70~90分为疑似色情图像等其他多个色情图像判断分值范围。色情检测模型如果在120帧图像中检测超过70%为图像数据为色情图像,则判断该测试视频帧包对应的待检测视频数据为重度色***。因此,本发明实施例中的第一置信度参数可以包括判断多个色情图像判断分值范围和/或在测试视频帧包中色情图像所占比例,以对测试视频帧包中的各帧图像数据进行有效统计,使得对测试视频帧包对应的待检测图像数据的色情判断更加准确,进而将有害信息进行有效有效过滤,为用户提供更加健康的视频内容。
类似的,在本发明一优选实施例中,花屏检测模型的构建以及训练可通过以下方式进行:
S2-1-1,基于VGG、Inception或Inception-Resnet网络结构构建花屏检测模型;
S2-1-2,通过视频处理技术以及深度学习GAN拟合训练数据并构建第二数据集;
S2-1-3,基于上述第二数据集训练花屏检测模型。
本发明实施例中构建花屏检测模型时可采用与构建色情检测模型时相同的CNN网络模型,如VGG、Inception或Inception-Resnet等。但是,与色情检测模型不同的是,由于花屏的网络视频数据量可能较小,因此,本发明实施例可通过传统的视频处理基于以及深度学习GAN拟合花屏训练数据,并通过fine-tune的方式,基于VGG、Inception、Inception-Resnet网络结构训练数据。
深度学习GAN(Generative adversarial networks,生成式对抗网络),是一种生成式模型,***由一个生成器和一个判别器构成。生成器捕捉真实数据样本的潜在分布,并生成新的数据样本;判别器是一个二分类器,判别输入是真实数据还是生成的样本。生成器和判别器均可以采用目前研究火热的深度神经网络。通过采用传统的视频处理基于以及深度学习GAN拟合花屏训练数据,可以在保证花屏检测模型训练数据准确且足够的同时使得花屏检测模型的检测结果更加准确可靠。基于上述花屏检测模型对待检测视频数据的测试视频帧包进行花屏检测时可以包括:
S2-2-1,基于花屏检测模型对测试视频帧包中的各帧图像数据进行打分,并分析测试视频帧包中各帧图像数据的分值;
S2-2-2,配置第二置信度参数;
S2-2-3,结合第二置信度参数判断测试视频帧包对应的待检测视频数据是否为花屏视频。
本发明实施例中的第二置信度参数可以包括判断多个花屏图像判断分值范围和/或在测试视频帧包中花屏图像所占比例,可以根据不同的检测场景以及不同的检测需求进行设置,本发明不做限定。基于本发明实施例提供的花屏检测模型可以对测试视频帧包中的各帧图像数据是否为花屏图像进行有效统计,使得对测试视频帧包对应的待检测图像数据的花屏情况判断更加准确,进而将存在花屏及画面不完整的视频数据进行有效有效过滤,进一步提升用户的观感体验。
图3示出了本发明优选实施例提供的视频检测方法的数据流示意图,如图3所示,本发明实施例可以通过外层API接收Call server(呼叫服务器)传输的待检测视频数据,并进行抽帧解码以获取待检测视频数据的测试视频帧包;由于同一时间的测试视频帧包较多,因此,本发明实施例在接收到测试视频帧包之后,可串行调度各个任务。
参见图4可知,任务调度内部分为Receiver和Router,任务消息队列中包括了如图中A、B、C、D、E、F或是更多的检测任务消息。其中,Receiver负责从Qbus中读取数据,根据数据本身的优先级选择检测模型,如色情检测模型和花屏检测模型,然后通过Router串行传送到对应模型进行检测并获取检测结果。最后,再将检测结果回调至callback server回调服务器进而输出检测结果。
基于同一发明构思,本发明实施例还提供了一种视频检测装置,如图5所示,根据本发明实施例提供的视频检测装置可以包括:
读取模块510,配置为获取任务消息队列中的检测任务,读取该检测任务中的待检测视频数据;
抽帧模块520,配置为基于上述待检测视频数据以指定频率抽取多帧图像数据,将上述多帧图像数据打包为待检测视频数据的测试视频帧包;
输入模块530,配置为将测试视频帧包输入预先构建的检测模型,检测模型包括色情检测模型和/或花屏检测模型;
检测模块540,配置为基于色情检测模型和/或花屏检测模型对测试视频帧包进行色情和/或花屏检测。
在本发明一优选实施例中,如图6所示,上述装置还可以包括解码模块550,配置为:对上述多帧图像数据进行解码,将多帧图像数据的码调整到预设码率范围内。
在本发明一优选实施例中,如图6所示,上述装置还可以包括模型构建模块560,配置为:
构建色情检测模型,并基于第一数据集训练色情检测模型;和/或
构建花屏检测模型,并基于第二数据集训练花屏检测模型。
在本发明一优选实施例中,模型构建模块560还可以配置为:
基于VGG、Inception或Inception-Resnet网络结构构建色情检测模型;
获取网络视频数据以及已经过人工审核的视频数据,分别提取第一数值的正样本数据和第二数值的负样本数据构建第一数据集;
基于第一数据集训练色情检测模型。
在本发明一优选实施例中,模型构建模块560还可以配置为:
基于VGG、Inception或Inception-Resnet网络结构构建花屏检测模型;
通过视频处理技术以及深度学习GAN拟合训练数据并构建第二数据集;
基于第二数据集训练花屏检测模型。
在本发明一优选实施例中,如图6所示,检测模块540可以包括:
第一检测单元541,配置为基于色情检测模型对测试视频帧包中的各帧图像数据进行打分;
配置第一置信度参数;
结合第一置信度参数判断测试视频帧包对应的待检测视频数据是否为色***。
在本发明一优选实施例中,如图6所示,检测模块540还可以包括:
第二检测单元542,配置为基于花屏检测模型对测试视频帧包中的各帧图像数据进行打分,并分析测试视频帧包中各帧图像数据的分值;
配置第二置信度参数;
结合第二置信度参数判断测试视频帧包对应的待检测视频数据是否为花屏视频。
在本发明一优选实施例中,如图6所示,上述装置还可以包括:
传输模块570,配置为通过类Kafka分布式消息队列Qbus传输对视频数据进行检测的任务消息。
基于同一发明构思,本发明实施例还提供了一种计算机存储介质,计算机存储介质存储有计算机程序代码,当计算机程序代码在计算设备上运行时,导致计算设备执行上述任一项所述的视频检测方法。
基于同一发明构思,本发明实施例还提供了一种计算设备,包括:
处理器;
存储有计算机程序代码的存储器;
当计算机程序代码被处理器运行时,导致计算设备执行上述任一项所述的视频检测方法。
本发明实施例提供了一种更加高效的视频检测方法及装置,在本发明实施例提供的视频检测方法中,通过对待检测视频数据进行抽帧处理,以预设频率获取其中的多帧图像数据可以在保证检测结果准确的同时节省检测时间。另外,本发明实施例中色情检测模型以及花屏检测模型为预先构建,当获取到待检测视频数据的测试视频帧包后直接输入至对应的检测模型中即可,进一步提升视频检测效率。
另外,本发明实施例可指我们通过对ImageNet等数据集上训练出来的基础模型(如CaffeNet、VGGNet、ResNet)进行微调,进而提升色情检测模型以及花屏检测模型的检测效果。而通过过不同使用场景配置置信度参,使得得出的检测结果更加准确并且可靠。
所属领域的技术人员可以清楚地了解到,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,为简洁起见,在此不另赘述。
另外,在本发明各个实施例中的各功能单元可以物理上相互独立,也可以两个或两个以上功能单元集成在一起,还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现,也可以采用软件或者固件的形式实现。
本领域普通技术人员可以理解:所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,其包括若干指令,用以使得一台计算设备(例如个人计算机,服务器,或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM),磁碟或者光盘等各种可以存储程序代码的介质。
或者,实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机,服务器,或者网络设备等的计算设备)来完成,所述程序指令可以存储于一计算机可读取存储介质中,当所述程序指令被计算设备的处理器执行时,所述计算设备执行本发明各实施例所述方法的全部或部分步骤。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:在本发明的精神和原则之内,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案脱离本发明的保护范围。
根据本发明实施例的一个方面,提供了A1.一种视频检测方法,包括:
获取任务消息队列中的检测任务,读取所述检测任务中的待检测视频数据;
基于所述待检测视频数据以指定频率抽取多帧图像数据,将所述多帧图像数据打包为所述待检测视频数据的测试视频帧包;
将所述测试视频帧包输入预先构建的检测模型,所述检测模型包括色情检测模型和/或花屏检测模型;
基于所述色情检测模型和/或花屏检测模型对所述测试视频帧包进行色情和/或花屏检测。
A2.根据A1所述的方法,其中,所述基于所述视频数据以指定频率抽取多帧图像数据之后,将所述多帧图像数据打包为所述待检测视频数据的测试视频帧包之前,还包括:
对所述多帧图像数据进行解码,将所述多帧图像数据的码调整到预设码率范围内。
A3.根据A1所述的方法,其中,所述在预设检测模型中选取检测模型,并将所述测试视频帧包输入所述检测模型之前,还包括:
构建色情检测模型,并基于第一数据集训练所述色情检测模型;和/或
构建花屏检测模型,并基于第二数据集训练所述花屏检测模型。
A4.根据A3所述的方法,其中,所述构建色情检测模型,并基于第一数据集训练所述色情检测模型,包括:
基于VGG、Inception或Inception-Resnet网络结构构建色情检测模型;
获取网络视频数据以及已经过人工审核的视频数据,分别提取第一数值的正样本数据和第二数值的负样本数据构建第一数据集;
基于所述第一数据集训练所述色情检测模型。
A5.根据A3所述的方法,其中,构建花屏检测模型,并基于第二数据集训练所述花屏检测模型,包括:
基于VGG、Inception或Inception-Resnet网络结构构建花屏检测模型;
通过视频处理技术以及深度学习GAN拟合训练数据并构建第二数据集;
基于所述第二数据集训练所述花屏检测模型。
A6.根据A1-A5任一项所述的方法,其中,所述基于所述色情检测模型和/或花屏检测模型对所述测试视频帧包进行色情和/或花屏检测,包括:
基于所述色情检测模型对所述测试视频帧包中的各帧图像数据进行打分;
配置第一置信度参数;
结合所述第一置信度参数判断所述测试视频帧包对应的待检测视频数据是否为色***。
A7.根据A1-A5任一项所述的方法,其中,所述基于所述色情检测模型和/或花屏检测模型对所述测试视频帧包进行色情和/或花屏检测之后,还包括:
基于所述花屏检测模型对所述测试视频帧包中的各帧图像数据进行打分,并分析所述测试视频帧包中各帧图像数据的分值;
配置第二置信度参数;
结合所述第二置信度参数判断所述测试视频帧包对应的待检测视频数据是否为花屏视频。
A8.根据A1-A5任一项所述的方法,其中,所述获取任务消息队列中的检测任务,读取所述检测任务中的待检测视频数据之前,还包括:
通过类Kafka分布式消息队列Qbus传输对视频数据进行检测的任务消息。
根据本发明实施例的另一个方面,还提供了B9.一种视频检测装置,包括:
读取模块,配置为获取任务消息队列中的检测任务,读取所述检测任务中的待检测视频数据;
抽帧模块,配置为基于所述待检测视频数据以指定频率抽取多帧图像数据,将所述多帧图像数据打包为所述待检测视频数据的测试视频帧包;
输入模块,配置为将所述测试视频帧包输入预先构建的检测模型,所述检测模型包括色情检测模型和/或花屏检测模型;
检测模块,配置为基于所述色情检测模型和/或花屏检测模型对所述测试视频帧包进行色情和/或花屏检测。
B10.根据B9所述的装置,其中,还包括解码模块,配置为:对所述多帧图像数据进行解码,将所述多帧图像数据的码调整到预设码率范围内。
B11.根据B9所述的装置,其中,还包括模型构建模块,配置为:
构建色情检测模型,并基于第一数据集训练所述色情检测模型;和/或
构建花屏检测模型,并基于第二数据集训练所述花屏检测模型。
B12.根据B11所述的装置,其中,所述模型构建模块还配置为:
基于VGG、Inception或Inception-Resnet网络结构构建色情检测模型;
获取网络视频数据以及已经过人工审核的视频数据,分别提取第一数值的正样本数据和第二数值的负样本数据构建第一数据集;
基于所述第一数据集训练所述色情检测模型。
B13.根据B11所述的装置,其中,所述模型构建模块还配置为:
基于VGG、Inception或Inception-Resnet网络结构构建花屏检测模型;
通过视频处理技术以及深度学习GAN拟合训练数据并构建第二数据集;
基于所述第二数据集训练所述花屏检测模型。
B14.根据B9-B13任一项所述的装置,其中,所述检测模块,包括:
第一检测单元,配置为基于所述色情检测模型对所述测试视频帧包中的各帧图像数据进行打分;
配置第一置信度参数;
结合所述第一置信度参数判断所述测试视频帧包对应的待检测视频数据是否为色***。
B15.根据B9-13任一项所述的装置,其中,所述检测模块,包括:
第二检测单元,配置为基于所述花屏检测模型对所述测试视频帧包中的各帧图像数据进行打分,并分析所述测试视频帧包中各帧图像数据的分值;
配置第二置信度参数;
结合所述第二置信度参数判断所述测试视频帧包对应的待检测视频数据是否为花屏视频。
B16.根据B9-B13任一项所述的装置,其中,还包括:
传输模块,配置为通过类Kafka分布式消息队列Qbus传输对视频数据进行检测的任务消息。
根据本发明实施例的另一个方面,还提供了C17.一种计算机存储介质,所述计算机存储介质存储有计算机程序代码,当所述计算机程序代码在计算设备上运行时,导致所述计算设备执行A1-A8任一项所述的视频检测方法。
根据本发明实施例的另一个方面,还提供了D18.一种计算设备,包括:
处理器;
存储有计算机程序代码的存储器;
当所述计算机程序代码被所述处理器运行时,导致所述计算设备执行A1-A8任一项所述的视频检测方法。
Claims (10)
1.一种视频检测方法,包括:
获取任务消息队列中的检测任务,读取所述检测任务中的待检测视频数据;
基于所述待检测视频数据以指定频率抽取多帧图像数据,将所述多帧图像数据打包为所述待检测视频数据的测试视频帧包;
将所述测试视频帧包输入预先构建的检测模型,所述检测模型包括色情检测模型和/或花屏检测模型;
基于所述色情检测模型和/或花屏检测模型对所述测试视频帧包进行色情和/或花屏检测。
2.根据权利要求1所述的方法,其中,所述基于所述视频数据以指定频率抽取多帧图像数据之后,将所述多帧图像数据打包为所述待检测视频数据的测试视频帧包之前,还包括:
对所述多帧图像数据进行解码,将所述多帧图像数据的码调整到预设码率范围内。
3.根据权利要求1所述的方法,其中,所述在预设检测模型中选取检测模型,并将所述测试视频帧包输入所述检测模型之前,还包括:
构建色情检测模型,并基于第一数据集训练所述色情检测模型;和/或
构建花屏检测模型,并基于第二数据集训练所述花屏检测模型。
4.根据权利要求3所述的方法,其中,所述构建色情检测模型,并基于第一数据集训练所述色情检测模型,包括:
基于VGG、Inception或Inception-Resnet网络结构构建色情检测模型;
获取网络视频数据以及已经过人工审核的视频数据,分别提取第一数值的正样本数据和第二数值的负样本数据构建第一数据集;
基于所述第一数据集训练所述色情检测模型。
5.根据权利要求3所述的方法,其中,构建花屏检测模型,并基于第二数据集训练所述花屏检测模型,包括:
基于VGG、Inception或Inception-Resnet网络结构构建花屏检测模型;
通过视频处理技术以及深度学习GAN拟合训练数据并构建第二数据集;
基于所述第二数据集训练所述花屏检测模型。
6.根据权利要求1-5任一项所述的方法,其中,所述基于所述色情检测模型和/或花屏检测模型对所述测试视频帧包进行色情和/或花屏检测,包括:
基于所述色情检测模型对所述测试视频帧包中的各帧图像数据进行打分;
配置第一置信度参数;
结合所述第一置信度参数判断所述测试视频帧包对应的待检测视频数据是否为色***。
7.根据权利要求1-5任一项所述的方法,其中,所述基于所述色情检测模型和/或花屏检测模型对所述测试视频帧包进行色情和/或花屏检测之后,还包括:
基于所述花屏检测模型对所述测试视频帧包中的各帧图像数据进行打分,并分析所述测试视频帧包中各帧图像数据的分值;
配置第二置信度参数;
结合所述第二置信度参数判断所述测试视频帧包对应的待检测视频数据是否为花屏视频。
8.一种视频检测装置,包括:
读取模块,配置为获取任务消息队列中的检测任务,读取所述检测任务中的待检测视频数据;
抽帧模块,配置为基于所述待检测视频数据以指定频率抽取多帧图像数据,将所述多帧图像数据打包为所述待检测视频数据的测试视频帧包;
输入模块,配置为将所述测试视频帧包输入预先构建的检测模型,所述检测模型包括色情检测模型和/或花屏检测模型;
检测模块,配置为基于所述色情检测模型和/或花屏检测模型对所述测试视频帧包进行色情和/或花屏检测。
9.一种计算机存储介质,所述计算机存储介质存储有计算机程序代码,当所述计算机程序代码在计算设备上运行时,导致所述计算设备执行权利要求1-7任一项所述的视频检测方法。
10.一种计算设备,包括:
处理器;
存储有计算机程序代码的存储器;
当所述计算机程序代码被所述处理器运行时,导致所述计算设备执行权利要求1-7任一项所述的视频检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811280432.7A CN109522822A (zh) | 2018-10-30 | 2018-10-30 | 一种视频检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811280432.7A CN109522822A (zh) | 2018-10-30 | 2018-10-30 | 一种视频检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109522822A true CN109522822A (zh) | 2019-03-26 |
Family
ID=65773223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811280432.7A Pending CN109522822A (zh) | 2018-10-30 | 2018-10-30 | 一种视频检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109522822A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427859A (zh) * | 2019-05-31 | 2019-11-08 | 北京金山云网络技术有限公司 | 一种人脸检测方法、装置、电子设备及存储介质 |
CN110740347A (zh) * | 2019-10-31 | 2020-01-31 | 北京金山云网络技术有限公司 | 视频内容检测***、方法、装置、服务器及存储介质 |
CN111163332A (zh) * | 2020-01-08 | 2020-05-15 | 深圳市英威诺科技有限公司 | 视频色情度检测方法、终端及介质 |
CN112183289A (zh) * | 2020-09-22 | 2021-01-05 | 北京金山云网络技术有限公司 | 一种花屏检测方法、装置、设备及介质 |
CN112272311A (zh) * | 2020-10-21 | 2021-01-26 | 腾讯科技(北京)有限公司 | 花屏修复方法、装置、终端、服务器及介质 |
CN112511818A (zh) * | 2020-11-24 | 2021-03-16 | 上海哔哩哔哩科技有限公司 | 视频播放质量检测方法、装置 |
CN112565763A (zh) * | 2020-11-30 | 2021-03-26 | 北京达佳互联信息技术有限公司 | 异常图像样本生成方法及装置、图像检测方法及装置 |
CN113177529A (zh) * | 2021-05-27 | 2021-07-27 | 腾讯音乐娱乐科技(深圳)有限公司 | 识别花屏的方法、装置、设备及存储介质 |
CN113242450A (zh) * | 2021-04-27 | 2021-08-10 | 上海淇玥信息技术有限公司 | 一种基于微服务的分布式视频处理方法、装置和电子设备 |
WO2021248787A1 (zh) * | 2020-06-11 | 2021-12-16 | 深圳创维-Rgb电子有限公司 | 限制级画面检测方法、装置、显示设备和可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107437083A (zh) * | 2017-08-16 | 2017-12-05 | 上海荷福人工智能科技(集团)有限公司 | 一种自适应池化的视频行为识别方法 |
CN107948640A (zh) * | 2017-12-19 | 2018-04-20 | 百度在线网络技术(北京)有限公司 | 视频播放测试方法、装置、电子设备和存储介质 |
CN108154134A (zh) * | 2018-01-11 | 2018-06-12 | 天格科技(杭州)有限公司 | 基于深度卷积神经网络的互联网直播色情图像检测方法 |
CN108683877A (zh) * | 2018-03-30 | 2018-10-19 | 中国科学院自动化研究所 | 基于Spark的分布式海量视频解析*** |
-
2018
- 2018-10-30 CN CN201811280432.7A patent/CN109522822A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107437083A (zh) * | 2017-08-16 | 2017-12-05 | 上海荷福人工智能科技(集团)有限公司 | 一种自适应池化的视频行为识别方法 |
CN107948640A (zh) * | 2017-12-19 | 2018-04-20 | 百度在线网络技术(北京)有限公司 | 视频播放测试方法、装置、电子设备和存储介质 |
CN108154134A (zh) * | 2018-01-11 | 2018-06-12 | 天格科技(杭州)有限公司 | 基于深度卷积神经网络的互联网直播色情图像检测方法 |
CN108683877A (zh) * | 2018-03-30 | 2018-10-19 | 中国科学院自动化研究所 | 基于Spark的分布式海量视频解析*** |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427859A (zh) * | 2019-05-31 | 2019-11-08 | 北京金山云网络技术有限公司 | 一种人脸检测方法、装置、电子设备及存储介质 |
CN110740347A (zh) * | 2019-10-31 | 2020-01-31 | 北京金山云网络技术有限公司 | 视频内容检测***、方法、装置、服务器及存储介质 |
CN110740347B (zh) * | 2019-10-31 | 2022-04-05 | 北京金山云网络技术有限公司 | 视频内容检测***、方法、装置、服务器及存储介质 |
CN111163332A (zh) * | 2020-01-08 | 2020-05-15 | 深圳市英威诺科技有限公司 | 视频色情度检测方法、终端及介质 |
WO2021248787A1 (zh) * | 2020-06-11 | 2021-12-16 | 深圳创维-Rgb电子有限公司 | 限制级画面检测方法、装置、显示设备和可读存储介质 |
CN112183289A (zh) * | 2020-09-22 | 2021-01-05 | 北京金山云网络技术有限公司 | 一种花屏检测方法、装置、设备及介质 |
CN112272311A (zh) * | 2020-10-21 | 2021-01-26 | 腾讯科技(北京)有限公司 | 花屏修复方法、装置、终端、服务器及介质 |
CN112272311B (zh) * | 2020-10-21 | 2022-08-26 | 腾讯科技(北京)有限公司 | 花屏修复方法、装置、终端、服务器及介质 |
CN112511818A (zh) * | 2020-11-24 | 2021-03-16 | 上海哔哩哔哩科技有限公司 | 视频播放质量检测方法、装置 |
CN112565763A (zh) * | 2020-11-30 | 2021-03-26 | 北京达佳互联信息技术有限公司 | 异常图像样本生成方法及装置、图像检测方法及装置 |
CN113242450A (zh) * | 2021-04-27 | 2021-08-10 | 上海淇玥信息技术有限公司 | 一种基于微服务的分布式视频处理方法、装置和电子设备 |
CN113177529A (zh) * | 2021-05-27 | 2021-07-27 | 腾讯音乐娱乐科技(深圳)有限公司 | 识别花屏的方法、装置、设备及存储介质 |
CN113177529B (zh) * | 2021-05-27 | 2024-04-23 | 腾讯音乐娱乐科技(深圳)有限公司 | 识别花屏的方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109522822A (zh) | 一种视频检测方法及装置 | |
CN108509941B (zh) | 情绪信息生成方法和装置 | |
CN108763325B (zh) | 一种网络对象处理方法及装置 | |
CN108154105B (zh) | 水下生物检测与识别方法、装置、服务器及终端设备 | |
Rubinstein et al. | A comparative study of image retargeting | |
CN108322788B (zh) | 一种视频直播中的广告展示方法及装置 | |
TWI532013B (zh) | Image quality analysis method and system | |
Fang et al. | Bottom-up saliency detection model based on human visual sensitivity and amplitude spectrum | |
CN111738243B (zh) | 人脸图像的选择方法、装置、设备及存储介质 | |
CN107679466B (zh) | 信息输出方法和装置 | |
CN106447366B (zh) | 多媒体广告的审核方法、广告审核模型的训练方法及装置 | |
Redi et al. | Crowdsourcing for rating image aesthetic appeal: Better a paid or a volunteer crowd? | |
CN108229262B (zh) | 一种色***检测方法及装置 | |
CN109740019A (zh) | 一种对短视频打标签的方法、装置及电子设备 | |
CN108229504A (zh) | 图像解析方法及装置 | |
CN111539290A (zh) | 视频动作识别方法、装置、电子设备及存储介质 | |
Mohanty et al. | The food recognition benchmark: Using deep learning to recognize food in images | |
CN114399480A (zh) | 蔬菜叶片病害严重程度检测方法及装置 | |
CN109829364A (zh) | 一种表情识别方法、装置和推荐方法、装置 | |
CN105979283A (zh) | 视频转码方法和装置 | |
CN113763348A (zh) | 图像质量确定方法、装置、电子设备及存储介质 | |
CN111200607B (zh) | 一种基于多层lstm的线上用户行为分析方法 | |
CN111768005A (zh) | 轻量级检测模型的训练方法、装置、电子设备及存储介质 | |
CN109660871A (zh) | 一种弹幕角色信息确定方法、装置及设备 | |
CN112966547A (zh) | 一种基于神经网络的燃气现场异常行为识别预警方法、***、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190326 |
|
RJ01 | Rejection of invention patent application after publication |