CN108777815A - 视频处理方法和装置、电子设备、计算机可读存储介质 - Google Patents
视频处理方法和装置、电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN108777815A CN108777815A CN201810585928.9A CN201810585928A CN108777815A CN 108777815 A CN108777815 A CN 108777815A CN 201810585928 A CN201810585928 A CN 201810585928A CN 108777815 A CN108777815 A CN 108777815A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- scene
- label
- confidence level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 22
- 238000012549 training Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 241000282326 Felis catus Species 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 241001062009 Indigofera Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种视频处理方法和装置、电子设备、计算机可读存储介质。所述方法包括：从视频中每间隔预设帧提取一帧图像，对提取的图像进行场景识别，得到图像的场景标签及对应的置信度，根据图像的场景标签及对应的置信度建立标签频率直方图，根据标签频率直方图确定视频的视频标签。上述方法中，通过根据视频中图像的场景标签建立标签频率直方图从而确定视频的视频标签，可以提高视频标签的准确性。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种视频处理方法和装置、电子设备、计算机可读存储介质。
背景技术
随着互联网技术的快速发展，视频成为人们日常生活中的重要娱乐方式之一。人们可以在电子设备根据视频标签浏览不同视频，当人们将视频上传到视频网站时需要对视频进行分类并添加视频标签，电子设备可以通过对视频进行识别后获取视频的视频标签。然而，传统技术中存在获取视频标签不准确的问题。
发明内容
本申请实施例提供一种视频处理方法和装置、电子设备、计算机可读存储介质，可以提高视频标签的准确性。
一种视频处理方法，包括：
从视频中每间隔预设帧提取一帧图像，对所述提取的图像进行场景识别，得到所述图像的场景标签及对应的置信度；
根据所述图像的场景标签及对应的置信度建立标签频率直方图；
根据所述标签频率直方图确定所述视频的视频标签。
一种视频处理装置，包括：
场景识别模块，用于从视频中每间隔预设帧提取一帧图像，对所述提取的图像进行场景识别，得到所述图像的场景标签及对应的置信度；
直方图建立模块，用于根据所述图像的场景标签及对应的置信度建立标签频率直方图；
视频标签确定模块，用于根据所述标签频率直方图确定所述视频的视频标签。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
从视频中每间隔预设帧提取一帧图像，对所述提取的图像进行场景识别，得到所述图像的场景标签及对应的置信度；
根据所述图像的场景标签及对应的置信度建立标签频率直方图；
根据所述标签频率直方图确定所述视频的视频标签。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
从视频中每间隔预设帧提取一帧图像，对所述提取的图像进行场景识别，得到所述图像的场景标签及对应的置信度；
根据所述图像的场景标签及对应的置信度建立标签频率直方图；
根据所述标签频率直方图确定所述视频的视频标签。
上述视频处理方法和装置、电子设备、计算机可读存储介质，可以从视频中每个预设帧提取一帧图像，对提取的图像进行场景识别，得到图像的场景标签及对应的置信度，根据视频中各图像的场景标签及对对应的置信度建立标签频率直方图来确定视频的视频标签。由于可以根据视频中图像的场景标签建立标签频率直方图从而确定视频标签，可以提高视频标签的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的内部结构示意图；
图2为一个实施例中视频处理方法的流程图；
图3为一个实施例中神经网络的架构示意图；
图4为一个实施例中建立标签频率直方图的流程图；
图5为另一个实施例中建立标签频率直方图的流程图；
图6为一个实施例中调整置信度的流程图；
图7为一个实施例中视频处理方法的流程图；
图8为一个实施例中视频处理装置的结构框图；
图9为一个实施例中信息处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中电子设备的内部结构示意图。如图1所示，该电子设备包括通过***总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种视频处理方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
图2为一个实施例中视频处理方法的流程图。本实施例中的视频处理方法，以运行于图1中的电子设备上为例进行描述。如图2所示，视频处理方法包括步骤202至步骤206。
步骤202，从视频中每间隔预设帧提取一帧图像，对提取的图像进行场景识别，得到图像的场景标签及对应的置信度。
视频是指电子设备上的任意视频。具体地，视频可以是电子设备通过摄像头采集的视频，也可以是存储在电子设备本地的视频，还可以是电子设备从网络下载的视频等。视频是由多帧静态图像组成的连续画面。预设帧可以根据实际应用需求来确定。具体地，预设帧可以根据视频帧率来确定，也可以根据视频时长来确定，还可以根据帧率和时长二者结合来确定。例如，预设帧可以为0帧，此时电子设备可以提取视频中的每一帧图像，对提取的图像进行场景识别。
电子设备可以根据VGG(Visual Geometry Group)、CNN(Convolutional NeuralNetwork)、SSD(single shot multibox detector)、决策树(Decision Tree)等深度学习算法训练场景识别模型，根据场景识别模型对图像进行场景识别。具体地，电子设备可以训练可输出多个场景标签的神经网络。具体地，在神经网络训练过程中，可以将包含多个训练标签的训练图像或多张包含不同训练标签的训练图像输入到神经网络中，神经网络对训练图像进行特征提取，对提取的图像特征进行检测得到图像中各个特征对应的预测置信度，根据特征的预测置信度和真实置信度得到损失函数，根据损失函数对神经网络的参数进行调整，使得训练的神经网络后续可同时识别图像的多个特征对应的场景标签，从而得到输出多个场景标签的神经网络。置信度是被测量参数的测量值的可信程度。真实置信度表示在该训练图像中预先标注的特征所属指定场景类别的置信度。图像的场景可以是风景、海滩、蓝天、绿草、雪景、烟火、聚光灯、文本、人像、婴儿、猫、狗、美食等。
电子设备采用可输出多标签的神经网络对图像进行检测，具体地，神经网络输入层接收输入的图像，通过基础网路(如VGG网络)提取图像的特征，将提取的图像的特征输入到检测网络层进行场景检测，检测网络层可采用SSD网络、Mobilenet网络等对特征进行检测，在输出层通过softmax分类器输出特征所属类别的置信度及对应的位置，选取置信度最高且超过置信度阈值的目标类别作为图像中该特征所属的场景标签，从而输出图像中各个特征的场景标签及对应的置信度。
步骤204，根据图像的场景标签及对应的置信度建立标签频率直方图。
标签频率直方图是指根据视频中各场景标签的频率建立的直方图。场景标签的频率是根据包含场景标签的图像数量及图像中该场景标签的置信度来确定的。具体地，场景标签的频率可以是视频中包含该场景标签的图像数量与所有提取的图像数量的比值，也可以是根据图像中场景标签的置信度或场景标签对应的位置区域的大小确定该图像中场景标签的权重值，将视频中包含该场景标签的图像的加权和或加权平均值作为该场景标签的频率等。在一个实施例中，电子设备以场景标签作为标签频率直方图的横坐标，场景标签的频率作为标签频率直方图的纵坐标建立标签频率直方图，则电子设备根据标签频率直方图可以得出视频中各场景标签的频率。
步骤206，根据标签频率直方图确定视频的视频标签。
视频标签是指根据视频中出现的场景对视频进行标记，根据视频标签人们可以大概了解到视频的主要内容。视频标签可以是1个，也可以是多个如2个、3个、4个等不限于此。具体地，电子设备可以根据标签频率直方图获取视频中各场景标签对应的频率，根据频率将场景标签按预设规则进行排序，将频率较大的场景标签作为视频的视频标签。电子设备也可以预设标签阈值，将频率大于标签阈值的场景标签作为视频的视频标签。电子设备还可以循环读取频率直方图中场景标签及对应的频率，从而获取频率最大的场景标签作为视频的视频标签。电子设备根据标签频率直方图确定视频的视频标签的方式还可以是上述各种方式的结合或其他方式，在此不做限定。
本申请实施例提供的视频处理方法，可以从视频中每个预设帧提取一帧图像，对提取的图像进行场景识别，得到图像的场景标签及对应的置信度，根据视频中各图像的场景标签及对应的置信度建立标签频率直方图来确定视频的视频标签，可以提高视频标签的准确性。
在一个实施例中，提供的视频处理方法中对提取的图像进行场景识别，得到场景的场景标签及对应的置信度的过程还可以包括：对图像进行场景识别，得到图像的分类标签，对图像进行目标检测，得到图像的目标标签，将分类标签和目标标签作为图像的场景标签。
具体地，电子设备可以采用图像分类技术对图像进行场景识别。电子设备可预存有多个分类标签对应的图像特征信息，将需要进行场景识别的图像中的图像特征信息与预存的图像特征信息进行匹配，获取匹配成功的图像特征信息对应的分类标签作为图像的分类标签。相似地，电子设备对图像进行目标检测，可将图像中图像特征信息与预存的目标标签对应的特征信息进行匹配，获取匹配成功的特征信息对应的目标标签作为图像的目标标签。电子设备中预存的分类标签可包括：风景、海滩、蓝天、绿草、雪景、夜景、黑暗、逆光、日落、烟火、聚光灯、室内、微距、文本、人像、婴儿、猫、狗、美食等；目标标签可包括：人像、婴儿、猫、狗、美食、文本、蓝天、绿草、沙滩、烟火等。电子设备可以将分类标签和目标标签均作为图像的场景标签，并按照置信度的大小依次输出图像的场景标签及对应的置信度。
在一个实施例中，在一个实施例中，提供的视频处理方法中对提取的图像进行场景识别，得到场景的场景标签及对应的置信度的过程还可以包括：对图像进行场景分类和目标检测，得到图像的分类标签和目标标签，将分类标签和目标标签作为图像的场景标签。
具体地，电子设备可以训练可同时实现场景分类和目标检测的神经网络。具体地，在神经网络训练过程中，可以将包含有至少一个背景训练目标和前景训练目标的训练图像输入到神经网络中，神经网络根据背景训练目标和前景训练目标进行特征提取，对背景训练目标进行检测得到第一预测置信度，根据第一预测置信度和第一真实置信度得到第一损失函数，对前景训练目标进行检测得到第二预测置信度，根据第二预测置信度和第二真实置信度得到第二损失函数，根据第一损失函数和第二损失函数得到目标损失函数，对神经网络的参数进行调整，使得训练的神经网络后续可同时识别出场景分类和目标分类，从而得到可以同时对图像的前景区域和背景区域进行检测神经网络。该第一真实置信度表示在该训练图像中预先标注的背景图像所属指定图像类别的置信度。第二真实置信度表示在该训练图像中预先标注的前景目标所属指定目标类别的置信度。
在一个实施例中，上述神经网络包括至少一个输入层、基础网络层、分类网络层、目标检测网络层和两个输出层，该两个输出层包括与该分类网络层级联的第一输出层和与该目标检测网络层级联的第二输出层；其中，在训练阶段，该输入层用于接收该训练图像，该第一输出层用于输出该分类网络层检测的背景图像所属指定场景类别的第一预测置信度；该第二输出层用于输出该目标检测网络层检测的每个预选的默认边界框所属相对于指定目标所对应的真实边界框的偏移量参数和所属指定目标类别的第二预测置信度。图3为一个实施例中神经网络的架构示意图。如图3所示，神经网络的输入层接收带有图像类别标签的训练图像，通过基础网络(如VGG网络)进行特征提取，并将提取的图像特征输出给特征层，由该特征层对图像进行类别检测得到第一损失函数，对前景目标根据图像特征进行目标检测得到第二损失函数，对前景目标根据前景目标进行位置检测得到位置损失函数，将第一损失函数、第二损失函数和位置损失函数进行加权求和得到目标损失函数。神经网络包括数据输入层、基础网络层、场景分类网络层、目标检测网络层和两个输出层。数据输入层用于接收原始图像数据。基础网络层对输入层输入的图像进行预处理以及特征提取。该预处理可包括去均值、归一化、降维和白化处理。去均值是指将输入数据各个维度都中心化为0，目的是将样本的中心拉回到坐标系原点上。归一化是将幅度归一化到同样的范围。白化是指对数据各个特征轴上的幅度归一化。图像数据进行特征提取，例如利用VGG16的前5层卷积层对原始图像进行特征提取，再将提取的特征输入到分类网络层和目标检测网络层。在分类网络层可采用如Mobilenet网络的深度卷积、点卷积对特征进行检测，然后输入到输出层得到图像场景分类所属指定图像类别的第一预测置信度，然后根据第一预测置信度与第一真实置信度求差得到第一损失函数；在目标检测网络层可采用如SSD网络，在VGG16的前5层的卷积层后级联卷积特征层，在卷积特征层使用一组卷积滤波器来预测指定目标类别所对应的预选默认边界框相对于真实边界框的偏移量参数和指定目标类别所对应的第二预测置信度。感兴趣区域为预选默认边界框的区域。根据偏移量参数构建位置损失函数，根据第二预测置信度与第二真实置信度的差异得到第二损失函数。将第一损失函数、第二损失函数和位置损失函数加权求和得到目标损失函数，根据目标损失函数采用反向传播算法调整神经网络的参数，对神经网络进行训练。
采用训练好的神经网络对图像进行识别时，神经网络输入层接收输入的图像，提取图像的特征，输入到分类网络层进行图像场景识别，在第一输出层通过softmax分类器输出背景图像所属各个指定场景类别的置信度，选取置信度最高且超过置信度阈值的图像场景作为该图像的背景图像所属的场景标签。将提取的图像的特征输入到目标检测网络层进行前景目标检测，在第二输出层通过softmax分类器输出前景目标所属指定目标类别的置信度及对应的位置，输出前景目标的各个目标标签，并输出目标标签对应的位置，将得到的分类标签和目标标签作为图像的场景标签。
在一个实施例中，提供的视频处理方法中根据图像的场景标签及对应的置信度建立标签频率直方图的过程，如图4所示，包括：
步骤402，将图像的场景标签对应的置信度作为图像中场景标签的权重值。
图像中场景标签的权重值是指图像中场景标签在视频标签中的重要程度。在视频中其他图像场景标签及权重值一定的情况下，图像中场景标签的权重值越高，则视频中该场景标签的频率越高；图像中场景标签的权重值越低，则视频中该场景标签的频率越低。
步骤404，根据图像的场景标签及对应的权重值建立标签频率直方图。
具体地，电子设备可以根据视频中图像的场景标签及对应的权重值获取该场景标签的加权和，根据场景标签及对应的加权和建立标签频率直方图。电子设备还可以根据视频中图像的场景标签及对应的权重值获取该场景标签的加权平均值，根据场景标签及对应的加权平均值建立标签频率直方图。例如，视频中图像输出的场景标签及对应的置信度分别为A图像：婴儿0.9、草地0.8、蓝天0.5，B图像：美食0.8、婴儿0.6，C图像：蓝天0.7、婴儿0.3，则根据场景标签及对应的加权平均值建立的标签频率直方图中，婴儿的频率为0.6、蓝天的频率为0.4、草地和美食的频率均为0.27，电子设备可以将婴儿作为该视频的视频标签，也可将婴儿和蓝天作为该视频的视频标签等。
通过将图像的场景标签及对应的置信度作为图像中场景标签的权重值，根据视频中场景标签及对应的权重值建立标签频率直方图，从而确定视频的视频标签，可以提高视频标签的准确性。
如图5所示，在一个实施例中，提供的视频处理方法中根据图像的场景标签及对应的置信度建立标签频率直方图的过程，还可以包括：
步骤502，根据图像的场景标签的置信度在图像的所有场景标签的置信度的大小确定场景标签的权重值。
具体地，电子设备可以根据场景标签的置信度的大小对该图像中的场景标签进行排序得到场景标签对应的序号标签，即将置信度最大的场景标签作为第一标签、其次的场景标签为第二标签依次类推。例如，在视频的一帧图像中，海滩的置信度为0.6、蓝天的置信度为0.9、人像的置信度为0.8，则该帧图像中蓝天为第一标签、人像为第二标签、海滩为第三标签。电子设备可以预存不同序号标签对应的权重值，根据场景标签的序号标签确定场景标签的权重值。
在一个实施例中，图像的场景标签的置信度在图像的所有场景标签的置信度最大时，场景标签对应的权重值在图像中的权重值最高。具体地，电子设备预存的序号标签对应的权重值时，第一标签预存的权重值最高，第二标签次之，以此类推。例如，电子设备可以预存第一标签的权重值为0.8、第二标签的权重值为0.5、第三标签的权重值为0.2，则上述例子中，第一标签蓝天的权重值为0.8、第二标签人像的权重值为0.5、第三标签海滩的权重值为0.2。
步骤504，根据图像的场景标签及对应的权重值建立标签频率直方图。
具体地，电子设备可以根据视频中图像的场景标签及对应的权重值获取该场景标签的加权和，根据场景标签及对应的加权和建立标签频率直方图。电子设备还可以根据视频中图像的场景标签及对应的权重值获取该场景标签的加权平均值，根据场景标签及对应的加权平均值建立标签频率直方图。
通过根据图像的场景标签及对应的置信度确定图像中场景标签的权重值，根据视频中场景标签及对应的权重值建立标签频率直方图，从而确定视频的视频标签，可以提高视频标签的准确性。
在一个实施例中，提供的视频处理方法中提供的视频处理方法中根据图像的场景标签及对应的置信度建立标签频率直方图的过程，还包括：根据置信度大于阈值的场景标签及对应的置信度建立视频的标签频率直方图。
电子设备根据置信度大于阈值的场景标签建立标签频率直方图，可以过滤图像中置信度小于阈值的场景标签。阈值可以根据实际需求来确定。具体地，阈值可以为0.1、0.15、0.2、0.3等不限于此。电子设备获取置信度大于阈值的场景标签及对应的置信度，根据场景标签的置信度确定对应的权重值，根据图像的场景标签及对应的权重值建立标签频率直方图确定视频的视频标签，可以减少图像中置信度较低的场景标签对视频标签的影响，提高场景标签的准确度。例如，视频中的一帧图像中场景标签及置信度分别为狗0.8、猫0.2、草地0.7、美食0.1，若阈值为0.3，则丢弃猫0.2和美食0.1两个场景标签，根据狗0.8和草地0.7两个场景标签建立标签频率直方图。，
如图6所示，在一个实施例中，提供的视频处理方法还可以包括调整场景标签置信度的过程，具体步骤包括：
步骤602，获取视频拍摄时的位置信息。
电子设备在拍摄视频时，可以通过GPS(Global Positioning System，全球定位***)来获取视频拍摄时的地址信息，根据地址信息可以得到视频拍摄时的位置信息。例如当GPS检测到视频拍摄的地址信息为北纬109.408984，东经18.294898时，电子设备可以根据地址信息获取对应的位置信息为海南三亚湾海滩。
步骤604，根据位置信息调整图像中场景标签对应的置信度。
电子设备可以预存不同位置信息对应的场景标签及场景标签对应的权重，根据场景标签的权重调整图像中场景标签对应的置信度。具体地，场景标签对应的权重可以是根据对大量的图像素材进行统计学分析后得出的结果，根据结果相应地为不同的位置信息匹配对应的场景标签及场景标签对应的权值。例如，根据对大量的图像素材进行统计学分析后得出，当位置信息为“海滩”时，则与地址为“海滩”对应的场景为“沙滩”的权值为9，“蓝天”的权值为8，“风景”的权值为7，“雪景”的权值为-8，“绿草”的权值为-7，权值的取值范围为[-10,10]。权值越大说明在该图像中出现该场景的概率就越大，权值越小说明在该图像中出现该场景的概率就越小。权值从0开始每增加1，则对应场景的置信度增加1％，同样的，权值从0开始每减少1，则对应的场景的置信度减少1％。
通过根据视频拍摄的地址信信息得到位置信息，获取该位置信息下各场景标签对应的权值，对图像的场景标签的置信度进行调整，可以使图像的场景标签的置信度更加准确，从而提高视频标签的准确性。
如图7所示，在一个实施例中，提供的视频处理方法中根据标签频率直方图确定视频的视频标签的过程，具体步骤包括：
步骤702，根据标签频率直方图得到场景标签对应的频率。
具体地，电子设备可以根据标签频率直方图获取视频中各场景标签对应的频率，根据频率将场景标签按预设规则进行排序。
步骤704，将频率大的预设个数个场景标签作为视频的视频标签。
预设个数可以根据实际应用场景来确定。具体地，电子设备根据视频标签对视频进行分类显示时，预设个数可以为1个；当电子设备将视频上传到视频网站时，电子设备根据视频网站对视频标签数量限定确定视频标签的预设个数。预设个数可以为1个，也可以为多个如2个、3个、4个等不限于此。例如，当电子设备将视频上传到限定视频标签为3个的视频网站时，则预设个数可以为3个。电子设备可以根据场景标签对应的频率将场景标签按从大到小进行排序，从而依次将频率大的预设个数个场景标签作为视频的视频标签。
在一个实施例中，提供了一种视频处理方法，实现该方法的具体步骤如下所述：
首先，电子设备从视频中每间隔预设帧提取一帧图像，对提取的图像进行场景识别，得到图像的场景标签及对应的置信度。视频是由多帧静态图像组成的连续画面。预设帧可以根据实际应用需求来确定。具体地，预设帧可以根据视频帧率来确定，也可以根据视频时长来确定，还可以根据帧率和时长二者结合来确定。电子设备可以根据VGG、CNN、SSD、决策树等深度学习算法训练场景识别模型，根据场景识别模型对图像进行场景识别。具体地，电子设备采用可输出多标签的神经网络对图像进行检测，从而输出图像中各个特征的场景标签及对应的置信度。
可选地，电子设备对图像进行场景识别，得到图像的场景标签，对图像进行目标检测，得到图像的目标标签，将场景标签和目标标签作为图像的分类标签。电子设备可预存有多个场景标签对应的图像特征信息，将需要进行场景识别的图像中的图像特征信息与预存的图像特征信息进行匹配，获取匹配成功的图像特征信息对应的场景标签作为图像的场景标签。电子设备对图像进行目标检测，可将图像中图像特征信息与预存的目标标签对应的特征信息进行匹配，获取匹配成功的特征信息对应的目标标签作为图像的目标标签。电子设备可以将场景标签和目标标签均作为图像的分类标签，并获取分类标签对应的置信度。
可选地，电子设备对图像进行场景分类和目标检测，得到图像的场景标签和目标标签，将场景标签和目标标签作为图像的分类标签。电子设备可以训练可同时实现场景分类和目标检测的神经网络，利用神经网络的基础网络层对图像进行特征提取，将提取的图像特征输入到分类网络和目标检测网络层，通过分类网络进行场景检测输出图像背景区域所属指定图像类别的置信度，通过目标检测网络层进行目标检测得到前景区域所属指定目标类别的置信度，从而输出图像的场景标签及对应的置信度，以及目标标签及对应的置信度和目标所在位置。
可选地，电子设备获取视频拍摄时的位置信息，根据位置信息调整图像中场景标签对应的置信度。电子设备在拍摄视频时，可以通过GPS来获取视频拍摄时的地址信息，根据地址信息可以得到视频拍摄时的位置信息。电子设备可以预存不同位置信息对应的场景标签及场景标签对应的权重，根据场景标签的权重调整图像中场景标签对应的置信度。
接着，电子设备根据图像的场景标签及对应的置信度建立标签频率直方图。标签频率直方图是指根据视频中各场景标签的频率建立的直方图。场景标签的频率是根据包含场景标签的图像数量及图像中该场景标签的置信度来确定的。具体地，场景标签的频率可以是视频中包含该场景标签的图像数量与所有提取的图像数量的比值，也可以是根据图像中场景标签的置信度或场景标签对应的位置区域的大小确定该图像中场景标签的权重值，将视频中包含该场景标签的图像的加权和或加权平均值作为该场景标签的频率等。
可选地，电子设备将图像的场景标签对应的置信度作为图像中场景标签的权重值。根据图像的场景标签及对应的权重值建立标签频率直方图。图像中场景标签的权重值是指图像中场景标签在视频标签中的重要程度。通过将图像的场景标签及对应的置信度作为图像中场景标签的权重值，根据视频中场景标签及对应的权重值建立标签频率直方图，从而确定视频的视频标签，可以提高视频标签的准确性。
可选地，电子设备根据图像的场景标签的置信度在图像的所有场景标签的置信度的大小确定场景标签的权重值，根据图像的场景标签及对应的权重值建立标签频率直方图。电子设备可以根据场景标签的置信度的大小对该图像中的场景标签进行排序得到场景标签对应的序号标签，即将置信度最大的场景标签作为第一标签、其次的场景标签为第二标签以此类推。电子设备可以预存不同序号标签对应的权重值，根据场景标签的序号标签确定场景标签的权重值，根据图像的场景标签及对应的权重值建立标签频率直方图。
可选地，图像的场景标签的置信度在图像的所有场景标签的置信度最大时，场景标签对应的权重值在图像中的权重值最高。具体地，电子设备预存的序号标签对应的权重值时，第一标签预存的权重值最高，第二标签次之，以此类推。
可选地，电子设备根据置信度大于阈值的场景标签及对应的置信度建立视频的标签频率直方图。电子设备获取置信度大于阈值的场景标签及对应的置信度，根据场景标签的置信度确定对应的权重值，根据图像的场景标签及对应的权重值建立标签频率直方图确定视频的视频标签，可以减少图像中置信度较低的场景标签对视频标签的影响，提高场景标签的准确度。
接着，电子设备根据标签频率直方图确定视频的视频标签。视频标签是指根据视频中出现的场景对视频进行标记，根据视频标签人们可以大概了解到视频的主要内容。电子设备可以根据标签频率直方图获取视频中各场景标签对应的频率，根据频率将场景标签按预设规则进行排序，将频率较大的场景标签作为视频的视频标签。
可选地，电子设备根据标签频率直方图得到场景标签对应的频率，将频率大的预设个数个场景标签作为视频的视频标签。预设个数可以根据实际应用场景来确定。具体地，当电子设备根据视频标签对视频进行分类显示时，预设个数可以为1个；当电子设备将视频上传到视频网站时，电子设备根据视频网站对视频标签数量限定确定视频标签的预设个数。电子设备可以根据场景标签对应的频率将场景标签按从大到小进行排序，从而依次将频率大的预设个数个场景标签作为视频的视频标签。
应该理解的是，虽然图2、4-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、4-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图8为一个实施例的视频处理装置的结构框图。如图8所示，一种视频处理装置，包括场景识别模块802，直方图建立模块804，视频标签确定模块806。其中：
场景识别模块802，用于从视频中每间隔预设帧提取一帧图像，对提取的图像进行场景识别，得到图像的场景标签及对应的置信度。
直方图建立模块804，用于根据图像的场景标签及对应的置信度建立标签频率直方图。
视频标签确定模块806，用于根据标签频率直方图确定视频的视频标签。
在一个实施例中，直方图建立模块804还可以用于将图像的场景标签对应的置信度作为图像中场景标签的权重值，根据图像的场景标签及对应的权重值建立标签频率直方图。
在一个实施例中，直方图建立模块804还可以用于根据图像的场景标签的置信度在图像的所有场景标签的置信度的大小确定场景标签的权重值，根据图像的场景标签及对应的权重值建立标签频率直方图。
在一个实施例中，直方图建立模块804还可以用于根据图像的场景标签的置信度在图像的所有场景标签的置信度的大小确定场景标签的权重值，图像的场景标签的置信度在图像的所有场景标签的置信度最大时，场景标签对应的权重值在图像中的权重值最高。
在一个实施例中，直方图建立模块804还可以用于根据置信度大于阈值的场景标签及对应的置信度建立视频的标签频率直方图。
在一个实施例中，提供的视频处理装置还可以包括置信度调整模块808,，置信度调整模块808用于获取视频拍摄时的位置信息，根据位置信息调整图像中场景标签对应的置信度。
在一个实施例中，视频标签确定模块806还可以用于根据标签频率直方图得到场景标签对应的频率，将频率大的预设个数个场景标签作为视频的视频标签。
上述视频处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将视频处理装置按照需要划分为不同的模块，以完成上述视频处理装置的全部或部分功能。
关于视频处理装置的具体限定可以参见上文中对于视频处理方法的限定，在此不再赘述。上述视频处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的视频处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行视频处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行视频处理方法。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图9所示，图像处理电路包括ISP处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由ISP处理器940处理，ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910可包括具有一个或多个透镜912和图像传感器914的照相机。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器940处理的一组原始图像数据。传感器920(如陀螺仪)可基于传感器920接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器914也可将原始图像数据发送给传感器920，传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940，或者传感器920将原始图像数据存储到图像存储器930中。
ISP处理器940按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有9、10、12或14比特的位深度，ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器940还可从图像存储器930接收图像数据。例如，传感器920接口将原始图像数据发送给图像存储器930，图像存储器930中的原始图像数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器914接口或来自传感器920接口或来自图像存储器930的原始图像数据时，ISP处理器940可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器930，以便在被显示之前进行另外的处理。ISP处理器940从图像存储器930接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器940处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器940的输出还可发送给图像存储器930，且显示器970可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，ISP处理器940的输出可发送给编码器/解码器960，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器970设备上之前解压缩。编码器/解码器960可由CPU或GPU或协处理器实现。
ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备910的控制参数及ISP处理器940的控制参数。例如，成像设备910的控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。
电子设备根据上述图像处理技术可以实现本申请实施例中所描述的视频处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种视频处理方法，其特征在于，包括：
从视频中每间隔预设帧提取一帧图像，对所述提取的图像进行场景识别，得到所述图像的场景标签及对应的置信度；
根据所述图像的场景标签及对应的置信度建立标签频率直方图；
根据所述标签频率直方图确定所述视频的视频标签。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图像的场景标签及对应的置信度建立标签频率直方图，包括：
将所述图像的场景标签对应的置信度作为所述图像中场景标签的权重值；
根据所述图像的场景标签及对应的权重值建立标签频率直方图。
3.根据权利要求1所述的方法，其特征在于，所述根据所述图像的场景标签及对应的置信度建立标签频率直方图，包括：
根据所述图像的场景标签的置信度在所述图像的所有场景标签的置信度的大小确定所述场景标签的权重值；
根据所述图像的场景标签及对应的权重值建立标签频率直方图。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
所述图像的场景标签的置信度在所述图像的所有场景标签的置信度最大时，所述场景标签对应的权重值在所述图像中的权重值最高。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
根据置信度大于阈值的场景标签及对应的置信度建立所述视频的标签频率直方图。
6.根据权利要求1所示的方法，其特征在于，所述方法还包括；
获取所述视频拍摄时的位置信息；
根据所述位置信息调整所述图像中场景标签对应的置信度。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述标签频率直方图得到所述场景标签对应的频率；
将频率大的预设个数个场景标签作为所述视频的视频标签。
8.一种视频处理装置，其特征在于，包括：
场景识别模块，用于从视频中每间隔预设帧提取一帧图像，对所述提取的图像进行场景识别，得到所述图像的场景标签及对应的置信度；
直方图建立模块，用于根据所述图像的场景标签及对应的置信度建立标签频率直方图；
视频标签确定模块，用于根据所述标签频率直方图确定所述视频的视频标签。
9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的视频处理方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810585928.9A CN108777815B (zh) | 2018-06-08 | 2018-06-08 | 视频处理方法和装置、电子设备、计算机可读存储介质 |
| PCT/CN2019/087557 WO2019233263A1 (zh) | 2018-06-08 | 2019-05-20 | 视频处理方法、电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810585928.9A CN108777815B (zh) | 2018-06-08 | 2018-06-08 | 视频处理方法和装置、电子设备、计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108777815A true CN108777815A (zh) | 2018-11-09 |
| CN108777815B CN108777815B (zh) | 2021-04-23 |
Family
ID=64024878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810585928.9A Active CN108777815B (zh) | 2018-06-08 | 2018-06-08 | 视频处理方法和装置、电子设备、计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108777815B (zh) |
| WO (1) | WO2019233263A1 (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815365A (zh) * | 2019-01-29 | 2019-05-28 | 北京字节跳动网络技术有限公司 | 用于处理视频的方法和装置 |
| CN109871896A (zh) * | 2019-02-26 | 2019-06-11 | 北京达佳互联信息技术有限公司 | 数据分类方法、装置、电子设备及存储介质 |
| CN109960745A (zh) * | 2019-03-20 | 2019-07-02 | 网易（杭州）网络有限公司 | 视频分类处理方法及装置、存储介质和电子设备 |
| CN110348367A (zh) * | 2019-07-08 | 2019-10-18 | 北京字节跳动网络技术有限公司 | 视频分类方法、视频处理方法、装置、移动终端及介质 |
| CN110378946A (zh) * | 2019-07-11 | 2019-10-25 | Oppo广东移动通信有限公司 | 深度图处理方法、装置以及电子设备 |
| WO2019233263A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 视频处理方法、电子设备、计算机可读存储介质 |
| CN110647933A (zh) * | 2019-09-20 | 2020-01-03 | 北京达佳互联信息技术有限公司 | 一种视频的分类方法及装置 |
| CN110826471A (zh) * | 2019-11-01 | 2020-02-21 | 腾讯科技（深圳）有限公司 | 视频标签的标注方法、装置、设备及计算机可读存储介质 |
| CN110889012A (zh) * | 2019-11-26 | 2020-03-17 | 成都品果科技有限公司 | 一种基于抽帧图片生成空镜标签***的方法 |
| CN110933462A (zh) * | 2019-10-14 | 2020-03-27 | 咪咕文化科技有限公司 | 视频处理方法、***、电子设备及存储介质 |
| CN111291800A (zh) * | 2020-01-21 | 2020-06-16 | 青梧桐有限责任公司 | 房屋装修类型分析方法、***、电子设备及可读存储介质 |
| CN111368138A (zh) * | 2020-02-10 | 2020-07-03 | 北京达佳互联信息技术有限公司 | 视频类别标签的排序方法、装置、电子设备及存储介质 |
| CN111625716A (zh) * | 2020-05-12 | 2020-09-04 | 聚好看科技股份有限公司 | 媒资推荐方法、服务器及显示设备 |
| CN111653103A (zh) * | 2020-05-07 | 2020-09-11 | 浙江大华技术股份有限公司 | 一种目标对象的识别方法及装置 |
| CN111738042A (zh) * | 2019-10-25 | 2020-10-02 | 北京沃东天骏信息技术有限公司 | 识别方法、设备及存储介质 |
| CN112948635A (zh) * | 2021-02-26 | 2021-06-11 | 北京百度网讯科技有限公司 | 视频分析方法、装置、电子设备及可读存储介质 |
| CN113014992A (zh) * | 2021-03-09 | 2021-06-22 | 四川长虹电器股份有限公司 | 智能电视的画质切换方法及装置 |
| CN113469033A (zh) * | 2021-06-30 | 2021-10-01 | 北京集创北方科技股份有限公司 | 图像识别方法、装置、电子设备及存储介质 |
| CN113536823A (zh) * | 2020-04-10 | 2021-10-22 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于深度学习的视频场景标签提取***、方法及其应用 |
| CN113569687A (zh) * | 2021-07-20 | 2021-10-29 | 上海明略人工智能(集团)有限公司 | 基于双流网络的场景分类方法、***、设备及介质 |
| CN113613065A (zh) * | 2021-08-02 | 2021-11-05 | 北京百度网讯科技有限公司 | 视频编辑方法、装置、电子设备以及存储介质 |
| CN114118114A (zh) * | 2020-08-26 | 2022-03-01 | 顺丰科技有限公司 | 一种图像检测方法、装置及其存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103945088A (zh) * | 2013-01-21 | 2014-07-23 | 华为终端有限公司 | 场景识别方法及装置 |
| CN105426883A (zh) * | 2015-12-25 | 2016-03-23 | 中国科学院深圳先进技术研究院 | 视频分类快速识别的方法及装置 |
| CN106469162A (zh) * | 2015-08-18 | 2017-03-01 | 中兴通讯股份有限公司 | 一种图片排序方法和相应的图片存储显示设备 |
| CN107180074A (zh) * | 2017-03-31 | 2017-09-19 | 北京奇艺世纪科技有限公司 | 一种视频分类方法及装置 |
| CN107403618A (zh) * | 2017-07-21 | 2017-11-28 | 山东师范大学 | 基于堆叠基稀疏表示的音频事件分类方法及计算机设备 |
| CN107895055A (zh) * | 2017-12-21 | 2018-04-10 | 儒安科技有限公司 | 一种照片管理方法及*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108777815B (zh) * | 2018-06-08 | 2021-04-23 | Oppo广东移动通信有限公司 | 视频处理方法和装置、电子设备、计算机可读存储介质 |
-
2018
- 2018-06-08 CN CN201810585928.9A patent/CN108777815B/zh active Active
-
2019
- 2019-05-20 WO PCT/CN2019/087557 patent/WO2019233263A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103945088A (zh) * | 2013-01-21 | 2014-07-23 | 华为终端有限公司 | 场景识别方法及装置 |
| CN106469162A (zh) * | 2015-08-18 | 2017-03-01 | 中兴通讯股份有限公司 | 一种图片排序方法和相应的图片存储显示设备 |
| CN105426883A (zh) * | 2015-12-25 | 2016-03-23 | 中国科学院深圳先进技术研究院 | 视频分类快速识别的方法及装置 |
| CN107180074A (zh) * | 2017-03-31 | 2017-09-19 | 北京奇艺世纪科技有限公司 | 一种视频分类方法及装置 |
| CN107403618A (zh) * | 2017-07-21 | 2017-11-28 | 山东师范大学 | 基于堆叠基稀疏表示的音频事件分类方法及计算机设备 |
| CN107895055A (zh) * | 2017-12-21 | 2018-04-10 | 儒安科技有限公司 | 一种照片管理方法及*** |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019233263A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 视频处理方法、电子设备、计算机可读存储介质 |
| CN109815365A (zh) * | 2019-01-29 | 2019-05-28 | 北京字节跳动网络技术有限公司 | 用于处理视频的方法和装置 |
| CN109871896A (zh) * | 2019-02-26 | 2019-06-11 | 北京达佳互联信息技术有限公司 | 数据分类方法、装置、电子设备及存储介质 |
| CN109960745A (zh) * | 2019-03-20 | 2019-07-02 | 网易（杭州）网络有限公司 | 视频分类处理方法及装置、存储介质和电子设备 |
| CN109960745B (zh) * | 2019-03-20 | 2021-03-23 | 网易（杭州）网络有限公司 | 视频分类处理方法及装置、存储介质和电子设备 |
| CN110348367A (zh) * | 2019-07-08 | 2019-10-18 | 北京字节跳动网络技术有限公司 | 视频分类方法、视频处理方法、装置、移动终端及介质 |
| CN110348367B (zh) * | 2019-07-08 | 2021-06-08 | 北京字节跳动网络技术有限公司 | 视频分类方法、视频处理方法、装置、移动终端及介质 |
| CN110378946A (zh) * | 2019-07-11 | 2019-10-25 | Oppo广东移动通信有限公司 | 深度图处理方法、装置以及电子设备 |
| CN110647933A (zh) * | 2019-09-20 | 2020-01-03 | 北京达佳互联信息技术有限公司 | 一种视频的分类方法及装置 |
| CN110933462B (zh) * | 2019-10-14 | 2022-03-25 | 咪咕文化科技有限公司 | 视频处理方法、***、电子设备及存储介质 |
| CN110933462A (zh) * | 2019-10-14 | 2020-03-27 | 咪咕文化科技有限公司 | 视频处理方法、***、电子设备及存储介质 |
| CN111738042A (zh) * | 2019-10-25 | 2020-10-02 | 北京沃东天骏信息技术有限公司 | 识别方法、设备及存储介质 |
| CN110826471A (zh) * | 2019-11-01 | 2020-02-21 | 腾讯科技（深圳）有限公司 | 视频标签的标注方法、装置、设备及计算机可读存储介质 |
| CN110826471B (zh) * | 2019-11-01 | 2023-07-14 | 腾讯科技（深圳）有限公司 | 视频标签的标注方法、装置、设备及计算机可读存储介质 |
| CN110889012A (zh) * | 2019-11-26 | 2020-03-17 | 成都品果科技有限公司 | 一种基于抽帧图片生成空镜标签***的方法 |
| CN111291800A (zh) * | 2020-01-21 | 2020-06-16 | 青梧桐有限责任公司 | 房屋装修类型分析方法、***、电子设备及可读存储介质 |
| CN111368138A (zh) * | 2020-02-10 | 2020-07-03 | 北京达佳互联信息技术有限公司 | 视频类别标签的排序方法、装置、电子设备及存储介质 |
| CN113536823A (zh) * | 2020-04-10 | 2021-10-22 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于深度学习的视频场景标签提取***、方法及其应用 |
| CN111653103A (zh) * | 2020-05-07 | 2020-09-11 | 浙江大华技术股份有限公司 | 一种目标对象的识别方法及装置 |
| CN111625716A (zh) * | 2020-05-12 | 2020-09-04 | 聚好看科技股份有限公司 | 媒资推荐方法、服务器及显示设备 |
| CN111625716B (zh) * | 2020-05-12 | 2023-10-31 | 聚好看科技股份有限公司 | 媒资推荐方法、服务器及显示设备 |
| CN114118114A (zh) * | 2020-08-26 | 2022-03-01 | 顺丰科技有限公司 | 一种图像检测方法、装置及其存储介质 |
| CN112948635A (zh) * | 2021-02-26 | 2021-06-11 | 北京百度网讯科技有限公司 | 视频分析方法、装置、电子设备及可读存储介质 |
| CN113014992A (zh) * | 2021-03-09 | 2021-06-22 | 四川长虹电器股份有限公司 | 智能电视的画质切换方法及装置 |
| CN113469033A (zh) * | 2021-06-30 | 2021-10-01 | 北京集创北方科技股份有限公司 | 图像识别方法、装置、电子设备及存储介质 |
| CN113569687B (zh) * | 2021-07-20 | 2023-10-24 | 上海明略人工智能(集团)有限公司 | 基于双流网络的场景分类方法、***、设备及介质 |
| CN113569687A (zh) * | 2021-07-20 | 2021-10-29 | 上海明略人工智能(集团)有限公司 | 基于双流网络的场景分类方法、***、设备及介质 |
| CN113613065A (zh) * | 2021-08-02 | 2021-11-05 | 北京百度网讯科技有限公司 | 视频编辑方法、装置、电子设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108777815B (zh) | 2021-04-23 |
| WO2019233263A1 (zh) | 2019-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108777815A (zh) | 视频处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108764372B (zh) | 数据集的构建方法和装置、移动终端、可读存储介质 | |
| CN108764208B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| CN108805103A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108921040A (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| CN108875820A (zh) | 信息处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108810413A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108830208A (zh) | 视频处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108304821B (zh) | 图像识别方法及装置、图像获取方法及设备、计算机设备及非易失性计算机可读存储介质 | |
| CN110473185B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108875821A (zh) | 分类模型的训练方法和装置、移动终端、可读存储介质 | |
| WO2019233392A1 (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN108875619A (zh) | 视频处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108960290A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN108961302B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN108959462A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108765033B (zh) | 广告信息推送方法和装置、存储介质、电子设备 | |
| CN108897786A (zh) | 应用程序的推荐方法、装置、存储介质及移动终端 | |
| CN108805198A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN108810418A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN108984657A (zh) | 图像推荐方法和装置、终端、可读存储介质 | |
| CN108804658A (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| CN108848306B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN107911625A (zh) | 测光方法、装置、可读存储介质和计算机设备 | |
| CN109712177A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |