CN111191591B - 一种水印检测、视频处理方法和相关设备 - Google Patents

一种水印检测、视频处理方法和相关设备 Download PDF

Info

Publication number
CN111191591B
CN111191591B CN201911397156.7A CN201911397156A CN111191591B CN 111191591 B CN111191591 B CN 111191591B CN 201911397156 A CN201911397156 A CN 201911397156A CN 111191591 B CN111191591 B CN 111191591B
Authority
CN
China
Prior art keywords
image data
target
feature
watermark
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911397156.7A
Other languages
English (en)
Other versions
CN111191591A (zh
Inventor
程瑾
邹昱
刘振强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baiguoyuan Network Technology Co Ltd
Original Assignee
Guangzhou Baiguoyuan Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Network Technology Co Ltd filed Critical Guangzhou Baiguoyuan Network Technology Co Ltd
Priority to CN201911397156.7A priority Critical patent/CN111191591B/zh
Publication of CN111191591A publication Critical patent/CN111191591A/zh
Application granted granted Critical
Publication of CN111191591B publication Critical patent/CN111191591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种水印检测、视频处理方法和相关设备，该水印检测方法包括：在原始图像数据中、针对水印检测目标区域；从目标图像数据中、针对水印提取目标图像特征，目标图像数据为原始图像数据中位于目标区域中的图像数据；确定参考图像数据的参考图像特征，参考图像数据中具有标记指定类别的水印；将目标图像特征与参考图像特征进行比较，以在所述原始图像数据中检测该类别中的水印。通过配置不同类别下水印的参考图像特征，可以召回不同类别的水印，在增加水印的类别的情况下，增加相应类别下水印的参考图像特征即可，从而支持水印类别的灵活扩展。

Description

一种水印检测、视频处理方法和相关设备
技术领域
本发明实施例涉及水印处理的技术，尤其涉及一种水印检测、视频处理方法和相关设备。
背景技术
随着互联网信息时代的发展，越来越多的公司、组织和个人选择在互联网上分享图像、视频，为了保护版权，通常会在图像、视频上打上水印标志。
由于水印的频繁出现，在某些场合中，以来水印进行相应的业务处理，此时，需要在图像、视频中检测水印。
现有的水印检测方法可以分为以下两大类：
(1)、基于手工特征的水印检测方法
利用滑窗法、selective search(选择性搜索)等方法生成候选区域，然后利用SIFT(Scale-invariant feature transform，尺度不变特征转换)、HOG(Histogram ofOriented Gradient，方向梯度直方图)等手工设计的特征提取方法对候选区域提取特征，最后通过SVM(Support Vector Machine，支持向量机)等分类器对特征进行分类。
这类方法需要生成大量的候选区域，冗余度高，因此，检测速度较慢；由于水印外观多种多样，手工设计的特征提取方式难以覆盖全面，导致检测精度较差。
(2)、基于深度特征的水印检测方法
将图像输入到深度卷积神经网络中提取特征，然后使用较少的卷积层或全连接层对特征进行分类。
这类方法利用大量带有水印的训练集对深度卷积神经网络进行训练，使其具有强大的拟合特性，可以直接从原始图像中提取到目标特征，相比于基于手工特征的方法，在速度和精度上都有较大提升。
但是，这类方法一般对训练集中已有的类别检测效果较好，当水印的类别增加时，需要更新训练集并重新训练，灵活性较差。
发明内容
本发明实施例提供一种水印检测、视频处理方法和相关设备，以解决在水印的类别增加时、水印检测的灵活性差的问题。
第一方面，本发明实施例提供了一种水印检测方法，包括：
在原始图像数据中、针对水印检测目标区域；
从目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；
确定参考图像数据的参考图像特征，所述参考图像数据中具有标记指定类别的水印；
将所述目标图像特征与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印。
第二方面，本发明实施例还提供了一种视频处理方法，包括：
从视频数据中提取原始图像数据；
在所述原始图像数据中、针对水印检测目标区域；
从目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；
确定参考图像数据的参考图像特征，所述参考图像数据中具有水印；
将所述目标图像特征与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印；
响应于所述类别中的水印，对所述视频数据进行业务处理。
第三方面，本发明实施例还提供了一种水印检测装置，包括：
目标区域检测模块，用于在原始图像数据中、针对水印检测目标区域；
目标图像特征提取模块，用于从目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；
参考图像特征确定模块，用于确定参考图像数据的参考图像特征，所述参考图像数据中具有标记指定类别的水印；
水印检测模块，用于将所述目标图像特征与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印。
第四方面，本发明实施例还提供了一种视频处理装置，包括：
原始图像数据提取模块，用于从视频数据中提取原始图像数据；
目标区域检测模块，用于在所述原始图像数据中、针对水印检测目标区域；
目标图像特征提取模块，用于从目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；
参考图像特征确定模块，用于确定参考图像数据的参考图像特征，所述参考图像数据中具有水印；
水印检测模块，用于将所述目标图像特征与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印；
业务处理模块，用于响应于所述类别中的水印，对所述视频数据进行业务处理。
第五方面，本发明实施例还提供了一种水印的检测***，包括：
目标检测网络，用于接收原始图像数据，以及，在所述原始图像数据中、针对水印检测目标区域；
特征提取网络，用于接收目标图像数据，以及，从所述目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；
特征库，用于存储参考图像数据的参考图像特征，所述参考图像数据中具有指定类别的水印，所述参考图像特征用于与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印。
第六方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的水印检测方法，或者如第二方面所述的视频处理方法。
第七方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如第一方面所述的水印检测方法，或者如第二方面所述的视频处理方法。
在本实施例中，在原始图像数据中、针对水印检测目标区域，从目标图像数据中、针对水印提取目标图像特征，目标图像数据为原始图像数据中位于目标区域中的图像数据，确定参考图像数据的参考图像特征，参考图像数据中具有标记指定类别的水印，将目标图像特征与参考图像特征进行比较，以在原始图像数据中检测类别中的水印，一方面，设置两个层级，第一个层级检测目标区域，可筛选缩小范围，第二个层级在较小的范围内提取目标图像特征，使得特征聚焦，保证了目标图像特征的质量，从而保证水印检测的精确度，另一方面，通过配置不同类别下水印的参考图像特征，可以召回不同类别的水印，在增加水印的类别的情况下，增加相应类别下水印的参考图像特征即可，由于前两个层级对类别的关联较少，因此，无需对前两个层级进行调整，如重新训练网络，从而支持水印类别的灵活扩展。
附图说明
图1为本发明实施例一提供的一种水印检测方法的流程图；
图2是本发明实施例二提供的一种视频处理方法的流程图；
图3是本发明实施例二提供的一种视频处理的示例图；
图4为本发明实施例三提供的一种水印检测装置的结构示意图；
图5为本发明实施例四提供的一种视频处理装置的结构示意图；
图6为本发明实施例五提供的一种水印检测***的结构示意图；
图7为本发明实施例六提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种水印检测方法的流程图，本实施例可适用于预设表征水印的参考图像特征，从原始图像数据经过二级网络提取目标图像特征之后与参考图像特征进行比较的情况，该方法可以由水印检测装置来执行，该水印检测装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、个人电脑，等等，该方法具体包括如下步骤：
S101、确定原始图像数据。
用户将包含图像数据或视频数据的数据上传至社交平台，如在博客平台上传包含图像数据或视频数据的日志、在微博平台上传包含图像数据或视频数据的微博、在短视频平台上传短视频(视频数据)、在视频分享网站上传电视剧(视频数据)、电影(视频数据)等，意图在该平台发布该数据，让其他用户浏览。
不同的社交平台可按照业务需求制定相应的业务规范，在该数据发布之前或之后，按照该业务规范对该数据检测水印，便于后续进行相应的业务处理。
如果对于实时性要求较高，在社交平台中可设置流式实时***，用户通过客户端实时将数据上传至该流式实时***，该流式实时可将该数据传输至计算机设备，计算机设备从该数据中提取图像数据，将该图像数据确定为原始图像数据，待进行水印检测。
如果对于实时性要求较低，在社交平台中可设置数据库，如分布式数据库等，用户通过客户端将数据上传至该数据库，计算机设备可从该数据库读取该数据，并从该数据中提取图像数据，将该图像数据确定为原始图像数据，待进行水印检测。
当然，除了社交平台之外，还可以在其他场景中对原始图像数据检测水印，例如，在网页发布之前，将网页中的图像数据作为原始图像数据，通过检测水印，预测是否具有版权风险，等等，本实施例对此不加以限制。
S102、在原始图像数据中、针对水印检测目标区域。
在原始图像数据中，可检测水印可能存在的区域，作为目标区域。
在一种检测目标区域的方式中，本实施例提供两级级联的网络，第一级网络为目标检测网络。
目标检测网络应用目标检测算法，可检测指定的目标，在本实施例中，该目标为水印，该目标检测网络可用于针对水印检测目标区域。
该目标检测网络可以为两阶段检测网络，如Faster RCNN(Fast Region-basedConvolutional Neural Networks，基于快速区域的卷积神经网络)等，两阶段检测网络利用RPN(Region Proposal Network，区域选取网络)、selective search等方法生成大量的目标区域，一般具有相对较高的检测精度；该目标检测网络也可以为一阶段检测网络，如SSD(Single Shot MultiBox Detector，单发多盒探测器)、YOLO(You Only Look Once)等，一阶段检测网络可直接在多尺度anchor的基础上生成目标区域，往往具有更快的检测速度，等等，本实施例对此不加以限制。
在此检测方式中，可确定目标检测网络，将原始图像数据输入至目标检测网络中进行处理、以输出一个或多个目标区域。
对于目标检测网络，可离线确定第一样本图像数据，该第一样本图像数据中标记有候选区域，该候选区域中具有水印，使用第一样本图像数据训练目标检测网络。
在目标检测网络训练完成时，存储目标检测网络及其网络参数，后续实时应用目标检测网络时，启动目标检测网络并加载相应的网络参数。
进一步地，目标检测网络针对每个目标区域，可同时输出其置信度，表示该目标区域具有水印的概率，其中，置信度与具有水印的概率正相关，即目标区域的置信度越大，该目标区域具有水印的概率越高，反之，目标区域的置信度越小，该目标区域具有水印的概率越低。
此时，可确定目标区域的置信度，将置信度与预设的第一阈值进行比较。
若置信度大于或等于第一阈值，则表示置信度较大，确定目标区域有效，允许继续参与后续处理。
若置信度小于第一阈值，则表示置信度较小，确定目标区域无效，禁止继续参与后续处理。
当然，上述通过目标检测网络检测目标区域的方式只是作为示例，在实施本实施例时，可以根据实际情况设置其他检测目标区域的方式，例如，水印在保护版权的同时，尽可能避免影响图像数据中的内容，因此，水印一般半透明或不透明状态，占图像、视频整体比例较小，经常出现在图像数据的非关键区域，如图像数据的四角、底部或者顶部，因此，可将原始图像数据的指定区域(如四角、底部或者顶部)设置为目标区域，等等，本实施例对此不加以限制。另外，除了上述检测目标区域的方式外，本领域技术人员还可以根据实际需要采用其它检测目标区域的方式，本实施例对此也不加以限制。
S103、从目标图像数据中、针对水印提取目标图像特征。
从原始图像数据中检测水印可能存在的目标区域之后，依据目标区域从图像数据裁剪目标图像数据，其中，目标图像数据为原始图像数据中位于目标区域中的图像数据。
对于目标图像数据，可从目标图像数据提取表示水印的特征，作为目标图像特征。
在一种提取目标图像特征的方式中，本实施例提供两级级联的网络，第二级网络为特征提取网络。
特征提取网络应用特征提取算法，可提取目标的特征，在本实施例中，该目标为水印，该特征提取网络可用于针对水印提取图像特征。
由于输入特征提取网络的目标图像数据已从全图(原始图形数据)定位至目标区域，缩小了范围，因此，可以选用较小的网络，如ResNet18、NSFW(Not Suitable for Work)等。
在此检测方式中，可确定特征提取网络，将目标图像数据输入至所述特征提取网络中进行处理、以输出特征，作为目标图像特征。
在一个示例中，特征提取网络包括卷积神经网络、第一全连接层、第二全连接层，其中，该卷积神经网络是一个相对独立的结构，可以为现有的结构，如ResNet18、NSFW等，也可以为自定义的结构，本实施例对此不加以限制。
在本示例中，将目标图像数据输入卷积神经网络中进行卷积处理，以输出第一特征，将第一特征输入第一全连接层中进行降维处理，以输出第二特征，将第二特征输入第二全连接层中进行降维处理，以输出特征，作为目标图像特征，其中，目标图像特征的维度与参考图像数据的类别的数量相同。
第一全连接层、第二全连接层均为全连接层(fully connected layers，FC)，全连接层的参数维度为cin*out，cin代表该全连接层的输入的维度，cout代表该全连接层的输出的维度，即通过该全连接层后，可以得到维度为cout的特征(向量)。
在一个设计中，卷积神经网络为resnet50，输出1000维的第一特征，用参数维度为1000*128的第一全连接层，将第一特征降到128维，作为第二特征，用参数维度为128*12的第二全连接层，将第二特征降到12维，作为目标图像特征，其中，水印的类别的数量为12。
在本示例中，参考待分类的类别的数量，通过第一全连接层、第二全连接层这两层全连接层进行处理，在保证分类准确性的同时，降低目标图像特征的维度，提高特征提取网络的处理速度，并且，相对于通过单个全连接直接降维至指定数量的维度，通过两层全连接层先降维至较高的维度、将降维至指定数量的维度，可保持特征的精确性。
对于特征提取网络，可离线确定第二样本图像数据，该第二样本图像数据中具有水印，使用第二样本图像数据训练特征提取网络。
在特征提取网络训练完成时，存储特征提取网络及其网络参数，后续实时应用特征提取网络时，启动特征提取网络并加载相应的网络参数。
当然，上述特征提取网络提取目标图像特征的方式只是作为示例，在实施本实施例时，可以根据实际情况设置其他提取目标图像特征的方式，例如，使用SIFT算法从目标图像数据提取目标图像特征，等等，本实施例对此不加以限制。另外，除了上述提取目标图像特征的方式外，本领域技术人员还可以根据实际需要采用其它提取目标图像特征的方式，本实施例对此也不加以限制。
S104、确定参考图像数据的参考图像特征。
在本实施例中，可从本地或其他设备获取参考图像数据的参考图像特征，其中，参考图像数据中具有标记指定类别的水印，等待召回该类别中的水印。
需要说明的是，针对不同场景，划分类别的维度有所不同，例如，对于区分短视频平台的情况，该类别可以为短视频平台的名称，对于区分国家的情况，该类别可以为语言的种类，等等，本实施例对此不加以限制。
在具体实现中，可确定特征库，该特征库用于存储参考图像数据的参考图像特征，依次从特征库中提取参考图像特征，使得目标图像特征依次与参考图像特征进行比较。
对于特征库，可离线确定特征提取网络，确定指定类别下的第三样本图像数据，第三样本图像数据中具有水印。
将第三样本图像数据输入至所述特征提取网络进行处理、以输出特征，作为参考图像特征，以及，在特征库中关联记录类别与参考图像特征。
需要说明的是，从第三样本图像数据中提取参考图像特征的特征提取网络与从目标图像数据中提取目标图像特征的特征提取网络相同，即网络结构相同、参数相同。
S105、将目标图像特征与参考图像特征进行比较，以在原始图像数据中检测类别中的水印。
在本实施例中，将原始图像数据中各个目标图像数据的目标图像特征与参考图像特征进行比较，从而在原始图像数据中检测是否具有该类别中的水印。
在具体实现中，可计算目标图像特征与参考图像特征之间的相似度，如余弦相似度。
其中，参考图像特征关联类别。
在原始图像数据中，按照相似度对目标区域识别该类别中的水印。
在一种检测水印的方式中，可对相似度进行排序，确定n(n为正整数)个值最大的相似度关联的类别，作为候选类别，统计该目标类别的频次。
在原始图像数据中，确定目标区域检存在目标类别中的水印，该目标类别为值最大的频次所属的候选类别。
在此检测水印的方式中，筛选相似度较高的类别统计频次，参考频次检测水印，扩大了类别的参考范围，减少了个别误检测的影响，提高了类别的准确性。
当然，上述基于类别的频次检测水印的方式只是作为示例，在实施本实施例时，可以根据实际情况设置其他检测水印的方式，例如，确定值最高的相似度，作为目标相似度，确定目标区域检存在目标相似度关联类别中的水印，等等，本实施例对此不加以限制。另外，除了上述提取检测水印的方式外，本领域技术人员还可以根据实际需要采用其它检测水印的方式，本实施例对此也不加以限制。
进一步而言，为了提高类别的准确性，可将相似度与预设的第二阈值进行比较。
若相似度大于或等于第二阈值，则表示相似度较高，确定相似度有效，允许继续参与后续处理。
若相似度小于第二阈值，则表示置信度较低，确定相似度无效，禁止继续参与后续处理。
若所有相似度均无效，则确定目标图像数据中无水印。
在本实施例中，在原始图像数据中、针对水印检测目标区域，从目标图像数据中、针对水印提取目标图像特征，目标图像数据为原始图像数据中位于目标区域中的图像数据，确定参考图像数据的参考图像特征，参考图像数据中具有标记指定类别的水印，将目标图像特征与参考图像特征进行比较，以在原始图像数据中检测类别中的水印，一方面，设置两个层级，第一个层级检测目标区域，可筛选缩小范围，第二个层级在较小的范围内提取目标图像特征，使得特征聚焦，保证了目标图像特征的质量，从而保证水印检测的精确度，另一方面，通过配置不同类别下水印的参考图像特征，可以召回不同类别的水印，在增加水印的类别的情况下，增加相应类别下水印的参考图像特征即可，由于前两个层级对类别的关联较少，因此，无需对前两个层级进行调整，如重新训练网络，从而支持水印类别的灵活扩展。
实施例二
图2为本发明实施例二提供的一种视频处理方法的流程图，本实施例可适用于预设表征水印的参考图像特征，从视频数据中原始图像数据经过二级网络提取目标图像特征之后与参考图像特征进行比较，并进行相应的业务处理的情况，该方法可以由业务处理装置来执行，该业务处理装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、个人电脑，等等，该方法具体包括如下步骤：
S201、从视频数据中提取原始图像数据。
用户将包含视频数据的数据上传至社交平台，如在博客平台上传包含视频数据的日志、在微博平台上传包含视频数据的微博、在短视频平台上传短视频(视频数据)、在视频分享网站上传电视剧(视频数据)、电影(视频数据)等，意图在该平台发布该数据，让其他用户浏览。
不同的社交平台可按照业务需求制定相应的业务规范，在该数据发布之前或之后，按照该业务规范对该数据检测水印，便于后续进行相应的业务处理。
如果对于实时性要求较高，在社交平台中可设置流式实时***，用户通过客户端实时将数据上传至该流式实时***，该流式实时可将该数据传输至计算机设备，计算机设备从该数据中提取视频数据，并从该视频数据提取图像数据作为原始图像数据进行水印检测。
如果对于实时性要求较低，在社交平台中可设置数据库，如分布式数据库等，用户通过客户端将数据上传至该数据库，计算机设备可从该数据库读取该数据，并从该数据中提取图像数据，并从该视频数据提取图像数据作为原始图像数据进行水印检测。
进一步而言，针对短视频等长度较短的视频数据，可将视频数据切分为多段视频子数据，分别从每段视频子数据中通过随机等方式提取一帧图像数据，作为原始图像数据。
当然，对于其他不同特性的视频数据，也可以通过其他方式提取图像数据，例如，针对电视剧、电影等长度较长的视频数据，水印一般在视频数据的初期、后期出现，中期为了观众的观看体验，比较少添加水印，因此，可以从初期、后期的一段视频数据中提取图像数据，等等，本实施例对此不加以限制。
S202、在原始图像数据中、针对水印检测目标区域。
在原始图像数据中，可检测水印可能存在的区域，作为目标区域。
在一种检测目标区域的方式中，本实施例提供两级级联的网络，第一级网络为目标检测网络。
目标检测网络应用目标检测算法，可检测指定的目标，在本实施例中，该目标为水印，该目标检测网络可用于针对水印检测目标区域。
该目标检测网络可以为两阶段检测网络，如Faster RCNN(Fast Region-basedConvolutional Neural Networks，基于快速区域的卷积神经网络)等，两阶段检测网络利用RPN(Region Proposal Network，区域选取网络)、selective search等方法生成大量的目标区域，一般具有相对较高的检测精度；该目标检测网络也可以为一阶段检测网络，如SSD(Single Shot MultiBox Detector，单发多盒探测器)、YOLO(You Only Look Once)等，一阶段检测网络可直接在多尺度anchor的基础上生成目标区域，往往具有更快的检测速度，等等，本实施例对此不加以限制。
在此检测方式中，可确定目标检测网络，将原始图像数据输入至目标检测网络中进行处理、以输出一个或多个目标区域。
对于目标检测网络，可离线确定第一样本图像数据，该第一样本图像数据中标记有候选区域，该候选区域中具有水印，使用第一样本图像数据训练目标检测网络。
在目标检测网络训练完成时，存储目标检测网络及其网络参数，后续实时应用目标检测网络时，启动目标检测网络并加载相应的网络参数。
进一步地，目标检测网络针对每个目标区域，可同时输出其置信度，表示该目标区域具有水印的概率，其中，置信度与具有水印的概率正相关，即目标区域的置信度越大，该目标区域具有水印的概率越高，反之，目标区域的置信度越小，该目标区域具有水印的概率越低。
此时，可确定目标区域的置信度，将置信度与预设的第一阈值进行比较。
若置信度大于或等于第一阈值，则表示置信度较大，确定目标区域有效，允许继续参与后续处理。
若置信度小于第一阈值，则表示置信度较小，确定目标区域无效，禁止继续参与后续处理。
当然，上述通过目标检测网络检测目标区域的方式只是作为示例，在实施本实施例时，可以根据实际情况设置其他检测目标区域的方式，例如，水印在保护版权的同时，尽可能避免影响图像数据中的内容，因此，水印一般半透明或不透明状态，占图像、视频整体比例较小，经常出现在图像数据的非关键区域，如图像数据的四角、底部或者顶部，因此，可将原始图像数据的指定区域(如四角、底部或者顶部)设置为目标区域，等等，本实施例对此不加以限制。另外，除了上述检测目标区域的方式外，本领域技术人员还可以根据实际需要采用其它检测目标区域的方式，本实施例对此也不加以限制。
S203、从目标图像数据中、针对水印提取目标图像特征。
从原始图像数据中检测水印可能存在的目标区域之后，依据目标区域从图像数据裁剪目标图像数据，其中，目标图像数据为原始图像数据中位于目标区域中的图像数据。
对于目标图像数据，可从目标图像数据提取表示水印的特征，作为目标图像特征。
在一种提取目标图像特征的方式中，本实施例提供两级级联的网络，第二级网络为特征提取网络。
特征提取网络应用特征提取算法，可提取目标的特征，在本实施例中，该目标为水印，该特征提取网络可用于针对水印提取图像特征。
由于输入特征提取网络的目标图像数据已从全图(原始图形数据)定位至目标区域，缩小了范围，因此，可以选用较小的网络，如ResNet18、NSFW(Not Suitable for Work)等。
在此检测方式中，可确定特征提取网络，将目标图像数据输入至所述特征提取网络中进行处理、以输出特征，作为目标图像特征。
在一个示例中，特征提取网络包括卷积神经网络、第一全连接层、第二全连接层，其中，该卷积神经网络是一个相对独立的结构，可以为现有的结构，如ResNet18、NSFW等，也可以为自定义的结构，本实施例对此不加以限制。
在本示例中，将目标图像数据输入卷积神经网络中进行卷积处理，以输出第一特征，将第一特征输入第一全连接层中进行降维处理，以输出第二特征，将第二特征输入第二全连接层中进行降维处理，以输出特征，作为目标图像特征，其中，目标图像特征的维度与参考图像数据的类别的数量相同。
第一全连接层、第二全连接层均为全连接层(fully connected layers，FC)，全连接层的参数维度为cin*out，cin代表该全连接层的输入的维度，cout代表该全连接层的输出的维度，即通过该全连接层后，可以得到维度为cout的特征(向量)。
在一个设计中，卷积神经网络为resnet50，输出1000维的第一特征，用参数维度为1000*128的第一全连接层，将第一特征降到128维，作为第二特征，用参数维度为128*12的第二全连接层，将第二特征降到12维，作为目标图像特征，其中，水印的类别的数量为12。
在本示例中，参考待分类的类别的数量，通过第一全连接层、第二全连接层这两层全连接层进行处理，在保证分类准确性的同时，降低目标图像特征的维度，提高特征提取网络的处理速度，并且，相对于通过单个全连接直接降维至指定数量的维度，通过两层全连接层先降维至较高的维度、将降维至指定数量的维度，可保持特征的精确性。
对于特征提取网络，可离线确定第二样本图像数据，该第二样本图像数据中具有水印，使用第二样本图像数据训练特征提取网络。
在特征提取网络训练完成时，存储特征提取网络及其网络参数，后续实时应用特征提取网络时，启动特征提取网络并加载相应的网络参数。
当然，上述特征提取网络提取目标图像特征的方式只是作为示例，在实施本实施例时，可以根据实际情况设置其他提取目标图像特征的方式，例如，使用SIFT算法从目标图像数据提取目标图像特征，等等，本实施例对此不加以限制。另外，除了上述提取目标图像特征的方式外，本领域技术人员还可以根据实际需要采用其它提取目标图像特征的方式，本实施例对此也不加以限制。
S204、确定参考图像数据的参考图像特征。
在本实施例中，可从本地或其他设备获取参考图像数据的参考图像特征，其中，参考图像数据中具有标记指定类别的水印，等待召回该类别中的水印。
需要说明的是，针对不同场景，划分类别的维度有所不同，例如，对于区分短视频平台的情况，该类别可以为短视频平台的名称，对于区分国家的情况，该类别可以为语言的种类，等等，本实施例对此不加以限制。
在具体实现中，可确定特征库，该特征库用于存储参考图像数据的参考图像特征，依次从特征库中提取参考图像特征，使得目标图像特征依次与参考图像特征进行比较。
对于特征库，可离线确定特征提取网络，确定指定类别下的第三样本图像数据，第三样本图像数据中具有水印。
将第三样本图像数据输入至所述特征提取网络进行处理、以输出特征，作为参考图像特征，以及，在特征库中关联记录类别与参考图像特征。
需要说明的是，从第三样本图像数据中提取参考图像特征的特征提取网络与从目标图像数据中提取目标图像特征的特征提取网络相同，即网络结构相同、参数相同。
S205、将目标图像特征与参考图像特征进行比较，以在原始图像数据中检测类别中的水印。
在本实施例中，将原始图像数据中各个目标图像数据的目标图像特征与参考图像特征进行比较，从而在原始图像数据中检测是否具有该类别中的水印。
在具体实现中，可计算目标图像特征与参考图像特征之间的相似度，如余弦相似度。
其中，参考图像特征关联类别。
在原始图像数据中，按照相似度对目标区域识别该类别中的水印。
在一种检测水印的方式中，可对相似度进行排序，确定n(n为正整数)个值最大的相似度关联的类别，作为候选类别，统计该目标类别的频次。
在原始图像数据中，确定目标区域检存在目标类别中的水印，该目标类别为值最大的频次所属的候选类别。
在此检测水印的方式中，筛选相似度较高的类别统计频次，参考频次检测水印，扩大了类别的参考范围，减少了个别误检测的影响，提高了类别的准确性。
当然，上述基于类别的频次检测水印的方式只是作为示例，在实施本实施例时，可以根据实际情况设置其他检测水印的方式，例如，确定值最高的相似度，作为目标相似度，确定目标区域检存在目标相似度关联类别中的水印，等等，本实施例对此不加以限制。另外，除了上述提取检测水印的方式外，本领域技术人员还可以根据实际需要采用其它检测水印的方式，本实施例对此也不加以限制。
进一步而言，为了提高类别的准确性，可将相似度与预设的第二阈值进行比较。
若相似度大于或等于第二阈值，则表示相似度较高，确定相似度有效，允许继续参与后续处理。
若相似度小于第二阈值，则表示置信度较低，确定相似度无效，禁止继续参与后续处理。
若所有相似度均无效，则确定目标图像数据中无水印。
S206、响应于该类别中的水印，对视频数据进行业务处理。
如果视频数据中的原始图像数据存在水印，则可以根据预先设定的规则，对视频数据进行相应的业务处理。
针对不同类型的视频数据，业务处理也有所不同，例如，对于短视频，该业务处理可以为标注非原创等标签，后期推送给其他用户时进行降权处理，从而降低其展示的概率，或者，标注短视频平台，统计来源于不同短视频平台的短视频的内容，分析当前的热点信息；对于电视剧、电影，该业务处理可以为标注来源的视频平台，并禁止发布指定视频平台的电视剧、电影，防止版权风险，等等，本实施例对此不加以限制。
在本实施例中，在视频数据中的原始图像数据中、针对水印检测目标区域，从目标图像数据中、针对水印提取目标图像特征，目标图像数据为原始图像数据中位于目标区域中的图像数据，确定参考图像数据的参考图像特征，参考图像数据中具有标记指定类别的水印，将目标图像特征与参考图像特征进行比较，以在原始图像数据中检测类别中的水印，响应于该类别中的水印，对视频数据进行业务处理，一方面，设置两个层级，第一个层级检测目标区域，可筛选缩小范围，第二个层级在较小的范围内提取目标图像特征，使得特征聚焦，保证了目标图像特征的质量，从而保证水印检测的精确度，另一方面，通过配置不同类别下水印的参考图像特征，可以召回不同类别的水印，在增加水印的类别的情况下，增加相应类别下水印的参考图像特征即可，由于前两个层级对类别的关联较少，因此，无需对前两个层级进行调整，如重新训练网络，从而支持水印类别的灵活扩展。
为使本领域技术人员更好地理解本实施例，以下通过具体的示例来说明本实施例中水印的检测、视频处理方法。
如图3所示，在一个短视频平台中预先训练目标检测网络311与特征提取网络312，在特征库313中存储其他短视频平台(类别)的水印的参考图像特征。
在本示例中，新增一个短视频平台，该短视频平台的名称为“生活show”，其水印具有内容为“live”(生活)的LOGO，预先采集水印为“live”的参考图像数据321，将该参考图像数据321输入至特征提取网络312，输出参考图像特征322，在特征库313存储“生活show”与参考图像特征322之间的关联关系。
当前接收到一个短视频330，每间隔1秒切分一段视频子数据，从每段视频子数据中分别提取一帧原始图像数据。
如图2所示，其中一帧原始图像数据331中，左上角具有“生活show”的水印“live”。
将原始图像数据331输入至目标检测网络311，输出目标区域332、目标区域333，其中，目标区域332中包含水印“live”，而目标区域333中包含背景中的广告牌。
在原始图像数据331中，提取位于目标区域332的图像数据作为目标图像数据334，提取位于目标区域333的图像数据作为目标图像数据335。
将目标图像数据334输入特征提取网络312，输出目标图像特征336。
将目标图像数据335输入特征提取网络312，输出目标图像特征337。
从特征库中提取不同短视频平台的参考图像特征，其中包括“生活show”的参考图像特征322。
将目标图像特征336与所有的参考图像特征计算相似度，其中，目标图像特征336与“生活show”的参考图像特征322的相似度超过阈值，目标图像特征336与其他参考图像特征的相似度均未超过阈值，则确定在原始图像数据331中的目标区域332存在“生活show”的水印。
将目标图像特征337与所有的参考图像特征计算相似度，所有相似度均未超过阈值，则确定在原始图像数据331中的目标区域333不存在已知短视频平台的水印。
对于短视频330，可以标注“非原创”、“生活show”这两个标签，在召回包含短视频330的短视频推送给用户时，检测到短视频330具有“非原创”这个标签，则降低其权重，从而降低其排序，然后推送给用户。
实施例三
图4为本发明实施例三提供的一种水印检测装置的结构示意图，该装置具体可以包括如下模块：
原始图像数据确定模块401，用于确定原始图像数据；
目标区域检测模块402，用于在原始图像数据中、针对水印检测目标区域；
目标图像特征提取模块403，用于从目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；
参考图像特征确定模块404，用于确定参考图像数据的参考图像特征，所述参考图像数据中具有标记指定类别的水印；
水印检测模块405，用于将所述目标图像特征与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印。
在本发明的一个实施例中，所述目标区域检测模块402包括：
目标检测网络确定子模块，用于确定目标检测网络，所述目标检测网络用于针对水印检测目标区域；
目标检测网络处理确定子模块，用于将所述原始图像数据输入至所述目标检测网络中进行处理、以输出目标区域。
在本发明的一个实施例中，所述目标区域检测模块402还包括：
置信度确定子模块，用于确定所述目标区域的置信度；
置信度比较子模块，用于将所述置信度与预设的第一阈值进行比较；
区域有效确定子模块，用于若所述置信度大于或等于所述第一阈值，则确定所述目标区域有效；
区域无效确定子模块，用于若所述置信度小于所述第一阈值，则确定所述目标区域无效。
在本发明的一个实施例中，所述目标检测网络确定子模块包括：
第一样本图像数据确定单元，用于确定第一样本图像数据，所述第一样本图像数据中标记有目标区域，所述目标区域中具有水印；
目标检测网络训练单元，用于使用所述第一样本图像数据训练目标检测网络。
在本发明的一个实施例中，所述目标图像特征提取模块403包括：
特征提取网络确定子模块，用于确定特征提取网络，所述特征提取网络用于针对水印提取图像特征；
特征提取网络处理子模块，用于将目标图像数据输入至所述特征提取网络中进行处理、以输出特征，作为目标图像特征。
在本发明的一个实施例中，所述特征提取网络包括卷积神经网络、第一全连接层、第二全连接层；
所述特征提取网络处理子模块包括：
卷积处理单元，用于将目标图像数据输入所述卷积神经网络中进行卷积处理，以输出第一特征；
第一降维单元，用于将所述第一特征输入所述第一全连接层中进行降维处理，以输出第二特征；
第二降维单元，用于将所述第二特征输入所述第二全连接层中进行降维处理，以输出特征，作为目标图像特征，其中，所述目标图像特征的维度与所述参考图像数据的类别的数量相同。
在本发明的一个实施例中，所述特征提取网络确定子模块包括：
第二样本图像数据确定单元，用于确定第二样本图像数据，所述第二样本图像数据中具有水印；
特征提取网络训练单元，用于使用所述第二样本图像数据训练特征提取网络。
在本发明的一个实施例中，所述参考图像特征确定模块404包括：
特征库确定子模块，用于确定特征库，所述特征库用于存储参考图像数据的参考图像特征；
参考图像特征提取子模块，用于从所述特征库中提取所述参考图像特征。
在本发明的一个实施例中，所述特征库确定子模块包括：
特征提取网络确定单元，用于确定特征提取网络；
第三样本图像数据确定单元，用于确定指定类别下的第三样本图像数据，所述第三样本图像数据中具有水印；
参考图像特征确定单元，用于将所述第三样本图像数据输入至所述特征提取网络进行处理、以输出特征，作为参考图像特征；
关联记录记录单元，用于在特征库中关联记录所述类别与所述参考图像特征。
在本发明的一个实施例中，所述水印检测模块405包括：
相似度计算子模块，用于计算所述目标图像特征与所述参考图像特征之间的相似度，所述参考图像特征关联类别；
水印识别子模块，用于在所述原始图像数据中，按照所述相似度对所述目标区域识别所述类别中的水印。
在本发明的一个实施例中，所述水印检测模块405还包括：
相似度比较子模块，用于将所述相似度与预设的第二阈值进行比较；
相似度有效确定子模块，用于若所述相似度大于所述第二阈值，则确定所述相似度有效；
相似度无效确定子模块，用于若所述相似度小于所述第二阈值，则确定所述相似度无效；
无水印确定子模块，用于若所有所述相似度均无效，则确定所述目标图像数据中无水印。
在本发明的一个实施例中，所述水印识别子模块包括：
候选类别确定单元，用于确定n个值最大的相似度关联的类别，作为候选类别；
频次统计单元，用于统计所述目标类别的频次；
水印确定单元，用于在所述原始图像数据中，确定所述目标区域检存在目标类别中的水印，所述目标类别为值最大的频次所属的候选类别。
本发明实施例所提供的水印检测装置可执行本发明任意实施例所提供的水印检测方法，具备执行方法相应的功能模块和有益效果。
实施例四
图5为本发明实施例四提供的一种视频处理装置的结构示意图，该装置具体可以包括如下模块：
原始图像数据提取模块501，用于从视频数据中提取原始图像数据；
目标区域检测模块502，用于在所述原始图像数据中、针对水印检测目标区域；
目标图像特征提取模块503，用于从目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；
参考图像特征确定模块504，用于确定参考图像数据的参考图像特征，所述参考图像数据中具有水印；
水印检测模块505，用于将所述目标图像特征与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印；
业务处理模块506，用于响应于所述类别中的水印，对所述视频数据进行业务处理。
在本发明的一个实施例中，所述原始图像数据提取模块501包括：
视频数据切分子模块，用于将视频数据切分为多段视频子数据；
图像数据提取子模块，用于分别从每段所述视频子数据中提取一帧图像数据，作为原始图像数据。
在本发明的一个实施例中，所述目标区域检测模块502包括：
目标检测网络确定子模块，用于确定目标检测网络，所述目标检测网络用于针对水印检测目标区域；
目标检测网络处理确定子模块，用于将所述原始图像数据输入至所述目标检测网络中进行处理、以输出目标区域。
在本发明的一个实施例中，所述目标区域检测模块502还包括：
置信度确定子模块，用于确定所述目标区域的置信度；
置信度比较子模块，用于将所述置信度与预设的第一阈值进行比较；
区域有效确定子模块，用于若所述置信度大于或等于所述第一阈值，则确定所述目标区域有效；
区域无效确定子模块，用于若所述置信度小于所述第一阈值，则确定所述目标区域无效。
在本发明的一个实施例中，所述目标检测网络确定子模块包括：
第一样本图像数据确定单元，用于确定第一样本图像数据，所述第一样本图像数据中标记有目标区域，所述目标区域中具有水印；
目标检测网络训练单元，用于使用所述第一样本图像数据训练目标检测网络。
在本发明的一个实施例中，所述目标图像特征提取模块503包括：
特征提取网络确定子模块，用于确定特征提取网络，所述特征提取网络用于针对水印提取图像特征；
特征提取网络处理子模块，用于将目标图像数据输入至所述特征提取网络中进行处理、以输出特征，作为目标图像特征。
在本发明的一个实施例中，所述特征提取网络包括卷积神经网络、第一全连接层、第二全连接层；
所述特征提取网络处理子模块包括：
卷积处理单元，用于将目标图像数据输入所述卷积神经网络中进行卷积处理，以输出第一特征；
第一降维单元，用于将所述第一特征输入所述第一全连接层中进行降维处理，以输出第二特征；
第二降维单元，用于将所述第二特征输入所述第二全连接层中进行降维处理，以输出特征，作为目标图像特征，其中，所述目标图像特征的维度与所述参考图像数据的类别的数量相同。
在本发明的一个实施例中，所述特征提取网络确定子模块包括：
第二样本图像数据确定单元，用于确定第二样本图像数据，所述第二样本图像数据中具有水印；
特征提取网络训练单元，用于使用所述第二样本图像数据训练特征提取网络。
在本发明的一个实施例中，所述参考图像特征确定模块504包括：
特征库确定子模块，用于确定特征库，所述特征库用于存储参考图像数据的参考图像特征；
参考图像特征提取子模块，用于从所述特征库中提取所述参考图像特征。
在本发明的一个实施例中，所述特征库确定子模块包括：
特征提取网络确定单元，用于确定特征提取网络；
第三样本图像数据确定单元，用于确定指定类别下的第三样本图像数据，所述第三样本图像数据中具有水印；
参考图像特征确定单元，用于将所述第三样本图像数据输入至所述特征提取网络进行处理、以输出特征，作为参考图像特征；
关联记录记录单元，用于在特征库中关联记录所述类别与所述参考图像特征。
在本发明的一个实施例中，所述水印检测模块505包括：
相似度计算子模块，用于计算所述目标图像特征与所述参考图像特征之间的相似度，所述参考图像特征关联类别；
水印识别子模块，用于在所述原始图像数据中，按照所述相似度对所述目标区域识别所述类别中的水印。
在本发明的一个实施例中，所述水印检测模块505还包括：
相似度比较子模块，用于将所述相似度与预设的第二阈值进行比较；
相似度有效确定子模块，用于若所述相似度大于所述第二阈值，则确定所述相似度有效；
相似度无效确定子模块，用于若所述相似度小于所述第二阈值，则确定所述相似度无效；
无水印确定子模块，用于若所有所述相似度均无效，则确定所述目标图像数据中无水印。
在本发明的一个实施例中，所述水印识别子模块包括：
候选类别确定单元，用于确定n个值最大的相似度关联的类别，作为候选类别；
频次统计单元，用于统计所述目标类别的频次；
水印确定单元，用于在所述原始图像数据中，确定所述目标区域检存在目标类别中的水印，所述目标类别为值最大的频次所属的候选类别。
本发明实施例所提供的视频处理装置可执行本发明任意实施例所提供的视频处理方法，具备执行方法相应的功能模块和有益效果。
实施例五
图6为本发明实施例五提供的一种水印检测***的结构示意图，该水印检测***600具体可以包括如下模块：
目标检测网络601，用于接收原始图像数据，以及，在所述原始图像数据中、针对水印检测目标区域；
特征提取网络602，用于接收目标图像数据，以及，从所述目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；
特征库603，用于存储参考图像数据的参考图像特征，所述参考图像数据中具有指定类别的水印，所述参考图像特征用于与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印。
在本发明的一个实施例中，所述特征提取网络602包括卷积神经网络6021、第一全连接层6022、第二全连接层6023；
所述卷积神经网络6021，用于接收目标图像数据，对所述目标图像进行卷积处理，输出第一特征；
所述第一全连接层6022，用于接收所述第一特征，对所述第一特征进行降维处理，输出第二特征；
所述第二全连接层6023，用于接收所述第二特征，对所述第二特征进行降维处理，输出特征，作为目标图像特征，其中，所述目标图像特征的维度与所述参考图像数据的类别的数量相同。
本发明实施例所提供的水印检测***可执行本发明任意实施例所提供的水印检测方法，具备执行方法相应的功能模块和有益效果。
实施例六
图7为本发明实施例六提供的一种计算机设备的结构示意图。如图7所示，该计算机设备包括处理器700、存储器701、通信模块702、输入装置703和输出装置704；计算机设备中处理器700的数量可以是一个或多个，图7中以一个处理器700为例；计算机设备中的处理器700、存储器701、通信模块702、输入装置703和输出装置704可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器701作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的水印检测方法对应的模块(例如，如图4所示的水印检测装置中的原始图像数据确定模块401、目标区域检测模块402、目标图像特征提取模块403、参考图像特征确定模块404和水印检测模块405)，或者，如本实施例中的视频处理方法对应的模块(例如，如图5所示的视频处理装置中的原始图像数据提取模块501、目标区域检测模块502、目标图像特征提取模块503、参考图像特征确定模块504、水印检测模块505和业务处理模块506)，或者，如本实施例中的水印检测方法对应的模块(例如，如图6所示的水印检测***中的目标检测网络601、特征提取网络602和特征库603)。处理器700通过运行存储在存储器701中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的水印检测方法或者视频处理方法。
存储器701可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器701可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器701可进一步包括相对于处理器700远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块702，用于与显示屏建立连接，并实现与显示屏的数据交互。
输入装置703可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。
输出装置704可以包括扬声器等音频设备。
需要说明的是，输入装置703和输出装置704的具体组成可以根据实际情况设定。
处理器700通过运行存储在存储器701中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的电子白板的连接节点控制方法。
本实施例提供的计算机设备，可执行本发明任一实施例提供的水印检测方法或者视频处理方法，具体相应的功能和有益效果。
实施例七
本发明实施例七还提供一种计算机可读存储介质，其上存储有计算机程序。
在一种情况中，该计算机程序被处理器执行时实现一种水印检测方法，该方法包括：
在原始图像数据中、针对水印检测目标区域；
从目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；
确定参考图像数据的参考图像特征，所述参考图像数据中具有标记指定类别的水印；
将所述目标图像特征与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印。
在另一种情况中，该计算机程序被处理器执行时实现一种视频处理方法，该方法包括：
从视频数据中提取原始图像数据；
在所述原始图像数据中、针对水印检测目标区域；
从目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；
确定参考图像数据的参考图像特征，所述参考图像数据中具有水印；
将所述目标图像特征与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印；
响应于所述类别中的水印，对所述视频数据进行业务处理。
当然,本发明实施例所提供的计算机可读存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的水印检测方法或者视频处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述水印检测装置或者视频处理装置或者水印检测***的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (16)

1.一种水印检测方法，其特征在于，包括：
在原始图像数据中、针对水印检测目标区域；
从目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；
确定参考图像数据的参考图像特征，所述参考图像数据中具有标记指定类别的水印；
将所述目标图像特征与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印；
所述在原始图像数据中、针对水印检测目标区域，包括：
确定目标检测网络，所述目标检测网络用于针对水印检测目标区域；
将所述原始图像数据输入至所述目标检测网络中进行处理、以输出目标区域；
所述从目标图像数据中、针对水印提取目标图像特征，包括：
确定特征提取网络，所述特征提取网络用于针对水印提取图像特征；
将目标图像数据输入至所述特征提取网络中进行处理、以输出特征，作为目标图像特征；
所述特征提取网络包括卷积神经网络、第一全连接层、第二全连接层；
所述将目标图像数据输入至所述特征提取网络中进行处理、以输出特征，作为目标图像特征，包括：
将目标图像数据输入所述卷积神经网络中进行卷积处理，以输出第一特征；
将所述第一特征输入所述第一全连接层中进行降维处理，以输出第二特征；
将所述第二特征输入所述第二全连接层中进行降维处理，以输出特征，作为目标图像特征，其中，所述目标图像特征的维度与所述参考图像数据的类别的数量相同。
2.根据权利要求1所述的方法，其特征在于，所述在所述原始图像数据中、针对水印检测目标区域，还包括：
确定所述目标区域的置信度；
将所述置信度与预设的第一阈值进行比较；
若所述置信度大于或等于所述第一阈值，则确定所述目标区域有效；
若所述置信度小于所述第一阈值，则确定所述目标区域无效。
3.根据权利要求1所述的方法，其特征在于，所述确定目标检测网络，包括：
确定第一样本图像数据，所述第一样本图像数据中标记有目标区域，所述目标区域中具有水印；
使用所述第一样本图像数据训练目标检测网络。
4.根据权利要求1所述的方法，其特征在于，所述确定特征提取网络，包括：
确定第二样本图像数据，所述第二样本图像数据中具有水印；
使用所述第二样本图像数据训练特征提取网络。
5.根据权利要求1所述的方法，其特征在于，所述确定参考图像数据的参考图像特征，包括：
确定特征库，所述特征库用于存储参考图像数据的参考图像特征；
从所述特征库中提取所述参考图像特征。
6.根据权利要求5所述的方法，其特征在于，所述确定特征库，包括：
确定特征提取网络；
确定指定类别下的第三样本图像数据，所述第三样本图像数据中具有水印；
将所述第三样本图像数据输入至所述特征提取网络进行处理、以输出特征，作为参考图像特征；
在特征库中关联记录所述类别与所述参考图像特征。
7.根据权利要求1-6任一所述的方法，其特征在于，所述将所述目标图像特征与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印，包括：
计算所述目标图像特征与所述参考图像特征之间的相似度，所述参考图像特征关联类别；
在所述原始图像数据中，按照所述相似度对所述目标区域识别所述类别中的水印。
8.根据权利要求7所述的方法，其特征在于，所述将所述目标图像特征与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印，还包括：
将所述相似度与预设的第二阈值进行比较；
若所述相似度大于所述第二阈值，则确定所述相似度有效；
若所述相似度小于所述第二阈值，则确定所述相似度无效；
若所有所述相似度均无效，则确定所述目标图像数据中无水印。
9.根据权利要求7所述的方法，其特征在于，所述在所述原始图像数据中，按照所述相似度对所述目标区域识别所述类别中的水印，包括：
确定n个值最大的相似度关联的类别，作为候选类别；
统计所述目标类别的频次；
在所述原始图像数据中，确定所述目标区域检存在目标类别中的水印，所述目标类别为值最大的频次所属的候选类别。
10.一种视频处理方法，其特征在于，包括：
从视频数据中提取原始图像数据；
在所述原始图像数据中、针对水印检测目标区域；
从目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；
确定参考图像数据的参考图像特征，所述参考图像数据中具有标记指定类别的水印；
将所述目标图像特征与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印；
响应于所述类别中的水印，对所述视频数据进行业务处理；
所述在所述原始图像数据中、针对水印检测目标区域，包括：
确定目标检测网络，所述目标检测网络用于针对水印检测目标区域；
将所述原始图像数据输入至所述目标检测网络中进行处理、以输出目标区域；
所述从目标图像数据中、针对水印提取目标图像特征，包括：
确定特征提取网络，所述特征提取网络用于针对水印提取图像特征；
将目标图像数据输入至所述特征提取网络中进行处理、以输出特征，作为目标图像特征；
所述特征提取网络包括卷积神经网络、第一全连接层、第二全连接层；
所述将目标图像数据输入至所述特征提取网络中进行处理、以输出特征，作为目标图像特征，包括：
将目标图像数据输入所述卷积神经网络中进行卷积处理，以输出第一特征；
将所述第一特征输入所述第一全连接层中进行降维处理，以输出第二特征；
将所述第二特征输入所述第二全连接层中进行降维处理，以输出特征，作为目标图像特征，其中，所述目标图像特征的维度与所述参考图像数据的类别的数量相同。
11.根据权利要求10所述的方法，其特征在于，所述从视频数据中提取原始图像数据，包括：
将视频数据切分为多段视频子数据；
分别从每段所述视频子数据中提取一帧图像数据，作为原始图像数据。
12.一种水印检测装置，其特征在于，包括：
目标区域检测模块，用于在原始图像数据中、针对水印检测目标区域；
目标图像特征提取模块，用于从目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；
参考图像特征确定模块，用于确定参考图像数据的参考图像特征，所述参考图像数据中具有标记指定类别的水印；
水印检测模块，用于将所述目标图像特征与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印；
所述目标区域检测模块，包括：
目标检测网络确定子模块，用于确定目标检测网络，所述目标检测网络用于针对水印检测目标区域；
目标检测网络处理确定子模块，用于将所述原始图像数据输入至所述目标检测网络中进行处理、以输出目标区域；
所述目标图像特征提取模块包括：
特征提取网络确定子模块，用于确定特征提取网络，所述特征提取网络用于针对水印提取图像特征；
特征提取网络处理子模块，用于将目标图像数据输入至所述特征提取网络中进行处理、以输出特征，作为目标图像特征；
所述特征提取网络包括卷积神经网络、第一全连接层、第二全连接层；
所述特征提取网络处理子模块包括：
卷积处理单元，用于将目标图像数据输入所述卷积神经网络中进行卷积处理，以输出第一特征；
第一降维单元，用于将所述第一特征输入所述第一全连接层中进行降维处理，以输出第二特征；
第二降维单元，用于将所述第二特征输入所述第二全连接层中进行降维处理，以输出特征，作为目标图像特征，其中，所述目标图像特征的维度与所述参考图像数据的类别的数量相同。
13.一种视频处理装置，其特征在于，包括：
原始图像数据提取模块，用于从视频数据中提取原始图像数据；
目标区域检测模块，用于在所述原始图像数据中、针对水印检测目标区域；
目标图像特征提取模块，用于从目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；
参考图像特征确定模块，用于确定参考图像数据的参考图像特征，所述参考图像数据中具有标记指定类别的水印；
水印检测模块，用于将所述目标图像特征与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印；
业务处理模块，用于响应于所述类别中的水印，对所述视频数据进行业务处理；
所述目标区域检测模块，包括：
目标检测网络确定子模块，用于确定目标检测网络，所述目标检测网络用于针对水印检测目标区域；
目标检测网络处理确定子模块，用于将所述原始图像数据输入至所述目标检测网络中进行处理、以输出目标区域；
所述目标图像特征提取模块包括：
特征提取网络确定子模块，用于确定特征提取网络，所述特征提取网络用于针对水印提取图像特征；
特征提取网络处理子模块，用于将目标图像数据输入至所述特征提取网络中进行处理、以输出特征，作为目标图像特征；
所述特征提取网络包括卷积神经网络、第一全连接层、第二全连接层；
所述特征提取网络处理子模块包括：
卷积处理单元，用于将目标图像数据输入所述卷积神经网络中进行卷积处理，以输出第一特征；
第一降维单元，用于将所述第一特征输入所述第一全连接层中进行降维处理，以输出第二特征；
第二降维单元，用于将所述第二特征输入所述第二全连接层中进行降维处理，以输出特征，作为目标图像特征，其中，所述目标图像特征的维度与所述参考图像数据的类别的数量相同。
14.一种水印的检测***，其特征在于，包括：
目标检测网络，用于接收原始图像数据，以及，在所述原始图像数据中、针对水印检测目标区域；所述在所述原始图像数据中、针对水印检测目标区域，包括：确定目标检测网络，所述目标检测网络用于针对水印检测目标区域；将所述原始图像数据输入至所述目标检测网络中进行处理、以输出目标区域；
特征提取网络，用于接收目标图像数据，以及，从所述目标图像数据中、针对水印提取目标图像特征，所述目标图像数据为所述原始图像数据中位于所述目标区域中的图像数据；所述从所述目标图像数据中、针对水印提取目标图像特征，包括：对目标图像数据进行处理，以输出特征，作为目标图像特征；
所述特征提取网络包括卷积神经网络、第一全连接层、第二全连接层；
所述卷积神经网络，用于接收目标图像数据，对所述目标图像进行卷积处理，输出第一特征；
所述第一全连接层，用于接收所述第一特征，对所述第一特征进行降维处理，输出第二特征；
所述第二全连接层，用于接收所述第二特征，对所述第二特征进行降维处理，输出特征，作为目标图像特征，其中，所述目标图像特征的维度与参考图像数据的类别的数量相同；
特征库，用于存储参考图像数据的参考图像特征，所述参考图像数据中具有指定类别的水印，所述参考图像特征用于与所述参考图像特征进行比较，以在所述原始图像数据中检测所述类别中的水印。
15.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的水印检测方法，或者如权利要求10-11中任一所述的视频处理方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-9中任一所述的水印检测方法，或者如权利要求10-11中任一所述的视频处理方法。
CN201911397156.7A 2019-12-30 2019-12-30 一种水印检测、视频处理方法和相关设备 Active CN111191591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911397156.7A CN111191591B (zh) 2019-12-30 2019-12-30 一种水印检测、视频处理方法和相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911397156.7A CN111191591B (zh) 2019-12-30 2019-12-30 一种水印检测、视频处理方法和相关设备

Publications (2)

Publication Number Publication Date
CN111191591A CN111191591A (zh) 2020-05-22
CN111191591B true CN111191591B (zh) 2024-07-05

Family

ID=70711101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911397156.7A Active CN111191591B (zh) 2019-12-30 2019-12-30 一种水印检测、视频处理方法和相关设备

Country Status (1)

Country Link
CN (1) CN111191591B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798360B (zh) * 2020-06-30 2023-08-15 百度在线网络技术（北京）有限公司 一种水印检测方法、装置、电子设备及存储介质
CN113395583B (zh) * 2020-09-29 2023-06-27 腾讯科技（深圳）有限公司 水印检测方法、装置、计算机设备及存储介质
CN112689159B (zh) * 2020-12-22 2023-04-18 深圳市九洲电器有限公司 视频文件处理方法、装置、终端设备以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1771513A (zh) * 2003-04-11 2006-05-10 皇家飞利浦电子股份有限公司 水印检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049882B (zh) * 2012-12-22 2016-04-13 浙江工业大学 基于虚拟一维条码的图像水印嵌入与检测方法
CN109285105B (zh) * 2018-09-05 2023-08-11 北京字节跳动网络技术有限公司 水印检测方法、装置、计算机设备和存储介质
CN109784181B (zh) * 2018-12-14 2024-03-22 平安科技（深圳）有限公司 图片水印识别方法、装置、设备及计算机可读存储介质
CN110428357A (zh) * 2019-08-09 2019-11-08 厦门美图之家科技有限公司 图像中水印的检测方法、装置、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1771513A (zh) * 2003-04-11 2006-05-10 皇家飞利浦电子股份有限公司 水印检测方法

Also Published As

Publication number Publication date
CN111191591A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
US8358837B2 (en) Apparatus and methods for detecting adult videos
US11954152B2 (en) Video matching methods and apparatuses, and blockchain-based infringement evidence storage methods and apparatuses
CN111191591B (zh) 一种水印检测、视频处理方法和相关设备
CN110688524B (zh) 视频检索方法、装置、电子设备及存储介质
US10803348B2 (en) Hybrid-based image clustering method and server for operating the same
CN111311475A (zh) 检测模型训练方法、装置、存储介质和计算机设备
US11531839B2 (en) Label assigning device, label assigning method, and computer program product
CN111836118B (zh) 视频处理方法、装置、服务器及存储介质
CN112733666A (zh) 一种难例图像的搜集、及模型训练方法、设备及存储介质
CN111444362A (zh) 恶意图片拦截方法、装置、设备和存储介质
CN112884866B (zh) 一种黑白视频的上色方法、装置、设备及存储介质
CN113076961B (zh) 一种图像特征库更新方法、图像检测方法和装置
CN112950564B (zh) 一种图像检测方法、装置、存储介质及电子设备
Liu et al. Automated player identification and indexing using two-stage deep learning network
Jose et al. Efficient shot boundary detection with multiple visual representations
Kalakoti Key-Frame Detection and Video Retrieval Based on DC Coefficient-Based Cosine Orthogonality and Multivariate Statistical Tests.
KR20090019713A (ko) 데이터 처리 장치 및 데이터 처리 방법
US20240221426A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN112784691B (zh) 一种目标检测模型训练方法、目标检测方法和装置
CN112818984B (zh) 标题生成方法、装置、电子设备和存储介质
KR20150103443A (ko) 멀티클래스 분류 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
CN110969602B (zh) 一种图像清晰程度检测方法及装置
Wang et al. Moving cast shadow detection using joint color and texture features with neighboring information
Calarasanu et al. From text detection to text segmentation: a unified evaluation scheme
CN112069357A (zh) 视频资源处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant