CN117474903B - 一种图像侵权检测方法、装置、设备及可读存储介质 - Google Patents
一种图像侵权检测方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN117474903B CN117474903B CN202311800569.1A CN202311800569A CN117474903B CN 117474903 B CN117474903 B CN 117474903B CN 202311800569 A CN202311800569 A CN 202311800569A CN 117474903 B CN117474903 B CN 117474903B
- Authority
- CN
- China
- Prior art keywords
- distortion
- image
- color
- sampling point
- loss value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 174
- 239000000523 sample Substances 0.000 claims abstract description 308
- 238000012549 training Methods 0.000 claims abstract description 87
- 238000005070 sampling Methods 0.000 claims description 255
- 239000013598 vector Substances 0.000 claims description 158
- 239000002245 particle Substances 0.000 claims description 98
- 238000012545 processing Methods 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 32
- 238000002347 injection Methods 0.000 claims description 31
- 239000007924 injection Substances 0.000 claims description 31
- 238000013515 script Methods 0.000 claims description 26
- 230000008447 perception Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000001172 regenerating effect Effects 0.000 claims description 9
- 238000013145 classification model Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000010998 test method Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000000442 meristematic effect Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 13
- 238000007781 pre-processing Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及人工智能技术领域,具体公开了一种图像侵权检测方法、装置、设备及可读存储介质,通过对第一样本图像数据集中的部分第一样本图像进行颜色扭曲处理后训练二分类探针检测模型,并对未授权图像进行颜色扭曲处理后以处理后的未授权图像替换未授权图像进行发布,从而对于文生图模型训练任务对应的文生图训练图像数据集,可以利用二分类探针检测模型识别得到文生图训练图像数据集中的探针检测结果以检测样本侵权事件。颜色扭曲相较于直接添加水印来说不易被人眼识别也难以被常用的预处理增强干扰,从而有效避免未授权图像被抹掉水印的情况,而能够被训练的二分类探针检测模型检出,从而实现对文生图模型训练时采用的图像是否侵权进行检出。
Description
技术领域
本发明涉及人工智能技术领域,特别是涉及一种图像侵权检测方法、装置、设备及可读存储介质。
背景技术
生成式人工智能(Artificial Intelligence Generated Content,AIGC),是指基于生成对抗网络、大型预训练模型等人工智能的技术方法,通过已有数据的学习和识别,以适当的泛化能力生成相关内容的技术。生成式人工智能技术的核心思想是利用人工智能算法生成具有一定创意和质量的内容。通过训练模型和大量数据的学习,可以根据输入的条件或指导,生成与之相关的内容。例如,通过输入关键词、描述或样本,可以生成与之相匹配的文章、图像、音频等。
文生图是生成式人工智能技术中的一大分支,它可以通过输入一段文字描述,将文字模态信息转化为图像模态展示出来,具有极高的展示效果,具有广泛的应用前景。然而目前的文生图技术由于处于发展阶段,存在大量使用未授权图像训练文生图模型的问题。
如何避免未授权图像被训练使用,是本领域技术人员需要解决的技术问题。
发明内容
本发明的目的是提供一种图像侵权检测方法、装置、设备及可读存储介质,用于避免未授权图像被训练使用,减少人工智能绘图技术的图像侵权事件。
为解决上述技术问题,本发明提供一种图像侵权检测方法,包括:
以颜色扭曲参数为探针,调用探针注入脚本对第一样本图像数据集中的部分第一样本图像进行颜色扭曲处理,利用处理后的所述第一样本图像数据集训练得到二分类探针检测模型;
以颜色扭曲参数为探针,调用所述探针注入脚本对未授权图像进行颜色扭曲处理,以处理后的所述未授权图像替换所述未授权图像进行发布;
获取文生图模型训练任务对应的文生图训练图像数据集;
利用所述二分类探针检测模型识别得到所述文生图训练图像数据集中的探针检测结果;
根据所述探针检测结果得到所述文生图训练图像数据集的样本侵权事件检测结果。
在一些实施中,调用所述探针注入脚本对输入图像进行颜色扭曲处理,包括:
自所述输入图像中提取采样点集合;
对所述采样点集合中的各采样点生成颜色扭曲偏移向量;
根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值;
对比所述采样点的所述扭曲损失值和对所述输入图像的设定损失阈值;
若各所述采样点的所述扭曲损失值均不超出所述设定损失阈值,则以当前的各所述采样点的所述颜色扭曲偏移向量对各所述采样点进行颜色扭曲处理;
若存在所述扭曲损失值超出所述设定损失阈值的所述采样点,则重新生成所述颜色扭曲偏移向量后,返回所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值的步骤;
其中,所述输入图像为所述第一样本图像或所述未授权图像。
在一些实施中,所述自所述输入图像中提取采样点集合,包括:
利用纹理特征提取器提取所述输入图像中的纹理特征坐标点集合;
以所述纹理特征坐标点集合为所述采样点集合。
在一些实施中,所述自所述输入图像中提取采样点集合,包括:
利用纹理特征提取器提取所述输入图像中的纹理特征坐标点集合;
自所述纹理特征坐标点集合中采样得到所述采样点集合。
在一些实施中,所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值,包括:
根据所述颜色扭曲偏移向量计算得到各所述采样点的颜色扭曲损失值;
以所述颜色扭曲损失值为所述扭曲损失值。
在一些实施中,所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值,包括:
根据所述颜色扭曲偏移向量计算得到各所述采样点的自然惩罚损失值;
以所述自然惩罚损失值为所述扭曲损失值。
在一些实施中,所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值,包括:
根据所述颜色扭曲偏移向量计算得到各所述采样点的自然惩罚损失值;
根据所述颜色扭曲偏移向量计算得到各所述采样点的颜色扭曲损失值;
根据所述采样点的所述颜色扭曲损失值和所述采样点的所述自然惩罚损失值计算得到所述采样点的所述扭曲损失值。
在一些实施中,所述根据所述颜色扭曲偏移向量计算得到各所述采样点的颜色扭曲损失值,根据下式计算得到:
;
其中,为所述颜色扭曲损失值,/>为所述采样点集合,x为所述采样点,t为所述颜色扭曲偏移向量,G为预先根据第二样本图像数据集训练得到的颜色扭曲识别分类模型,CE()为交叉熵损失函数;所述第二样本图像数据集包括进行颜色扭曲处理的第二样本图像和未进行颜色扭曲处理的第二样本图像。
在一些实施中,所述根据所述颜色扭曲偏移向量计算得到各所述采样点的自然惩罚损失值,包括:
根据所述颜色扭曲偏移向量计算得到所述采样点的峰值信噪比指标和所述采样点的学习感知图像块相似性指标;
根据所述峰值信噪比指标和所述学习感知图像块相似性指标计算得到所述自然惩罚损失值。
在一些实施中,所述根据所述颜色扭曲偏移向量计算得到所述采样点的峰值信噪比指标和所述采样点的学习感知图像块相似性指标,根据下式计算得到:
;
其中,为所述自然惩罚损失值,/>为所述峰值信噪比指标的归一化系数,/>为所述学习感知图像块相似性指标的归一化系数,/>为所述峰值信噪比指标的阈值常数,为所述学习感知图像块相似性指标的阈值常数,/>为所述采样点增加所述颜色扭曲偏移向量后的所述峰值信噪比指标,/>为所述采样点增加所述颜色扭曲偏移向量后的所述学习感知图像块相似性指标。
在一些实施中,所述峰值信噪比指标的归一化系数通过下式计算得到:
;
所述学习感知图像块相似性指标的归一化系数通过下式计算得到:
;
其中,k*k为所述采样点集合中所述采样点的总数,为第i个所述采样点增加对应的所述颜色扭曲偏移向量后的所述峰值信噪比指标,为第i个所述采样点的第i个所述采样点增加对应的所述颜色扭曲偏移向量后的所述学习感知图像块相似性指标。
在一些实施中,所述根据所述采样点的所述颜色扭曲损失值和所述采样点的所述自然惩罚损失值计算得到所述采样点的所述扭曲损失值,通过下式计算得到:
;
其中,为所述扭曲损失值,/>为所述颜色扭曲损失值,/>为所述自然惩罚损失值。
在一些实施中,所述对比所述采样点的所述扭曲损失值和对所述输入图像的设定损失阈值,包括:
确定所述扭曲损失值最大的所述采样点;
若所述扭曲损失值最大的所述采样点的所述扭曲损失值未超出所述设定损失阈值,则确定各所述采样点的所述扭曲损失值均不超出所述设定损失阈值;
若所述扭曲损失值最大的所述采样点的所述扭曲损失值超出所述设定损失阈值,则直接进入所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值的步骤。
在一些实施中,所述对比所述采样点的所述扭曲损失值和对所述输入图像的设定损失阈值,包括:
确定所述扭曲损失值最小的所述采样点;
若所述扭曲损失值最小的所述采样点的所述扭曲损失值未超出所述设定损失阈值,则继续对比其余所述采样点的所述扭曲损失值与所述设定损失阈值;
若所述扭曲损失值最小的所述采样点的所述扭曲损失值超出所述设定损失阈值,则直接进入所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值的步骤。
在一些实施中,所述对所述采样点集合中的各采样点生成颜色扭曲偏移向量,包括:
以所述采样点集合形成采样点粒子群;
根据对所述采样点粒子群中的各粒子生成所述颜色扭曲偏移向量以及速度向量;
所述若存在所述扭曲损失值超出所述设定损失阈值的所述采样点,则重新生成所述颜色扭曲偏移向量后,返回所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值的步骤,包括:
若存在所述扭曲损失值超出所述设定损失阈值的所述粒子,则根据下式更新各所述粒子的所述颜色扭曲偏移向量后,返回所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值的步骤;
;
;
其中,为颜色扭曲处理后的第i个所述粒子,/>为第i个所述粒子的红色通道值,/>为第i个所述粒子的绿色通道值,/>为第i个所述粒子的蓝色通道值,/>为对第i个所述粒子的红色通道颜色扭曲偏移量,/>为对第i个所述粒子的绿色通道颜色扭曲偏移量,/>为对第i个所述粒子的蓝色通道颜色扭曲偏移量,/>为所述采样点粒子群的速度动量系数,/>为第i个所述粒子的速率向量,/>、/>为速率向量设定参数,/>为当前所述采样点粒子群中所述扭曲损失值最大的所述粒子的所述颜色扭曲偏移向量,/>为当前所述采样点粒子群中所述扭曲损失值最小的所述粒子的所述颜色扭曲偏移向量,/>为第i个所述粒子更新后的所述速率向量,/>为第i个所述粒子当前的所述颜色扭曲偏移向量,/>为第i个所述粒子更新后的所述颜色扭曲偏移向量。
在一些实施中,利用所述二分类探针检测模型识别得到输入图像的所述探针检测结果,包括:
将所述输入图像输入颜色通道解析得到所述输入图像的颜色红绿蓝三通道值;
将所述输入图像输入纹理通道解析得到所述输入图像的纹理通道值;
将所述颜色红绿蓝三通道值和所述纹理通道值合并,得到所述输入图像的颜色纹理特征值;
将所述颜色纹理特征值输入多个尺度的并行卷积神经网络,输出对应的多个特征图;
将各所述特征图相加后,通过全局平均池化模块、数组扁平化函数和多层感知机,输出概率值为所述探针检测结果;
其中,所述输入图像为处理后的所述第一样本图像数据集中的所述第一样本图像或所述文生图训练图像数据集中的待检测图像。
在一些实施中,所述二分类探针检测模型的损失函数为:
;
其中,L为所述损失函数,为所述输入图像中未进行颜色扭曲处理后的点,x为所述输入图像中进行颜色扭曲处理的点,/>为颜色扭曲函数,L ce ()为交叉熵函数,F()为所述数组扁平化函数,D为所述输入图像中的点的集合,/>为所述输入图像中进行颜色扭曲处理的点的集合。
在一些实施中,所述利用所述二分类探针检测模型识别得到所述文生图训练图像数据集中的探针检测结果,包括:
自所述文生图训练图像数据集中采样得到待检测图像集合;
利用所述二分类探针检测模型检测所述待检测图像集合中各待检测图像存在样本侵权事件的概率;
根据各所述待检测图像存在样本侵权事件的概率计算得到所述待检测图像集合存在所述样本侵权事件的期望值;
获取所述二分类探针检测模型的检测误差率;
所述根据所述探针检测结果得到样本侵权事件检测结果,包括:
采用假设检验法根据所述期望值和所述检测误差率进行所述文生图训练图像数据集的样本侵权事件判定,得到所述样本侵权事件检测结果。
在一些实施中,所述采用假设检验法根据所述期望值和所述检测误差率进行所述文生图训练图像数据集的样本侵权事件判定,得到所述样本侵权事件检测结果,包括:
利用计算得到/>;
利用计算得到/>;
令=0.05,查询在自由度为(m-1)下的分位数为1-/>的t分布值/>;
若>/>,则确定所述文生图训练图像数据集存在所述样本侵权事件;
若≤/>,则确定所述文生图训练图像数据集不存在所述样本侵权事件;
其中,为计算样本侵权事件检测值的中间变量,W为所述期望值,/>为所述样本侵权事件检测值,m为待检测图像的样本数量,β为所述检测误差率,/>为t分布上的/>分位数。
为解决上述技术问题,本发明还提供一种图像侵权检测装置包括:
训练单元,用于以颜色扭曲参数为探针,调用探针注入脚本对第一样本图像数据集中的部分第一样本图像进行颜色扭曲处理,利用处理后的所述第一样本图像数据集训练得到二分类探针检测模型;
处理单元,用于以颜色扭曲参数为探针,调用所述探针注入脚本对未授权图像进行颜色扭曲处理,以处理后的所述未授权图像替换所述未授权图像进行发布;
获取单元,用于获取文生图模型训练任务对应的文生图训练图像数据集;
检测单元,用于利用所述二分类探针检测模型识别得到所述文生图训练图像数据集中的探针检测结果;
判定单元,用于根据所述探针检测结果得到所述文生图训练图像数据集的样本侵权事件检测结果。
为解决上述技术问题,本发明还提供一种图像侵权检测设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序,所述计算机程序被所述处理器执行时实现如上述任意一项所述图像侵权检测方法的步骤。
为解决上述技术问题,本发明还提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任意一项所述图像侵权检测方法的步骤。
本发明所提供的图像侵权检测方法,通过调用探针注入脚本对第一样本图像数据集中的部分第一样本图像进行颜色扭曲处理后训练二分类探针检测模型,并调用探针注入脚本对未授权图像进行颜色扭曲处理后以处理后的未授权图像替换未授权图像进行发布,从而对于文生图模型训练任务对应的文生图训练图像数据集,可以利用二分类探针检测模型识别得到文生图训练图像数据集中的探针检测结果以检测样本侵权事件。由于颜色扭曲相较于直接添加水印来说不易被人眼识别也难以被常用的预处理增强干扰,从而有效避免未授权图像被抹掉水印的情况,而能够被训练的二分类探针检测模型检出,从而实现对文生图模型训练时采用的图像是否侵权进行检出,从而避免未授权图像被训练使用,减少人工智能绘图技术的图像侵权事件。
本发明还提供一种图像侵权检测装置、设备及可读存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像侵权检测方法的流程图;
图2为本发明实施例提供的一种二分类探针检测模型的模型架构示意图;
图3为本发明实施例提供的一种图像侵权检测装置的结构示意图;
图4为本发明实施例提供的一种图像侵权检测设备的结构示意图。
具体实施方式
本发明的核心是提供一种图像侵权检测方法、装置、设备及可读存储介质,用于避免未授权图像被训练使用,减少人工智能绘图技术的图像侵权事件。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面对本发明实施例一进行说明。
为便于理解,首先对本发明适用的***架构进行介绍。本发明实施例提供的图像侵权检测方法可以应用于任意计算设备,也可以应用于加速器集群、异构加速器集群。采用的加速器可以包括但不限于图形处理器(Graphics Processing Unit,GPU)、现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)等。
在上述架构的基础上,下面结合附图对本发明实施例提供的图像侵权检测方法进行说明。
下面对本发明实施例二进行说明。
图1为本发明实施例提供的一种图像侵权检测方法的流程图。
如图1所示,本发明实施例提供的图像侵权检测方法包括:
S101:以颜色扭曲参数为探针,调用探针注入脚本对第一样本图像数据集中的部分第一样本图像进行颜色扭曲处理,利用处理后的第一样本图像数据集训练得到二分类探针检测模型。
S102:以颜色扭曲参数为探针,调用探针注入脚本对未授权图像进行颜色扭曲处理,以处理后的未授权图像替换未授权图像进行发布。
S103:获取文生图模型训练任务对应的文生图训练图像数据集。
S104:利用二分类探针检测模型识别得到文生图训练图像数据集中的探针检测结果。
S105:根据探针检测结果得到文生图训练图像数据集的样本侵权事件检测结果。
在具体实施中,S101与S102之间无顺序关系,S102与S103-S105之间无顺序关系。
目前的未授权图像保护方法,通常为添加水印,但人眼容易识别的水印也容易被盗用者抹除,无法用于进行未授权图像的防盗。本发明实施例提供的图像侵权检测方法,通过向未授权图像注入探针后再公开,训练二分类探针检测模型来检测文生图训练图像数据集中是否存在探针,可以用于在训练文生图模型前检验文生图训练图像数据集是否存在样本侵权事件以及对于训练好的文生图模型检验是否采用了未授权的文生图训练图像数据集进行训练。
在本发明实施例中,要实现注入的探针能够被二分类探针检测模型识别而不被肉眼察觉,且不被常用的预处理数据增强所干扰,以实现对未授权数据保护方案的有效性、自然性和鲁棒性。考虑到肉眼识别图像中的物体是主要是基于形状,而对颜色和纹理的关注较弱,本发明实施例提供的图像侵权检测方法提供的注入探针基于扭曲的映射方式,该种映射方式与当前的主流预处理数据增强均不相同,因此具有较强的鲁棒性。
本发明实施例提供的探针注入脚本用于对未授权数据集D实现一个函数S,对D中的任意一张图像x经过S生成的新图像(记为S(x))。S(x)需要具备三个方面特性:S(x)难以被人类察觉;S(x)容易误导模型产生错误的结论;S(x)难以被常用的预处理数据增强所干扰。
在训练二分类探针检测模型时,可以采用对第一样本图像数据集中的部分第一样本图像进行颜色扭曲处理,具体对部分第一样本头像中采样部分点进行颜色扭曲处理,且需要保证颜色扭曲处理的第一样本图像不易被肉眼识别。同理,利用该探针注入脚本对未授权图像处理时,也应该尽可能减少注入探针对原图质量的影响。
则调用探针注入脚本对输入图像进行颜色扭曲处理,可以包括:
自输入图像中提取采样点集合;
对采样点集合中的各采样点生成颜色扭曲偏移向量;
根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值;
对比采样点的扭曲损失值和对输入图像的设定损失阈值;
若各采样点的扭曲损失值均不超出设定损失阈值,则以当前的各采样点的颜色扭曲偏移向量对各采样点进行颜色扭曲处理;
若存在扭曲损失值超出设定损失阈值的采样点,则重新生成颜色扭曲偏移向量后,返回根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值的步骤;
其中,输入图像为第一样本图像或未授权图像。
即是说,本发明实施例提供的探针注入脚本,应当保证在对输入图像注入探针后,使输入图像的扭曲损失值不超出设定损失阈值。而经过颜色扭曲处理的采样点与输入图像上其他点之间的颜色扭曲损失,可以通过二分类探针检测模型检出。
本发明实施例提供的图像侵权检测方法,通过调用探针注入脚本对第一样本图像数据集中的部分第一样本图像进行颜色扭曲处理后训练二分类探针检测模型,并调用探针注入脚本对未授权图像进行颜色扭曲处理后以处理后的未授权图像替换未授权图像进行发布,从而对于文生图模型训练任务对应的文生图训练图像数据集,可以利用二分类探针检测模型识别得到文生图训练图像数据集中的探针检测结果以检测样本侵权事件。由于颜色扭曲相较于直接添加水印来说不易被人眼识别也难以被常用的预处理增强干扰,从而有效避免未授权图像被抹掉水印的情况,而能够被训练的二分类探针检测模型检出,从而实现对文生图模型训练时采用的图像是否侵权进行检出,从而避免未授权图像被训练使用,减少人工智能绘图技术的图像侵权事件。
下面对本发明实施例三进行说明。
在上述实施例的基础上,本发明实施例进一步提供一种基于粒子群优化的颜色纹理自适应探针注入策略。
在本发明实施例提供的图像侵权检测方法中,自输入图像中提取采样点集合可以为自输入图像上均匀采样,也可以根据输入图像的纹理特征进行采样。则自输入图像中提取采样点集合,可以包括:
利用纹理特征提取器提取输入图像中的纹理特征坐标点集合;
以纹理特征坐标点集合为采样点集合。
或者,也可以在纹理特征的基础上进一步采样,得到进行颜色扭曲处理的采样点集合。则自输入图像中提取采样点集合,可以包括:
利用纹理特征提取器提取输入图像中的纹理特征坐标点集合;
自纹理特征坐标点集合中采样得到采样点集合。
纹理特征提取器可以采用尺度不变特征转换(Scale-invariant featuretransform)纹理特征提取器。可以利用纹理特征提取器在输入图像上提取纹理特征坐标点集合,再从中随机采样k*k个坐标点,得到采样点集合。在实际应用中,k可以为10。
本发明实施例提供一种粒子群优化的颜色纹理自适应探针注入策略,可以基于粒子群算法对输入图像自适应注入合适的探针。以采样点为粒子,采样点集合即为粒子群,令表示粒子群中第i个粒子,其对应的颜色红绿蓝(RGB)三通道值为/>,对应的扭曲偏移向量/>,则颜色扭曲映射为。
则在本发明实施例中,对采样点集合中的各采样点生成颜色扭曲偏移向量,包括:
以采样点集合形成采样点粒子群;
根据对采样点粒子群中的各粒子生成颜色扭曲偏移向量以及速度向量。
此时,对粒子群中的每个粒子i随机产生了颜色扭曲偏移向量和速率向量/>。
根据颜色扭曲偏移向量计算输入图像的扭曲损失值,可以采用如下三种方案中的一种:
可以仅以采样点的颜色扭曲损失值作为扭曲损失值。则根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值,包括:根据颜色扭曲偏移向量计算得到各采样点的颜色扭曲损失值;以颜色扭曲损失值为扭曲损失值。
或者,可以以采样点的自然惩罚损失作为扭曲损失值。则根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值,可以包括:根据颜色扭曲偏移向量计算得到各采样点的自然惩罚损失值;以自然惩罚损失值为扭曲损失值。
或者,也可以结合颜色扭曲损失值和自然惩罚损失值计算扭曲损失值,则根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值,可以包括:根据颜色扭曲偏移向量计算得到各采样点的自然惩罚损失值;根据颜色扭曲偏移向量计算得到各采样点的颜色扭曲损失值;根据采样点的颜色扭曲损失值和采样点的自然惩罚损失值计算得到采样点的扭曲损失值。
其中,根据颜色扭曲偏移向量计算得到各采样点的颜色扭曲损失值,根据下式计算得到:
;
其中,为颜色扭曲损失值,/>为采样点集合,x为采样点,t为颜色扭曲偏移向量,G为预先根据第二样本图像数据集训练得到的颜色扭曲识别分类模型,CE()为交叉熵损失函数;第二样本图像数据集包括进行颜色扭曲处理的第二样本图像和未进行颜色扭曲处理的第二样本图像。
颜色扭曲识别分类模型可以选择任意一种分类模型,如ResNet50的二分类模型,模型权重在第二样本图像数据集中训练得到。其中,E'是进行了颜色扭曲处理的第二样本图像的集合,E-E'是未进行颜色扭曲处理的第二样本图像的集合。
根据颜色扭曲偏移向量计算得到各采样点的自然惩罚损失值,可以包括:根据颜色扭曲偏移向量计算得到采样点的峰值信噪比(PSNR)指标和采样点的学习感知图像块相似性(LPIPS)指标;根据峰值信噪比指标和学习感知图像块相似性指标计算得到自然惩罚损失值。
可以理解的是,除了上述峰值信噪比指标和学习感知图像块相似性指标,还可以采用其他的图像质量评价指标来计算得到自然惩罚损失值。
其中,根据颜色扭曲偏移向量计算得到采样点的峰值信噪比指标和采样点的学习感知图像块相似性指标,根据下式计算得到:
;
其中,为自然惩罚损失值,/>为峰值信噪比指标的归一化系数,/>为学习感知图像块相似性指标的归一化系数,/>为峰值信噪比指标的阈值常数,/>为学习感知图像块相似性指标的阈值常数,/>为采样点增加颜色扭曲偏移向量后的峰值信噪比指标,/>为采样点增加颜色扭曲偏移向量后的学习感知图像块相似性指标。
峰值信噪比指标的归一化系数可以通过下式计算得到:
;
学习感知图像块相似性指标的归一化系数可以通过下式计算得到:
;
其中,k*k为采样点集合中采样点的总数,为第i个采样点增加对应的颜色扭曲偏移向量后的峰值信噪比指标,/>为第i个采样点的第i个采样点增加对应的颜色扭曲偏移向量后的学习感知图像块相似性指标。
若采用结合颜色扭曲损失值和自然惩罚损失值计算扭曲损失值的方案,可以采用求和的方式,即根据采样点的颜色扭曲损失值和采样点的自然惩罚损失值计算得到采样点的扭曲损失值,通过下式计算得到:
;
其中,为扭曲损失值,/>为颜色扭曲损失值,/>为自然惩罚损失值。
根据所采用的扭曲损失值的计算方式,设置对应的扭曲损失值。在对比粒子群中的粒子的扭曲损失值与设定扭曲阈值时,可以分别将所有粒子的扭曲损失值分别与设定扭曲阈值对比,也可以先筛选粒子中扭曲损失值的最大值或扭曲损失值的最小值来对比。则对比采样点的扭曲损失值和对输入图像的设定损失阈值,可以包括:
确定扭曲损失值最大的采样点;
若扭曲损失值最大的采样点的扭曲损失值未超出设定损失阈值,则确定各采样点的扭曲损失值均不超出设定损失阈值;
若扭曲损失值最大的采样点的扭曲损失值超出设定损失阈值,则直接进入根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值的步骤。
通过仅对比最大的扭曲损失值与设定损失值,减少对比的计算量。
或者,对比采样点的扭曲损失值和对输入图像的设定损失阈值,可以包括:
确定扭曲损失值最小的采样点;
若扭曲损失值最小的采样点的扭曲损失值未超出设定损失阈值,则继续对比其余采样点的扭曲损失值与设定损失阈值;
若扭曲损失值最小的采样点的扭曲损失值超出设定损失阈值,则直接进入根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值的步骤。
通过仅对比最小的扭曲损失值与设定损失值,减少对比的计算量。
若存在扭曲损失值超出设定损失阈值的采样点,则重新生成颜色扭曲偏移向量后,返回根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值的步骤,包括:
若存在扭曲损失值超出设定损失阈值的粒子,则根据下式更新各粒子的颜色扭曲偏移向量后,返回根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值的步骤;
;
;
其中,为颜色扭曲处理后的第i个粒子,/>为第i个粒子的红色通道值,/>为第i个粒子的绿色通道值,/>为第i个粒子的蓝色通道值,/>为对第i个粒子的红色通道颜色扭曲偏移量,/>为对第i个粒子的绿色通道颜色扭曲偏移量,/>为对第i个粒子的蓝色通道颜色扭曲偏移量,/>为采样点粒子群的速度动量系数,/>为第i个粒子的速率向量,/>、为速率向量设定参数,/>为当前采样点粒子群中扭曲损失值最大的粒子的颜色扭曲偏移向量,/>为当前采样点粒子群中扭曲损失值最小的粒子的颜色扭曲偏移向量,为第i个粒子更新后的速率向量,/>为第i个粒子当前的颜色扭曲偏移向量,/>为第i个粒子更新后的颜色扭曲偏移向量。
则在执行S101中调用探针注入脚本对第一样本图像数据集中的部分第一样本图像进行颜色扭曲处理时以及执行S102中调用探针注入脚本对未授权图像进行颜色扭曲处理时,均可以采用本发明实施例提供的基于粒子群优化的颜色纹理自适应探针注入策略实现对样本图像或未授权图像的探针注入,且保证注入探针后的图像中的探针不易被肉眼识别。
下面对本发明实施例四进行说明。
图2为本发明实施例提供的一种二分类探针检测模型的模型架构示意图。
在上述实施例的基础上,本发明实施例进一步对二分类探针检测模型的训练过程进行说明。
如图2所示,本发明实施例提供的二分类探针检测模型的模型架构可以包括颜色通道、纹理通道、通道合并模块、多个尺度的并行卷积神经网络(R1、R2、R3、R4)、双线性插值(ROI Align)模块、全局平均池化模块(Global AVG Pooling,GAP)、数组扁平化函数和多层感知机构成。
则在本发明实施例提供的图像侵权检测方法中,利用二分类探针检测模型识别得到输入图像的探针检测结果,可以包括:
将输入图像输入颜色通道解析得到输入图像的颜色红绿蓝三通道值;
将输入图像输入纹理通道解析得到输入图像的纹理通道值;
将颜色红绿蓝三通道值和纹理通道值合并,得到输入图像的颜色纹理特征值;
将颜色纹理特征值输入多个尺度的并行卷积神经网络,输出对应的多个特征图;
将各特征图相加后,通过全局平均池化模块、数组扁平化函数和多层感知机,输出概率值为探针检测结果;
其中,输入图像为处理后的第一样本图像数据集中的第一样本图像或文生图训练图像数据集中的待检测图像。
其中,将输入图像输入颜色通道解析得到输入图像的RGB值。将输入图像输入纹理通道,可以经过公式计算得到纹理通道值,将RGB通道值及纹理通道值合并到一起,然后设置四个尺度(224*224,192*192,160*160,128*128)并行输入卷积神经网络R1~R4。这里R不限定网络类型,可以选取的是ResNet50。这里经过R网络特征图大小变为原来的1/16,后续经过双线性插值(ROI Align)模块将输出特征图大小固定位7*7,然后将多尺度的特征图相加,最后经过全局平均池化模块向量、数组扁平化函数及多层感知机输出最后的概率值。
本发明实施例提供的二分类探针检测模型为一个二分类模型,损失函数可以为:
;
其中,L为损失函数,为输入图像中未进行颜色扭曲处理后的点,x为输入图像中进行颜色扭曲处理的点,/>为颜色扭曲函数,L ce ()为交叉熵函数,F()为数组扁平化函数,D为输入图像中的点的集合,/>为输入图像中进行颜色扭曲处理的点的集合。
下面对本发明实施例五进行说明。
经过上述实施例的步骤,可以得到一个训练优化后的二分类探针检测模型F,利用验证集测试得到二分类探针检测模型F的误差率β后,可以将二分类探针检测模型F投入实际应用。
本发明实施例提供一种采用假设检验的方式对样本侵权事件进行判定的方案。
对于待检测的文生图训练图像数据集,假设其为未授权图像构成的数据集,则其经过了如本发明上述实施例提供的探针注入处理,过程为:
文生图训练图像数据集中随机采样m个样本得到/>;
对中的每个样本按照本发明上述实施例的记载注入探针,得到
;
对中每个样本使用二分类探针检测模型F计算样本标签为1的概率值(即判别当前样本满足侵权条件):/>
;
计算样本中判别样本侵权事件W成立的期望/>,即得到了文生图训练图像数据集的探针长度。
基于此,利用二分类探针检测模型识别得到文生图训练图像数据集中的探针检测结果,可以包括:
自文生图训练图像数据集中采样得到待检测图像集合;
利用二分类探针检测模型检测待检测图像集合中各待检测图像存在样本侵权事件的概率;
根据各待检测图像存在样本侵权事件的概率计算得到待检测图像集合存在样本侵权事件的期望值;
获取二分类探针检测模型的检测误差率;
根据探针检测结果得到样本侵权事件检测结果,包括:
采用假设检验法根据期望值和检测误差率进行文生图训练图像数据集的样本侵权事件判定,得到样本侵权事件检测结果。
样本侵权事件W符合二项分布B(1,p),因此样本侵权事件期望符合高斯分布/>。
设置零假设:;
设置备择假设:。
则采用假设检验法根据期望值和检测误差率进行文生图训练图像数据集的样本侵权事件判定,得到样本侵权事件检测结果,可以包括:
利用计算得到/>;
利用计算得到/>;
令=0.05,查询在自由度为(m-1)下的分位数为1-/>的t分布值/>;
若>/>,则确定文生图训练图像数据集存在样本侵权事件;
若≤/>,则确定文生图训练图像数据集不存在样本侵权事件;
其中,为计算样本侵权事件检测值的中间变量,W为期望值,/>为样本侵权事件检测值,m为待检测图像的样本数量,β为检测误差率,/>为t分布上的/>分位数,τ可以为0.2。
本发明实施例通过将数据集注入探针后和统计学中假设检验结合,实现了对文生图训练图像数据集的样本侵权事件进行合理的判定。上述假设检验步骤的证明过程如下:
样本侵权事件W符合高斯分布,则W-β-τ也符合高斯分布,构建t统计值:
;/>
其中,s为W-β-τ为的标准差。
;
其中,为t统计值。
为了拒绝零假设,需要满足。/>为自由度为(m-1)下的分位数为1-γ的t分布值。
上文详述了图像侵权检测方法对应的各个实施例,在此基础上,本发明还公开了与上述方法对应的图像侵权检测装置、设备及可读存储介质。
下面对本发明实施例六进行说明。
图3为本发明实施例提供的一种图像侵权检测装置的结构示意图。
如图3所示,本发明实施例提供的图像侵权检测装置包括:
训练单元301,用于以颜色扭曲参数为探针,调用探针注入脚本对第一样本图像数据集中的部分第一样本图像进行颜色扭曲处理,利用处理后的第一样本图像数据集训练得到二分类探针检测模型;
处理单元302,用于以颜色扭曲参数为探针,调用探针注入脚本对未授权图像进行颜色扭曲处理,以处理后的未授权图像替换未授权图像进行发布;
获取单元303,用于获取文生图模型训练任务对应的文生图训练图像数据集;
检测单元304,用于利用二分类探针检测模型识别得到文生图训练图像数据集中的探针检测结果;
判定单元305,用于根据探针检测结果得到文生图训练图像数据集的样本侵权事件检测结果。
在一些实施中,调用探针注入脚本对输入图像进行颜色扭曲处理,包括:
自输入图像中提取采样点集合;
对采样点集合中的各采样点生成颜色扭曲偏移向量;
根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值;
对比采样点的扭曲损失值和对输入图像的设定损失阈值;
若各采样点的扭曲损失值均不超出设定损失阈值,则以当前的各采样点的颜色扭曲偏移向量对各采样点进行颜色扭曲处理;
若存在扭曲损失值超出设定损失阈值的采样点,则重新生成颜色扭曲偏移向量后,返回根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值的步骤;
其中,输入图像为第一样本图像或未授权图像。
在一些实施中,自输入图像中提取采样点集合,包括:
利用纹理特征提取器提取输入图像中的纹理特征坐标点集合;
以纹理特征坐标点集合为采样点集合。
在一些实施中,自输入图像中提取采样点集合,包括:
利用纹理特征提取器提取输入图像中的纹理特征坐标点集合;
自纹理特征坐标点集合中采样得到采样点集合。
在一些实施中,根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值,包括:
根据颜色扭曲偏移向量计算得到各采样点的颜色扭曲损失值;
以颜色扭曲损失值为扭曲损失值。
在一些实施中,根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值,包括:
根据颜色扭曲偏移向量计算得到各采样点的自然惩罚损失值;
以自然惩罚损失值为扭曲损失值。
在一些实施中,根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值,包括:
根据颜色扭曲偏移向量计算得到各采样点的自然惩罚损失值;
根据颜色扭曲偏移向量计算得到各采样点的颜色扭曲损失值;
根据采样点的颜色扭曲损失值和采样点的自然惩罚损失值计算得到采样点的扭曲损失值。
在一些实施中,根据颜色扭曲偏移向量计算得到各采样点的颜色扭曲损失值,根据下式计算得到:
;
其中,为颜色扭曲损失值,/>为采样点集合,x为采样点,t为颜色扭曲偏移向量,G为预先根据第二样本图像数据集训练得到的颜色扭曲识别分类模型,CE()为交叉熵损失函数;第二样本图像数据集包括进行颜色扭曲处理的第二样本图像和未进行颜色扭曲处理的第二样本图像。
在一些实施中,根据颜色扭曲偏移向量计算得到各采样点的自然惩罚损失值,包括:
根据颜色扭曲偏移向量计算得到采样点的峰值信噪比指标和采样点的学习感知图像块相似性指标;
根据峰值信噪比指标和学习感知图像块相似性指标计算得到自然惩罚损失值。
在一些实施中,根据颜色扭曲偏移向量计算得到采样点的峰值信噪比指标和采样点的学习感知图像块相似性指标,根据下式计算得到:
;
其中,为自然惩罚损失值,/>为峰值信噪比指标的归一化系数,/>为学习感知图像块相似性指标的归一化系数,/>为峰值信噪比指标的阈值常数,/>为学习感知图像块相似性指标的阈值常数,/>为采样点增加颜色扭曲偏移向量后的峰值信噪比指标,/>为采样点增加颜色扭曲偏移向量后的学习感知图像块相似性指标。
在一些实施中,峰值信噪比指标的归一化系数通过下式计算得到:
;/>
学习感知图像块相似性指标的归一化系数通过下式计算得到:
;
其中,k*k为采样点集合中采样点的总数,为第i个采样点增加对应的颜色扭曲偏移向量后的峰值信噪比指标,/>为第i个采样点的第i个采样点增加对应的颜色扭曲偏移向量后的学习感知图像块相似性指标。
在一些实施中,根据采样点的颜色扭曲损失值和采样点的自然惩罚损失值计算得到采样点的扭曲损失值,通过下式计算得到:
;
其中,为扭曲损失值,/>为颜色扭曲损失值,/>为自然惩罚损失值。
在一些实施中,对比采样点的扭曲损失值和对输入图像的设定损失阈值,包括:
确定扭曲损失值最大的采样点;
若扭曲损失值最大的采样点的扭曲损失值未超出设定损失阈值,则确定各采样点的扭曲损失值均不超出设定损失阈值;
若扭曲损失值最大的采样点的扭曲损失值超出设定损失阈值,则直接进入根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值的步骤。
在一些实施中,对比采样点的扭曲损失值和对输入图像的设定损失阈值,包括:
确定扭曲损失值最小的采样点;
若扭曲损失值最小的采样点的扭曲损失值未超出设定损失阈值,则继续对比其余采样点的扭曲损失值与设定损失阈值;
若扭曲损失值最小的采样点的扭曲损失值超出设定损失阈值,则直接进入根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值的步骤。
在一些实施中,对采样点集合中的各采样点生成颜色扭曲偏移向量,包括:
以采样点集合形成采样点粒子群;
根据对采样点粒子群中的各粒子生成颜色扭曲偏移向量以及速度向量;
若存在扭曲损失值超出设定损失阈值的采样点,则重新生成颜色扭曲偏移向量后,返回根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值的步骤,包括:
若存在扭曲损失值超出设定损失阈值的粒子,则根据下式更新各粒子的颜色扭曲偏移向量后,返回根据颜色扭曲偏移向量计算得到各采样点的扭曲损失值的步骤;
;
;
其中,为颜色扭曲处理后的第i个粒子,/>为第i个粒子的红色通道值,/>为第i个粒子的绿色通道值,/>为第i个粒子的蓝色通道值,/>为对第i个粒子的红色通道颜色扭曲偏移量,/>为对第i个粒子的绿色通道颜色扭曲偏移量,/>为对第i个粒子的蓝色通道颜色扭曲偏移量,/>为采样点粒子群的速度动量系数,/>为第i个粒子的速率向量,/>、为速率向量设定参数,/>为当前采样点粒子群中扭曲损失值最大的粒子的颜色扭曲偏移向量,/>为当前采样点粒子群中扭曲损失值最小的粒子的颜色扭曲偏移向量,为第i个粒子更新后的速率向量,/>为第i个粒子当前的颜色扭曲偏移向量,/>为第i个粒子更新后的颜色扭曲偏移向量。
在一些实施中,利用二分类探针检测模型识别得到输入图像的探针检测结果,包括:
将输入图像输入颜色通道解析得到输入图像的颜色红绿蓝三通道值;
将输入图像输入纹理通道解析得到输入图像的纹理通道值;
将颜色红绿蓝三通道值和纹理通道值合并,得到输入图像的颜色纹理特征值;
将颜色纹理特征值输入多个尺度的并行卷积神经网络,输出对应的多个特征图;
将各特征图相加后,通过全局平均池化模块、数组扁平化函数和多层感知机,输出概率值为探针检测结果;
其中,输入图像为处理后的第一样本图像数据集中的第一样本图像或文生图训练图像数据集中的待检测图像。
在一些实施中,二分类探针检测模型的损失函数为:
;
其中,L为损失函数,为输入图像中未进行颜色扭曲处理后的点,x为输入图像中进行颜色扭曲处理的点,/>为颜色扭曲函数,L ce ()为交叉熵函数,F()为数组扁平化函数,D为输入图像中的点的集合,/>为输入图像中进行颜色扭曲处理的点的集合。
在一些实施中,检测单元304利用二分类探针检测模型识别得到文生图训练图像数据集中的探针检测结果,包括:
自文生图训练图像数据集中采样得到待检测图像集合;
利用二分类探针检测模型检测待检测图像集合中各待检测图像存在样本侵权事件的概率;
根据各待检测图像存在样本侵权事件的概率计算得到待检测图像集合存在样本侵权事件的期望值;
获取二分类探针检测模型的检测误差率;
判定单元305根据探针检测结果得到样本侵权事件检测结果,包括:
采用假设检验法根据期望值和检测误差率进行文生图训练图像数据集的样本侵权事件判定,得到样本侵权事件检测结果。
在一些实施中,判定单元305采用假设检验法根据期望值和检测误差率进行文生图训练图像数据集的样本侵权事件判定,得到样本侵权事件检测结果,包括:
利用计算得到/>;/>
利用计算得到/>;
令=0.05,查询在自由度为(m-1)下的分位数为1-/>的t分布值/>;
若>/>,则确定文生图训练图像数据集存在样本侵权事件;
若≤/>,则确定文生图训练图像数据集不存在样本侵权事件;
其中,为计算样本侵权事件检测值的中间变量,W为期望值,/>为样本侵权事件检测值,m为待检测图像的样本数量,β为检测误差率,/>为t分布上的/>分位数。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
下面对本发明实施例七进行说明。
图4为本发明实施例提供的一种图像侵权检测设备的结构示意图。
如图4所示,本发明实施例提供的图像侵权检测设备包括:
存储器410,用于存储计算机程序411;
处理器420,用于执行计算机程序411,该计算机程序411被处理器420执行时实现如上述任意一项实施例所述图像侵权检测方法的步骤。
其中,处理器420可以包括一个或多个处理核心,比如3核心处理器、8核心处理器等。处理器420可以采用数字信号处理DSP(Digital Signal Processing)、现场可编程门阵列FPGA(Field-Programmable Gate Array)、可编程逻辑阵列PLA(Programmable LogicArray)中的至少一种硬件形式来实现。处理器420也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称中央处理器CPU(CentralProcessing Unit);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器420可以集成有图像处理器GPU(Graphics Processing Unit),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器420还可以包括人工智能AI(Artificial Intelligence)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器410可以包括一个或多个可读存储介质,该可读存储介质可以是非暂态的。存储器410还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器410至少用于存储以下计算机程序411,其中,该计算机程序411被处理器420加载并执行之后,能够实现前述任一实施例公开的图像侵权检测方法中的相关步骤。另外,存储器410所存储的资源还可以包括操作***412和数据413等,存储方式可以是短暂存储或者永久存储。其中,操作***412可以为Windows。数据413可以包括但不限于上述方法所涉及到的数据。
在一些实施例中,图像侵权检测设备还可包括有显示屏430、电源440、通信接口450、输入输出接口460、传感器470以及通信总线480。
本领域技术人员可以理解,图4中示出的结构并不构成对图像侵权检测设备的限定,可以包括比图示更多或更少的组件。
本发明实施例提供的图像侵权检测设备,包括存储器和处理器,处理器在执行存储器存储的程序时,能够实现如上所述的图像侵权检测方法,效果同上。
下面对本发明实施例八进行说明。
需要说明的是,以上所描述的装置、设备实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本发明各个实施例所述方法的全部或部分步骤。
为此,本发明实施例还提供一种可读存储介质,该可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如图像侵权检测方法的步骤。
该可读存储介质可以包括:U盘、移动硬盘、只读存储器ROM(Read-Only Memory)、随机存取存储器RAM(Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例中提供的可读存储介质所包含的计算机程序能够在被处理器执行时实现如上所述的图像侵权检测方法的步骤,效果同上。
以上对本发明所提供的一种图像侵权检测方法、装置、设备及可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备及可读存储介质而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (21)
1.一种图像侵权检测方法,其特征在于,包括:
以颜色扭曲参数为探针,调用探针注入脚本对第一样本图像数据集中的部分第一样本图像进行颜色扭曲处理,利用处理后的所述第一样本图像数据集训练得到二分类探针检测模型;
以颜色扭曲参数为探针,调用所述探针注入脚本对未授权图像进行颜色扭曲处理,以处理后的所述未授权图像替换所述未授权图像进行发布;
获取文生图模型训练任务对应的文生图训练图像数据集;
利用所述二分类探针检测模型识别得到所述文生图训练图像数据集中的探针检测结果;
根据所述探针检测结果得到所述文生图训练图像数据集的样本侵权事件检测结果;
其中,调用所述探针注入脚本对输入图像进行颜色扭曲处理,包括:
自所述输入图像中提取采样点集合;
对所述采样点集合中的各采样点生成颜色扭曲偏移向量;
根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值;
对比所述采样点的所述扭曲损失值和对所述输入图像的设定损失阈值;
若各所述采样点的所述扭曲损失值均不超出所述设定损失阈值,则以当前的各所述采样点的所述颜色扭曲偏移向量对各所述采样点进行颜色扭曲处理;
若存在所述扭曲损失值超出所述设定损失阈值的所述采样点,则重新生成所述颜色扭曲偏移向量后,返回所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值的步骤;
其中,所述输入图像为所述第一样本图像或所述未授权图像;
所述对所述采样点集合中的各采样点生成颜色扭曲偏移向量,包括:
以所述采样点集合形成采样点粒子群;
根据对所述采样点粒子群中的各粒子生成所述颜色扭曲偏移向量以及速度向量;
其中,为颜色扭曲处理后的第i个所述粒子,/>为第i个所述粒子的红色通道值,为第i个所述粒子的绿色通道值,/>为第i个所述粒子的蓝色通道值,/>为对第i个所述粒子的红色通道颜色扭曲偏移量,/>为对第i个所述粒子的绿色通道颜色扭曲偏移量,为对第i个所述粒子的蓝色通道颜色扭曲偏移量。
2.根据权利要求1所述的图像侵权检测方法,其特征在于,所述自所述输入图像中提取采样点集合,包括:
利用纹理特征提取器提取所述输入图像中的纹理特征坐标点集合;
以所述纹理特征坐标点集合为所述采样点集合。
3.根据权利要求1所述的图像侵权检测方法,其特征在于,所述自所述输入图像中提取采样点集合,包括:
利用纹理特征提取器提取所述输入图像中的纹理特征坐标点集合;
自所述纹理特征坐标点集合中采样得到所述采样点集合。
4.根据权利要求1所述的图像侵权检测方法,其特征在于,所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值,包括:
根据所述颜色扭曲偏移向量计算得到各所述采样点的颜色扭曲损失值;
以所述颜色扭曲损失值为所述扭曲损失值。
5.根据权利要求1所述的图像侵权检测方法,其特征在于,所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值,包括:
根据所述颜色扭曲偏移向量计算得到各所述采样点的自然惩罚损失值;
以所述自然惩罚损失值为所述扭曲损失值。
6.根据权利要求1所述的图像侵权检测方法,其特征在于,所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值,包括:
根据所述颜色扭曲偏移向量计算得到各所述采样点的自然惩罚损失值;
根据所述颜色扭曲偏移向量计算得到各所述采样点的颜色扭曲损失值;
根据所述采样点的所述颜色扭曲损失值和所述采样点的所述自然惩罚损失值计算得到所述采样点的所述扭曲损失值。
7.根据权利要求4或6所述的图像侵权检测方法,其特征在于,所述根据所述颜色扭曲偏移向量计算得到各所述采样点的颜色扭曲损失值,根据下式计算得到:
;
其中,为所述颜色扭曲损失值,/>为所述采样点集合,x为所述采样点,t为所述颜色扭曲偏移向量,G为预先根据第二样本图像数据集训练得到的颜色扭曲识别分类模型,CE()为交叉熵损失函数;所述第二样本图像数据集包括进行颜色扭曲处理的第二样本图像和未进行颜色扭曲处理的第二样本图像。
8.根据权利要求5或6所述的图像侵权检测方法,其特征在于,所述根据所述颜色扭曲偏移向量计算得到各所述采样点的自然惩罚损失值,包括:
根据所述颜色扭曲偏移向量计算得到所述采样点的峰值信噪比指标和所述采样点的学习感知图像块相似性指标;
根据所述峰值信噪比指标和所述学习感知图像块相似性指标计算得到所述自然惩罚损失值。
9.根据权利要求8所述的图像侵权检测方法,其特征在于,所述根据所述颜色扭曲偏移向量计算得到所述采样点的峰值信噪比指标和所述采样点的学习感知图像块相似性指标,根据下式计算得到:
;
其中,为所述自然惩罚损失值,/>为所述峰值信噪比指标的归一化系数,/>为所述学习感知图像块相似性指标的归一化系数,/>为所述峰值信噪比指标的阈值常数,/>为所述学习感知图像块相似性指标的阈值常数,/>为所述采样点增加所述颜色扭曲偏移向量后的所述峰值信噪比指标,/>为所述采样点增加所述颜色扭曲偏移向量后的所述学习感知图像块相似性指标。
10.根据权利要求9所述的图像侵权检测方法,其特征在于,所述峰值信噪比指标的归一化系数通过下式计算得到:
;
所述学习感知图像块相似性指标的归一化系数具体通过下式计算得到:
;
其中,k*k为所述采样点集合中所述采样点的总数,为第i个所述采样点增加对应的所述颜色扭曲偏移向量后的所述峰值信噪比指标,/>为第i个所述采样点的第i个所述采样点增加对应的所述颜色扭曲偏移向量后的所述学习感知图像块相似性指标,/>为所述峰值信噪比指标的阈值常数,/>为所述学习感知图像块相似性指标的阈值常数。
11.根据权利要求6所述的图像侵权检测方法,其特征在于,所述根据所述采样点的所述颜色扭曲损失值和所述采样点的所述自然惩罚损失值计算得到所述采样点的所述扭曲损失值,通过下式计算得到:
;
其中,为所述扭曲损失值,/>为所述颜色扭曲损失值,/>为所述自然惩罚损失值。
12.根据权利要求1所述的图像侵权检测方法,其特征在于,所述对比所述采样点的所述扭曲损失值和对所述输入图像的设定损失阈值,包括:
确定所述扭曲损失值最大的所述采样点;
若所述扭曲损失值最大的所述采样点的所述扭曲损失值未超出所述设定损失阈值,则确定各所述采样点的所述扭曲损失值均不超出所述设定损失阈值;
若所述扭曲损失值最大的所述采样点的所述扭曲损失值超出所述设定损失阈值,则直接进入所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值的步骤。
13.根据权利要求1所述的图像侵权检测方法,其特征在于,所述对比所述采样点的所述扭曲损失值和对所述输入图像的设定损失阈值,包括:
确定所述扭曲损失值最小的所述采样点;
若所述扭曲损失值最小的所述采样点的所述扭曲损失值未超出所述设定损失阈值,则继续对比其余所述采样点的所述扭曲损失值与所述设定损失阈值;
若所述扭曲损失值最小的所述采样点的所述扭曲损失值超出所述设定损失阈值,则直接进入所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值的步骤。
14.根据权利要求1所述的图像侵权检测方法,其特征在于,所述若存在所述扭曲损失值超出所述设定损失阈值的所述采样点,则重新生成所述颜色扭曲偏移向量后,返回所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值的步骤,包括:
若存在所述扭曲损失值超出所述设定损失阈值的所述粒子,则根据下式更新各所述粒子的所述颜色扭曲偏移向量后,返回所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值的步骤;
;
;
其中,为所述采样点粒子群的速度动量系数,/>为第i个所述粒子的速率向量,/>、为速率向量设定参数,/>为当前所述采样点粒子群中所述扭曲损失值最小的所述粒子的所述颜色扭曲偏移向量,/>为第i个所述粒子更新后的所述速率向量,/>为第i个所述粒子当前的所述颜色扭曲偏移向量,/>为第i个所述粒子更新后的所述颜色扭曲偏移向量。
15.根据权利要求1所述的图像侵权检测方法,其特征在于,利用所述二分类探针检测模型识别得到输入图像的所述探针检测结果,包括:
将所述输入图像输入颜色通道解析得到所述输入图像的颜色红绿蓝三通道值;
将所述输入图像输入纹理通道解析得到所述输入图像的纹理通道值;
将所述颜色红绿蓝三通道值和所述纹理通道值合并,得到所述输入图像的颜色纹理特征值;
将所述颜色纹理特征值输入多个尺度的并行卷积神经网络,输出对应的多个特征图;
将各所述特征图相加后,通过全局平均池化模块、数组扁平化函数和多层感知机,输出概率值为所述探针检测结果;
其中,所述输入图像为处理后的所述第一样本图像数据集中的所述第一样本图像或所述文生图训练图像数据集中的待检测图像。
16.根据权利要求15所述的图像侵权检测方法,其特征在于,所述二分类探针检测模型的损失函数为:
;
其中,L为所述损失函数,为所述输入图像中未进行颜色扭曲处理后的点,x为所述输入图像中进行颜色扭曲处理的点,/>为颜色扭曲函数,L ce ()为交叉熵函数,F()为所述数组扁平化函数,D为所述输入图像中的点的集合,/>为所述输入图像中进行颜色扭曲处理的点的集合。
17.根据权利要求1所述的图像侵权检测方法,其特征在于,所述利用所述二分类探针检测模型识别得到所述文生图训练图像数据集中的探针检测结果,包括:
自所述文生图训练图像数据集中采样得到待检测图像集合;
利用所述二分类探针检测模型检测所述待检测图像集合中各待检测图像存在样本侵权事件的概率;
根据各所述待检测图像存在样本侵权事件的概率计算得到所述待检测图像集合存在所述样本侵权事件的期望值;
获取所述二分类探针检测模型的检测误差率;
所述根据所述探针检测结果得到样本侵权事件检测结果,包括:
采用假设检验法根据所述期望值和所述检测误差率进行所述文生图训练图像数据集的样本侵权事件判定,得到所述样本侵权事件检测结果。
18.根据权利要求17所述的图像侵权检测方法,其特征在于,所述采用假设检验法根据所述期望值和所述检测误差率进行所述文生图训练图像数据集的样本侵权事件判定,得到所述样本侵权事件检测结果,包括:
利用计算得到/>;
利用计算得到/>;
令=0.05,查询在自由度为(m-1)下的分位数为1-/>的t分布值/>;
若>/>,则确定所述文生图训练图像数据集存在所述样本侵权事件;
若≤/>,则确定所述文生图训练图像数据集不存在所述样本侵权事件;
其中,为计算样本侵权事件检测值的中间变量,W为所述期望值,/>为所述样本侵权事件检测值,m为待检测图像的样本数量,β为所述检测误差率,/>为t分布上的/>分位数。
19.一种图像侵权检测装置,其特征在于,包括:
训练单元,用于以颜色扭曲参数为探针,调用探针注入脚本对第一样本图像数据集中的部分第一样本图像进行颜色扭曲处理,利用处理后的所述第一样本图像数据集训练得到二分类探针检测模型;
处理单元,用于以颜色扭曲参数为探针,调用所述探针注入脚本对未授权图像进行颜色扭曲处理,以处理后的所述未授权图像替换所述未授权图像进行发布;
获取单元,用于获取文生图模型训练任务对应的文生图训练图像数据集;
检测单元,用于利用所述二分类探针检测模型识别得到所述文生图训练图像数据集中的探针检测结果;
判定单元,用于根据所述探针检测结果得到所述文生图训练图像数据集的样本侵权事件检测结果;
其中,调用所述探针注入脚本对输入图像进行颜色扭曲处理,包括:
自所述输入图像中提取采样点集合;
对所述采样点集合中的各采样点生成颜色扭曲偏移向量;
根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值;
对比所述采样点的所述扭曲损失值和对所述输入图像的设定损失阈值;
若各所述采样点的所述扭曲损失值均不超出所述设定损失阈值,则以当前的各所述采样点的所述颜色扭曲偏移向量对各所述采样点进行颜色扭曲处理;
若存在所述扭曲损失值超出所述设定损失阈值的所述采样点,则重新生成所述颜色扭曲偏移向量后,返回所述根据所述颜色扭曲偏移向量计算得到各所述采样点的扭曲损失值的步骤;
其中,所述输入图像为所述第一样本图像或所述未授权图像;
所述对所述采样点集合中的各采样点生成颜色扭曲偏移向量,包括:
以所述采样点集合形成采样点粒子群;
根据对所述采样点粒子群中的各粒子生成所述颜色扭曲偏移向量以及速度向量;
其中,为颜色扭曲处理后的第i个所述粒子,/>为第i个所述粒子的红色通道值,为第i个所述粒子的绿色通道值,/>为第i个所述粒子的蓝色通道值,/>为对第i个所述粒子的红色通道颜色扭曲偏移量,/>为对第i个所述粒子的绿色通道颜色扭曲偏移量,为对第i个所述粒子的蓝色通道颜色扭曲偏移量。
20.一种图像侵权检测设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至18任意一项所述图像侵权检测方法的步骤。
21.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至18任意一项所述图像侵权检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311800569.1A CN117474903B (zh) | 2023-12-26 | 2023-12-26 | 一种图像侵权检测方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311800569.1A CN117474903B (zh) | 2023-12-26 | 2023-12-26 | 一种图像侵权检测方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117474903A CN117474903A (zh) | 2024-01-30 |
CN117474903B true CN117474903B (zh) | 2024-03-22 |
Family
ID=89627790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311800569.1A Active CN117474903B (zh) | 2023-12-26 | 2023-12-26 | 一种图像侵权检测方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117474903B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1277410A (zh) * | 1999-06-09 | 2000-12-20 | 施乐公司 | 检测文件安全标记的数字成像方法和装置 |
CN103914687A (zh) * | 2014-03-14 | 2014-07-09 | 常州大学 | 一种基于多通道和多阈值的矩形目标识别方法 |
US9396509B1 (en) * | 2011-10-30 | 2016-07-19 | Digimarc Corporation | Closed form non-iterative watermark embedding |
KR20180104995A (ko) * | 2017-03-14 | 2018-09-27 | 한국과학기술원 | 워터마크 삽입/검출 방법 및 장치 |
CN110765890A (zh) * | 2019-09-30 | 2020-02-07 | 河海大学常州校区 | 基于胶囊网络深度学习架构的车道及车道标识检测方法 |
CN110968721A (zh) * | 2019-11-28 | 2020-04-07 | 上海冠勇信息科技有限公司 | 一种海量图像侵权检索方法、***及其计算机可读存储介质 |
CN111476268A (zh) * | 2020-03-04 | 2020-07-31 | 中国平安人寿保险股份有限公司 | 翻拍识别模型训练、图像识别方法、装置、设备及介质 |
CN114373097A (zh) * | 2021-12-15 | 2022-04-19 | 厦门市美亚柏科信息股份有限公司 | 一种基于无监督的图像分类方法、终端设备及存储介质 |
CN114648681A (zh) * | 2022-05-20 | 2022-06-21 | 浪潮电子信息产业股份有限公司 | 一种图像生成方法、装置、设备及介质 |
CN115393920A (zh) * | 2021-05-21 | 2022-11-25 | 福特全球技术公司 | 伪造图像检测 |
CN115620022A (zh) * | 2022-09-15 | 2023-01-17 | 中汽创智科技有限公司 | 一种对象检测方法、装置、设备及存储介质 |
CN116385368A (zh) * | 2023-03-09 | 2023-07-04 | 大连海事大学 | 一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法 |
CN116935169A (zh) * | 2023-09-13 | 2023-10-24 | 腾讯科技(深圳)有限公司 | 文生图模型训练方法以及文生图方法 |
-
2023
- 2023-12-26 CN CN202311800569.1A patent/CN117474903B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1277410A (zh) * | 1999-06-09 | 2000-12-20 | 施乐公司 | 检测文件安全标记的数字成像方法和装置 |
US9396509B1 (en) * | 2011-10-30 | 2016-07-19 | Digimarc Corporation | Closed form non-iterative watermark embedding |
CN103914687A (zh) * | 2014-03-14 | 2014-07-09 | 常州大学 | 一种基于多通道和多阈值的矩形目标识别方法 |
KR20180104995A (ko) * | 2017-03-14 | 2018-09-27 | 한국과학기술원 | 워터마크 삽입/검출 방법 및 장치 |
CN110765890A (zh) * | 2019-09-30 | 2020-02-07 | 河海大学常州校区 | 基于胶囊网络深度学习架构的车道及车道标识检测方法 |
CN110968721A (zh) * | 2019-11-28 | 2020-04-07 | 上海冠勇信息科技有限公司 | 一种海量图像侵权检索方法、***及其计算机可读存储介质 |
CN111476268A (zh) * | 2020-03-04 | 2020-07-31 | 中国平安人寿保险股份有限公司 | 翻拍识别模型训练、图像识别方法、装置、设备及介质 |
CN115393920A (zh) * | 2021-05-21 | 2022-11-25 | 福特全球技术公司 | 伪造图像检测 |
CN114373097A (zh) * | 2021-12-15 | 2022-04-19 | 厦门市美亚柏科信息股份有限公司 | 一种基于无监督的图像分类方法、终端设备及存储介质 |
CN114648681A (zh) * | 2022-05-20 | 2022-06-21 | 浪潮电子信息产业股份有限公司 | 一种图像生成方法、装置、设备及介质 |
CN115620022A (zh) * | 2022-09-15 | 2023-01-17 | 中汽创智科技有限公司 | 一种对象检测方法、装置、设备及存储介质 |
CN116385368A (zh) * | 2023-03-09 | 2023-07-04 | 大连海事大学 | 一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法 |
CN116935169A (zh) * | 2023-09-13 | 2023-10-24 | 腾讯科技(深圳)有限公司 | 文生图模型训练方法以及文生图方法 |
Non-Patent Citations (2)
Title |
---|
IR-setnet: sparsity aware ensemble network for infrared imaging based drone localization and tracking in distorted surveillance videos;Raghavan, D et.al;《2023 IEEE International Conference on Image Processing Challenges and Workshops (ICIPCW)》;20231129;第1-4页 * |
基于滑坡区域颜色特征模型的SVM遥感检测;陈善静;康青;沈志强;周若冲;;航天返回与遥感;20191215(06);第93-102页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117474903A (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Median filtering forensics based on convolutional neural networks | |
CN112818862B (zh) | 基于多源线索与混合注意力的人脸篡改检测方法与*** | |
CN113159147B (zh) | 基于神经网络的图像识别方法、装置、电子设备 | |
WO2019214557A1 (zh) | 一种深度网络生成人脸图像的检测方法及*** | |
CN111915437B (zh) | 基于rnn的反洗钱模型的训练方法、装置、设备及介质 | |
CN115661144B (zh) | 基于可变形U-Net的自适应医学图像分割方法 | |
CN109302410A (zh) | 一种内部用户异常行为检测方法、***及计算机存储介质 | |
CN109309675A (zh) | 一种基于卷积神经网络的网络入侵检测方法 | |
CN110968845B (zh) | 基于卷积神经网络生成的针对lsb隐写的检测方法 | |
CN110059607B (zh) | 活体多重检测方法、装置、计算机设备及存储介质 | |
CN112088378A (zh) | 图像隐藏信息检测器 | |
CN113987429A (zh) | 基于水印嵌入的神经网络模型的版权验证方法 | |
CN113159045A (zh) | 一种结合图像预处理与卷积神经网络的验证码识别方法 | |
CN113099066B (zh) | 基于多尺度融合空洞卷积残差网络的大容量图像隐写方法 | |
CN114581646A (zh) | 文本识别方法、装置、电子设备及存储介质 | |
CN116958637A (zh) | 图像检测模型的训练方法、装置、设备及存储介质 | |
CN116994044A (zh) | 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法 | |
WO2022156214A1 (zh) | 一种活体检测方法及装置 | |
CN112365551A (zh) | 一种图像质量处理***、方法、设备和介质 | |
CN117474903B (zh) | 一种图像侵权检测方法、装置、设备及可读存储介质 | |
CN113177599B (zh) | 一种基于gan的强化样本生成方法 | |
Yuan | Identification of global histogram equalization by modeling gray-level cumulative distribution | |
Yan et al. | CNN-Based Forensic Method on Contrast Enhancement with JPEG Post-Processing. | |
CN110147824A (zh) | 一种图像的自动分类方法及装置 | |
CN117670878B (zh) | 一种基于多模态数据融合的VOCs气体检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |