CN113570512A - 一种图像数据处理方法、计算机及可读存储介质 - Google Patents
一种图像数据处理方法、计算机及可读存储介质 Download PDFInfo
- Publication number
- CN113570512A CN113570512A CN202110136181.0A CN202110136181A CN113570512A CN 113570512 A CN113570512 A CN 113570512A CN 202110136181 A CN202110136181 A CN 202110136181A CN 113570512 A CN113570512 A CN 113570512A
- Authority
- CN
- China
- Prior art keywords
- image
- migration
- basic
- classification
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 25
- 238000003672 processing method Methods 0.000 title abstract description 12
- 238000013508 migration Methods 0.000 claims abstract description 745
- 230000005012 migration Effects 0.000 claims abstract description 745
- 238000013145 classification model Methods 0.000 claims abstract description 432
- 238000012545 processing Methods 0.000 claims abstract description 104
- 238000012549 training Methods 0.000 claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 81
- 238000009877 rendering Methods 0.000 claims description 182
- 230000006870 function Effects 0.000 claims description 84
- 238000013507 mapping Methods 0.000 claims description 69
- 238000009826 distribution Methods 0.000 claims description 59
- 239000013598 vector Substances 0.000 claims description 25
- 230000002159 abnormal effect Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 21
- 230000005477 standard model Effects 0.000 claims description 15
- 238000012546 transfer Methods 0.000 claims description 13
- 230000001976 improved effect Effects 0.000 abstract description 28
- 238000005516 engineering process Methods 0.000 abstract description 18
- 238000013473 artificial intelligence Methods 0.000 abstract description 16
- 238000010801 machine learning Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 27
- 238000013135 deep learning Methods 0.000 description 10
- 230000005856 abnormality Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像数据处理方法、计算机及可读存储介质,涉及人工智能领域的机器学习技术,该方法包括:在N个图像样本中获取具有基础绘制风格的基础图像样本,将基础图像样本输入基础分类模型,预测输出基础图像特征;将基础分类模型划分为浅层基础分类网络及深层基础分类网络,将迁移图像样本输入基础分类模型,在浅层基础分类网络中输出第一迁移图像特征,在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,以输出迁移预测分类特征;根据迁移预测分类特征对基础分类模型进行训练,生成迁移分类模型;迁移分类模型用于对图像进行分类预测。采用本申请,可以提高基于模型对图像进行分类处理的准确性。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像数据处理方法、计算机及可读存储介质。
背景技术
为了网络环境的安全及纯净性,避免用户获取到异常数据,一般会对上传到网络中的数据进行筛选。网络中传播的数据有很多种类,对于图像来说,一般会通过分类模型对图像进行识别,以得到该图像所属的图像类别,根据图像类别确定对该图像的筛选结果。其中,图像的图像绘制风格多样,例如,二次元图像风格及非二次元图像风格,二次元图像风格又包括动画风格、游戏绘制风格、漫画风格及其他风格,二次元图像风格所包括的风格又可以进一步细分为多个风格,如动画风格又可以包括动画绘制风格、彩画绘制风格及插画绘制风格等,若直接通过分类模型对图像进行识别,则可能出现不同风格所特有的特征被忽略的情况,尤其是样本较少的风格在该分类模型中所能识别出的特征较少,从而使得该分类模型无法准确实现对不同图像绘制风格的图像的分类识别,即对图像识别的准确性较低。或者,通过人工对图像所属的图像类别进行识别,由于所需识别的图像的数量较多,使得人工成本较高,对图像的识别过程所需耗费的时间也较长。
发明内容
本申请实施例提供了一种图像数据处理方法、计算机及可读存储介质,可以提高对图像数据处理的准确性及检测效率。
本申请实施例一方面提供了一种图像数据处理方法,该方法包括:
在N个图像样本中获取具有基础绘制风格的基础图像样本,将基础图像样本输入基础分类模型,在基础分类模型中输出基础图像样本对应的基础图像特征;基础分类模型是基于基础图像样本训练得到的;N为正整数;
将基础分类模型划分为浅层基础分类网络及深层基础分类网络,将迁移图像样本输入基础分类模型,在浅层基础分类网络中输出迁移图像样本对应的第一迁移图像特征,在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据特征迁移数据输出迁移图像样本对应的迁移预测分类特征;迁移图像样本属于N个图像样本中除了基础图像样本之外的图像样本;迁移图像样本具有迁移绘制风格;
根据迁移预测分类特征对基础分类模型进行训练,生成迁移分类模型;迁移分类模型用于对具有基础绘制风格或迁移绘制风格的图像进行分类预测。
本申请实施例一方面提供了一种图像数据处理方法,该方法包括:
响应针对待分类图像的分类识别请求,将待分类图像输入目标分类模型中进行预测,得到待分类图像对应的目标图像类别;若存在泛化分类模型,则目标分类模型为泛化分类模型;若存在迁移分类模型且不存在泛化分类模型,则目标分类模型为迁移分类模型;若存在基础分类模型且不存在泛化分类模型与迁移分类模型,则目标分类模型为基础分类模型;泛化分类模型是对迁移分类模型进行泛化处理生成的;迁移分类模型是基于基础分类模型对具有基础绘制风格的基础图像样本进行预测,得到基础图像特征,基于基础分类模型中的浅层基础分类网络预测迁移图像样本的第一迁移图像特征,在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据特征迁移数据得到迁移预测分类特征,基于迁移预测分类特征对基础分类模型进行训练生成的;
获取异常类别,若目标图像类别属于异常类别,则输出图像异常提示消息;
若目标图像类别不属于异常类别,则输出待分类图像。
本申请实施例一方面提供了一种图像数据处理装置,该装置包括:
基础样本获取模块,用于在N个图像样本中获取具有基础绘制风格的基础图像样本;N为正整数;
基础预测模块,用于将基础图像样本输入基础分类模型,在基础分类模型中输出基础图像样本对应的基础图像特征;基础分类模型是基于基础图像样本训练得到的;
基础模型划分模块,用于将基础分类模型划分为浅层基础分类网络及深层基础分类网络;
基础浅层处理模块,用于将迁移图像样本输入基础分类模型,在浅层基础分类网络中输出迁移图像样本对应的第一迁移图像特征;
基础深层处理模块,用于在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据;
迁移样本预测模块,用于根据特征迁移数据输出迁移图像样本对应的迁移预测分类特征;迁移图像样本属于N个图像样本中除了基础图像样本之外的图像样本;迁移图像样本具有迁移绘制风格;
迁移模型训练模块,用于根据迁移预测分类特征对基础分类模型进行训练,生成迁移分类模型;迁移分类模型用于对具有基础绘制风格或迁移绘制风格的图像进行分类预测。
其中,该基础样本获取模块,包括:
风格识别单元,用于获取N个图像样本,基于风格识别模型分别对N个图像样本进行风格识别,得到N个图像样本分别对应的图像绘制风格特征;
风格聚类单元,用于基于N个图像样本分别对应的图像绘制风格特征,对N个图像样本进行聚类处理,得到M个图像风格组;M为正整数,M小于或等于N;
风格统计单元,用于统计M个图像风格组中分别包含的图像样本的数量,得到M个图像风格组分别对应的图像样本数量,将具有最大的图像样本数量的图像风格组对应的图像绘制风格确定为基础绘制风格;
基础确定单元,用于将基础绘制风格对应的图像风格组中的图像样本,确定为基础图像样本。
其中,该风格聚类单元,包括:
质量确定子单元,用于基于N个图像样本分别对应的图像绘制风格特征,确定N个图像样本分别对应的图像质量;
样本选取子单元,用于获取样本质量阈值,将图像质量大于或等于样本质量阈值的图像样本记作待训练图像样本;
样本分组子单元,用于基于待训练图像样本的图像绘制风格特征对待训练图像样本进行聚类处理,得到M个图像风格组;
该基础确定单元具体用于:
在M个图像风格组中,将基础绘制风格对应的图像风格组中所包含的待训练图像样本,确定为基础图像样本。
其中,该装置还包括:
基础样本预测模块,用于获取基础图像样本的基础样本标签,通过初始标准模型对基础图像样本进行预测,得到初始预测分类特征;
基础模型训练模块,用于基于第一损失函数获取基础样本标签与初始预测分类特征之间的类别误差,根据类别误差对初始标准模型进行参数调整,生成基础分类模型。
其中,该基础深层处理模块,包括:
第一权重确定单元,用于在深层基础分类网络中对基础图像特征进行归一化处理,将归一化处理得到的基础图像特征确定为第一迁移权重;
第一加权处理单元,用于在深层基础分类网络中,基于第一迁移权重对第一迁移图像特征进行加权处理,得到特征迁移数据。
其中,该迁移模型训练模块,包括:
标签获取单元,用于获取基础图像样本的基础样本数量,获取基础图像样本的基础样本标签及迁移图像样本的迁移样本标签;
特征映射单元,用于根据迁移预测分类特征,获取将迁移图像样本映射到基础图像样本的特征映射值;
第一函数生成单元,用于获取基础样本标签与迁移样本标签之间的标签相似度,基于基础样本数量、特征映射值及标签相似度,生成第二损失函数;
迁移训练单元,用于基于第二损失函数对基础分类模型进行训练,生成迁移分类模型。
其中,该特征映射单元,包括:
基础预测子单元,用于将基础图像样本输入基础分类模型,得到基础图像样本对应的基础预测分类特征;
映射获取子单元,用于根据迁移预测分类特征与基础预测分类特征之间的第一特征距离,确定将迁移图像样本映射到基础图像样本的特征映射值。
其中,该映射获取子单元,包括:
权重获取子单元,用于根据迁移预测分类特征与基础预测分类特征之间的第一特征距离,确定第二迁移权重;
空间特征生成子单元,用于基于第二迁移权重对迁移预测分类特征进行加权处理,生成迁移空间向量,将迁移空间向量输入基础分类模型,在基础分类模型中输出空间预测分类特征;
映射确定子单元,用于根据基础预测分类特征与空间预测分类特征之间的第二特征距离,确定将迁移图像样本映射到基础图像样本的特征映射值。
其中,迁移预测分类特征的数量为r个;r为正整数;
该权重获取子单元,包括:
第一距离确定子单元,用于获取基础预测分类特征分别与r个迁移预测分类特征之间的特征子距离,将基础预测分类特征分别与r个迁移预测分类特征之间的特征子距离之和确定为第一预测距离;
权重归一子单元,用于基于第一预测距离,对r个特征子距离进行归一化处理,得到r个第二迁移权重;
该空间特征生成子单元,包括:
向量生成子单元,用于基于r个第二迁移权重对r个迁移预测分类特征进行加权求和,生成迁移空间向量。
其中,基础预测分类特征的数量为t个;基础样本标签的数量为t个;t为正整数;
该映射确定子单元,包括:
第二距离确定子单元,用于获取每个基础预测分类特征分别与空间预测分类特征之间的预测子距离,将每个基础预测分类特征分别与空间预测分类特征之间的预测子距离之和,确定为第二预测距离;
归一处理子单元,用于基于第二预测距离对每个预测子距离进行归一化处理,得到t个特征映射值;
该第一函数生成单元,具体用于:
获取t个基础样本标签分别与迁移样本标签之间的标签相似度,基于t个标签相似度对t个特征映射值进行加权处理,得到特征转移损失值,根据特征转移损失值与基础样本数量,生成第二损失函数。
其中,该装置还包括:
迁移模型划分模块,用于在泛化图像库中获取泛化图像样本,将迁移分类模型划分为浅层迁移分类网络及深层迁移分类网络;
迁移浅层预测模块,用于将迁移图像样本输入迁移分类模型,在浅层迁移分类网络中输出迁移图像样本对应的第二迁移图像特征,将泛化图像样本输入迁移分类模型,在浅层迁移分类网络中输出泛化图像样本对应的泛化图像特征;泛化图像样本具有泛化绘制风格,泛化绘制风格与基础绘制风格及迁移绘制风格均不相同;迁移绘制风格是指迁移图像样本的图像绘制风格;
分布校准模块,用于获取第二迁移图像特征的迁移分布信息及泛化图像特征的泛化分布信息,对迁移分布信息进行分布校准,得到迁移校准信息,对泛化分布信息进行分布校准,得到泛化校准信息;
迁移深层预测模块,用于将迁移校准信息及泛化校准信息传入深层迁移分类网络,基于深层迁移分类网络对迁移校准信息及泛化校准信息进行加权处理,得到泛化预测分类特征;
泛化模型训练模块,用于根据泛化预测分类特征对迁移分类模型进行训练,生成泛化分类模型;泛化分类模型用于对具有基础绘制风格、迁移绘制风格或泛化绘制风格的图像进行分类预测。
其中,该泛化模型训练模块,包括:
分布差异获取单元,用于获取迁移分布信息与迁移校准信息之间的第一分布差异,获取泛化分布信息与泛化校准信息之间的第二分布差异;
第二函数生成单元,用于根据第一分布差异与第二分布差异生成反向传播函数;
第三函数生成单元,用于获取泛化图像样本的泛化样本标签,根据泛化预测分类特征与泛化样本标签生成第三损失函数;
泛化参数调整单元,用于基于反向传播函数与第三损失函数对迁移分类模型进行参数调整,生成泛化分类模型。
本申请实施例一方面提供了一种图像数据处理装置,该装置包括:
类别预测模块,用于响应针对待分类图像的分类识别请求,将待分类图像输入目标分类模型中进行预测,得到待分类图像对应的目标图像类别;若存在泛化分类模型,则目标分类模型为泛化分类模型;若存在迁移分类模型且不存在泛化分类模型,则目标分类模型为迁移分类模型;若存在基础分类模型且不存在泛化分类模型与迁移分类模型,则目标分类模型为基础分类模型;泛化分类模型是对迁移分类模型进行泛化处理生成的;迁移分类模型是基于基础分类模型对具有基础绘制风格的基础图像样本进行预测,得到基础图像特征,基于基础分类模型中的浅层基础分类网络预测迁移图像样本的第一迁移图像特征,在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据特征迁移数据得到迁移预测分类特征,基于迁移预测分类特征对基础分类模型进行训练生成的;
异常提示模块,用于获取异常类别,若目标图像类别属于异常类别,则输出图像异常提示消息;
图像输出模块,用于若目标图像类别不属于异常类别,则输出待分类图像。
本申请实施例一方面提供了一种计算机设备,包括处理器、存储器;
处理器与存储器相连,其中,存储器用于存储计算机程序,处理器用于调用该计算机程序,以使包含该处理器的计算机设备执行本申请实施例一方面中的图像数据处理方法。
本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的计算机设备执行本申请实施例一方面中的图像数据处理方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例一方面中的各种可选方式中提供的方法。
实施本申请实施例,将具有如下有益效果:
在本申请实施例中,计算机设备可以在N个图像样本中获取具有基础绘制风格的基础图像样本,将基础图像样本输入基础分类模型,在基础分类模型中输出基础图像样本对应的基础图像特征;基础分类模型是基于基础图像样本训练得到的;将基础分类模型划分为浅层基础分类网络及深层基础分类网络,将迁移图像样本输入基础分类模型,在浅层基础分类网络中输出迁移图像样本对应的第一迁移图像特征,在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据特征迁移数据输出迁移图像样本对应的迁移预测分类特征;迁移图像样本属于N个图像样本中除了基础图像样本之外的图像样本;迁移图像样本具有迁移绘制风格;根据迁移预测分类特征对基础分类模型进行训练,生成迁移分类模型;迁移分类模型用于对具有基础绘制风格或迁移绘制风格的图像进行分类预测。通过以上过程,计算机设备可以基于基础分类模型进行进一步训练,使得模型较为轻便,同时,在基础图像样本训练得到的基础分类模型上进行再次训练,而在对基础分类模型的再次训练时,会将基础图像样本的特征融入迁移图像样本中,以对不同图像绘制风格的样本进行特征空间维度标准化,使得对基础分类模型再次训练后得到的迁移分类模型可以更好地兼容不同的图像绘制风格的图像,从而提高模型对图像进行分类处理的准确性,提高模型的泛化能力。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像数据处理的网络交互架构图;
图2是本申请实施例提供的一种图像数据处理场景示意图;
图3是本申请实施例提供的一种图像数据处理的方法流程图;
图4是本申请实施例提供的一种图像聚类场景示意图;
图5是本申请实施例提供了一种迁移分类模型训练场景示意图;
图6是本申请实施例提供的一种图像数据处理的具体流程图;
图7是本申请实施例提供的一种泛化分类模型训练场景示意图;
图8是本申请实施例提供的一种模型训练场景示意图;
图9是本申请实施例提供的一种图像分类流程示意图;
图10是本申请实施例提供的一种图像识别场景示意图;
图11是本申请实施例提供的另一种图像识别场景示意图;
图12是本申请实施例提供的一种图像数据处理装置示意图;
图13是本申请实施例提供的另一种图像数据处理装置示意图;
图14是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
可选的,本申请可以采用人工智能领域中的深度学习技术,实现对分类模型的训练,并基于该分类模型对图像进行类别预测。
其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。例如,本申请中对基础图像样本的自动化筛选,并基于基础图像样本训练基础分类模型,还可以基于迁移图像样本对基础分类模型进行再次训练,得到迁移分类模型,当需要对图像进行分类识别时,可以将该图像输入迁移分类模型中进行预测,得到该图像的图像类别,以上过程均可以认为是基于人工智能所实现的。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。其中,本申请中可以单独使用人工智能的各个技术中的任意一个技术,也可以对人工智能中的各个技术进行随机组合使用,如单独使用计算机视觉技术,或者将计算机视觉技术与深度学习技术等进行结合使用等,在此不做限制。通过人工智能的相关技术的使用,提高了本申请中对图像进行分类预测的效率。
深度学习(Deep Learning,DL)是机器学习(Machine Learning,ML)领域中一个新的研究方向。深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。通过对图标训练样本进行深度学习,得到可以用于本申请中进行图标识别的图标识别模型,还可以根据图标识别模型的预测结果,对图标识别模型进行误差反馈调整,从而使得该图标识别模型可以像人一样具有分析学习能力。其中,深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术,深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值,例如,本申请中的图像识别领域。
其中,本申请实施例提供的方案涉及人工智能领域中的深度学习等技术,具体通过如下实施例进行说明:
在本申请实施例中,请参见图1,图1是本申请实施例提供的一种图像数据处理的网络交互架构图,本申请实施例可以由计算机设备实现。如图1所示,计算机设备101可以获取N个图像样本,其中,计算机设备101可以从图像数据库中获取该N个图像样本,如ImageNet等;或者,计算机设备101可以从互联网中获取N个图像样本;或者,计算机设备101还可以从与该计算机设备关联的用户设备中获取N个图像样本等,如用户设备102a、用户设备102b及用户设备102c等,在此不做限制。其中,ImageNet是一个用于视觉对象识别软件研究的大型可视化数据库,实际上就是一个巨大的可供图像/视觉训练的图片库。其中,N为正整数,例如,若计算机设备101从图像数据库中获取该N个图像样本,则N小于或等于该图像数据库中所包括的图像的总数。可选的,N可以是预先设定的默认训练样本数量,N也可以是根据样本获取位置所确定的,该样本获取位置是指上述提及的图像数据库、互联网或用户设备等,在此不做限制,例如该样本获取位置为与计算机设备101所关联的用户设备,则计算机设备101在模型训练周期内从用户设备中获取图像样本,将计算机设备101在模型训练周期内获取到的图像样本的数量记作N。
进一步地,计算机设备101在N个图像样本中获取具有基础绘制风格的基础图像样本,将基础图像样本输入基础分类模型,在基础分类模型中输出基础图像样本对应的基础图像特征,该基础分类模型是基于基础图像样本训练得到的。其中,基础分类模型可以用于对具有基础绘制风格的图像进行分类预测。进一步,通过基础图像特征对迁移图像样本进行特征迁移,根据基础图像特征及迁移图像样本对基础分类模型进行再次训练,得到迁移分类模型,该迁移分类模型可以用于对具有基础绘制风格或迁移绘制风格的图像进行分类预测。其中,该迁移分类模型是基于基础图像样本及迁移图像样本的特征融合后进行训练得到的,对基础图像样本的特征及迁移图像样本的特征进行了统一化,使得该迁移分类模型可以较好地兼容基础图像样本及迁移图像样本,使得迁移分类模型可以对具有不同图像绘制风格的图像进行分类识别,提高了对图像分类的准确性,而且直接基于模型对图像进行分类识别,节省了人工成本,减少了对图像进行分类识别所耗费的时间。
具体的,请参见图2,图2是本申请实施例提供的一种图像数据处理场景示意图。如图2所示,计算机设备201获取N个图像样本202,对该N个图像样本202进行聚类处理,根据聚类处理结果确定基础绘制风格,从N个图像样本中获取具有基础绘制风格的基础图像样本203,基于该基础图像样本203对初始标准模型进行训练,得到基础分类模型204。将基础图像样本203输入基础分类模型204中进行预测,得到该基础图像样本203对应的基础图像特征。进一步地,计算机设备201可以从N个图像样本202中获取迁移图像样本205,将基础分类模型204划分为浅层基础分类网络2041及深层基础分类网络2042。将迁移图像样本205输入基础分类模型204中,基于浅层基础分类网络2041对迁移图像样本205进行预测,得到该迁移图像样本205对应的第一迁移图像特征,在深层基础分类网络2042中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据特征迁移数据输出迁移图像样本205对应的迁移预测分类特征。根据迁移预测分类特征对基础分类模型204进行训练,具体是对基础分类模型204进行参数调整,生成迁移分类模型206。当计算机设备201获取到待分类图像207时,调用迁移分类模型206对该待分类图像207进行预测,得到该待分类图像207所属的图像类别。由于对基础分类模型204进行再次训练时,会将基础图像样本的特征与迁移图像样本的特征进行特征融合,以统一基础图像样本对应的基础绘制风格与迁移图像样本对应的迁移绘制风格的维度标准,提高迁移分类模型对不同图像绘制风格的兼容性,进而提高该迁移分类模型对图像进行分类识别的准确性。
可以理解的是,本申请实施例中的计算机设备或用户设备包括但不限于终端设备或服务器。换句话说,计算机设备可以是服务器或终端设备,也可以是服务器和终端设备组成的***;用户设备可以是服务器或终端设备,也可以是服务器和终端设备组成的***,其中,该用户设备也可以认为是一种计算机设备。其中,以上所提及的终端设备可以是一种电子设备,包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、车载设备、增强现实/虚拟现实(Augmented Reality/Virtual Reality,AR/VR)设备、头盔显示器、智能电视、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备(mobile internet device,MID)等。其中,以上所提及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、车路协同、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
可选的,本申请实施例中所涉及的数据可以存储在计算机设备中,或者可以基于云存储技术对该数据进行存储,在此不做限制。
进一步地,请参见图3,图3是本申请实施例提供的一种图像数据处理的方法流程图。如图3所示,该图像数据处理过程包括如下步骤:
步骤S301,在N个图像样本中获取具有基础绘制风格的基础图像样本,将基础图像样本输入基础分类模型,在基础分类模型中输出该基础图像样本对应的基础图像特征。
在本申请实施例中,计算机设备可以获取N个图像样本,在N个图像样本中获取具有基础绘制风格的基础图像样本,将基础图像样本输入基础分类模型,在基础分类模型中输出该基础图像样本对应的基础图像特征。其中,N为正整数,该基础分类模型是基于基础图像样本训练得到的,具体的,计算机设备可以基于第一损失函数对初始标准模型进行训练,生成基础分类模型。
其中,计算机设备可以获取N个图像样本,基于风格识别模型分别对N个图像样本进行风格识别,得到N个图像样本分别对应的图像绘制风格特征。具体的,该图像绘制特征可以包括M种图像绘制风格标签及每种图像绘制风格标签的关联概率,该N个图像样本中包括图像样本k,k为正整数,计算机设备基于图像样本k分别与M种图像绘制风格标签之间的关联概率,确定图像样本k的图像绘制风格,即将最大的关联概率对应的图像绘制风格标签确定为图像样本k的图像绘制风格。基于N个图像样本分别对应的图像绘制风格特征,对N个图像样本进行聚类处理,得到M个图像风格组,M为正整数,M小于或等于N,具体的,基于N个图像样本分别对应的图像绘制风格特征所指示的图像绘制风格,对N个图像样本进行聚类处理。其中,每个图像风格组中的图像样本对应的图像绘制风格相同,不同的图像风格组对应的图像绘制风格不同。统计M个图像风格组中分别包含的图像样本的数量,得到M个图像风格组分别对应的图像样本数量,将具有最大的图像样本数量的图像风格组对应的图像绘制风格确定为基础绘制风格。将基础绘制风格对应的图像风格组中的图像样本,确定为基础图像样本。其中,图像样本的风格包括二次元风格及非二次元风格,该二次元风格也可以称为ACG风格,即动画(Animation)、漫画(Comic)及游戏(Game)等对应的风格。其中,该二次元风格可以包括但不限于动画风格、游戏绘制风格、漫画风格及其他风格,这些大类的风格又可以包括多个不同的小类的风格,例如,该动画风格可以包括但不限于动画绘制风格、彩画绘制风格及插画绘制风格等;游戏绘制风格可以包括但不限于游戏场景绘制风格、游戏人物绘制风格及真人计算机动画绘制风格(即真人CG绘制风格)等,CG即为计算机动画,全称为Computergraphics;漫画风格可以包括但不限于格漫绘制风格、页漫绘制风格及条漫绘制风格等;其他风格可以包括但不限于简笔绘制风格、素描绘制风格、表情绘制风格及手办绘制风格等,在此不做限制。
其中,在本申请实施例中,对N个图像样本进行聚类处理时,可以基于大类的风格对N个图像样本进行聚类,如计算机设备可以基于动画风格、游戏绘制风格、漫画风格及其他风格等对N个图像样本进行聚类处理;或者,对N个图像样本进行聚类处理时,也可以基于小类的风格对N个图像样本进行聚类,如计算机设备可以基于动画绘制风格、彩画绘制风格、插画绘制风格、游戏场景绘制风格、游戏人物绘制风格及真人CG绘制风格、…及手办绘制风格等,对N个图像样本进行聚类处理;或者,计算机设备也可以基于大类的风格与小类的风格相结合的方式,对N个图像样本进行聚类处理,如计算机设备可以基于动画绘制风格、彩画绘制风格、插画绘制风格、游戏绘制风格、漫画风格、简笔绘制风格、…及手办绘制风格等,对N个图像样本进行聚类处理。其中,基于大类的风格对N个图像样本进行聚类处理时,可以减少聚类处理过程中所需处理的数据量,减少聚类处理的工作量,提高聚类处理的效率;基于小类的风格对N个图像样本进行聚类处理时,可以提高不同的图像绘制风格之间的划分精度,进而在对分类模型进行训练时,可以提高模型训练的精确度,从而提高训练好的分类模型对图像的分类识别的准确性;而基于大类的风格与小类的风格相结合的方式,对N个图像样本进行聚类处理,可以在保障适量的数据量的情况下,提高模型训练的精确度,该大类的风格与小类的风格相结合的方式可以根据实际需要进行确定。
可选的,计算机设备可以基于N个图像样本分别对应的图像绘制风格特征,确定N个图像样本分别对应的图像质量。具体的,该图像绘制特征可以包括M种图像绘制风格标签及每种图像绘制风格标签的关联概率,计算机设备将最大的关联概率对应的图像绘制风格标签确定为图像样本k的图像绘制风格,将该最大的关联概率确定为该图像样本k对应的图像质量。同理,得到N个图像样本分别对应的图像绘制风格及图像质量。可选的,计算机设备可以基于质量预测模型分别对N个图像样本分别对应的图像绘制风格特征进行质量预测,得到N个图像样本分别对应的图像质量。进一步地,计算机设备可以获取样本质量阈值,将图像质量大于或等于样本质量阈值的图像样本记作待训练图像样本;基于待训练图像样本的图像绘制风格特征对待训练图像样本进行聚类处理,得到M个图像风格组。此时,在将基础绘制风格对应的图像风格组中的图像样本,确定为基础图像样本时,计算机设备在M个图像风格组中,将基础绘制风格对应的图像风格组中所包含的待训练图像样本,确定为基础图像样本。可选的,可以将基础绘制风格对应的图像风格组记作基础风格组。
举例来说,请参见图4,图4是本申请实施例提供的一种图像聚类场景示意图。如图4所示,计算机设备获取到N个图像样本401,包括图像样本4011、图像样本4012、图像样本4013、图像样本4014及图像样本4015等,基于风格识别模型402分别对N个图像样本401进行风格识别,得到N个图像样本401分别对应的图像绘制风格特征4021,根据N个图像样本401分别对应的图像绘制风格特征4021确定N个图像样本401分别对应的图像绘制风格403。具体的,将图像样本4011输入风格识别模型402中进行风格识别,在风格识别模型402中输出图像样本4011的图像绘制风格特征,基于该图像样本4011的图像绘制风格特征,确定图像样本4011的图像绘制风格为图像绘制风格1;将图像样本4012输入风格识别模型402中进行风格识别,在风格识别模型402中输出图像样本4012的图像绘制风格特征,基于该图像样本4012的图像绘制风格特征,确定图像样本4012的图像绘制风格为图像绘制风格2;直至得到N个图像样本分别对应的图像绘制风格特征及图像绘制风格。
其中,图4中虚线箭头所指示的步骤为可选的步骤,计算机设备可以直接基于N个图像样本分别对应的图像绘制风格对N个图像样本进行聚类处理,即将具有相同的图像绘制风格的图像样本划分为一类,得到M个图像风格组404。其中,假定图像样本4011对应的图像绘制风格为动画绘制风格(即图像绘制风格1为动画绘制风格),图像样本4012对应的图像绘制风格为简笔绘制风格(即图像绘制风格2为简笔绘制风格),图像样本4013对应的图像绘制风格为格漫绘制风格,图像样本4014对应的图像绘制风格为条漫绘制风格,图像样本4015对应的图像绘制风格为游戏绘制风格等,计算机设备基于N个图像样本分别对应的图像绘制风格,对N个图像样本进行聚类处理,得到M个图像风格组404,包括动画绘制风格组(对应动画绘制风格)、简笔绘制风格组(对应简笔绘制风格)、格漫绘制风格组(对应格漫绘制风格)、条漫绘制风格组(对应条漫绘制风格)、游戏绘制风格组(对应游戏绘制风格)及其他绘制风格组(即图4中的XX绘制风格对应的组)。计算机设备可以统计每个图像风格组中所包括的图像样本的数量,记作图像样本数量,将具有最大的图像样本数量的图像风格组对应的图像绘制风格确定为基础绘制风格,将该基础风格组对应的图像绘制风格确定为基础绘制风格,将该基础风格组中的图像样本确定为基础图像样本。
可选的,计算机设备也可以执行虚线箭头所指示的步骤,即计算机设备可以基于N个图像样本分别对应的图像绘制风格特征,确定N个图像样本分别对应的图像质量,根据N个图像样本分别对应的图像质量及样本质量阈值,对N个图像样本进行筛选,得到待训练图像样本。对待训练图像样本进行聚类处理,得到M个图像风格组404,从M个图像风格组404中确定基础风格组,将该基础风格组对应的图像绘制风格确定为基础绘制风格,将该基础风格组中的待训练图像样本确定为基础图像样本。
步骤S302,将基础分类模型划分为浅层基础分类网络及深层基础分类网络,将迁移图像样本输入基础分类模型,在浅层基础分类网络中输出迁移图像样本对应的第一迁移图像特征,在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据特征迁移数据输出迁移图像样本对应的迁移预测分类特征。
在本申请实施例中,计算机设备可以获取模型划分层数,在该模型划分层数处将基础分类模型划分为浅层基础分类网络及深层基础分类网络。计算机设备将迁移图像样本输入基础分类模型,在该基础分类模型的浅层基础分类网络中输出迁移图像样本对应的第一迁移图像特征;在深层基础分类网络中对基础图像特征进行归一化处理,将归一化处理得到的基础图像特征确定为第一迁移权重;在深层基础分类网络中,基于第一迁移权重对第一迁移图像特征进行加权处理,以对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据特征迁移数据输出迁移图像样本对应的迁移预测分类特征。其中,假定该基础图像特征的维度为h,对该基础图像特征进行归一化处理,得到由h个0至1之间的小数组成的向量,将该向量作为第一迁移权重,将该第一迁移权重与第一迁移图像特征进行点乘,得到特征迁移数据。可选的,若该基础图像特征的数量为至少两个,则可以对至少两个基础图像特征进行均值化处理,得到基础均值特征,对基础均值特征进行归一化处理,得到第一迁移权重。其中,该迁移图像样本属于N个图像样本中除了基础图像样本之外的图像样本,该迁移图像样本具有迁移绘制风格。可选的,该迁移图像样本可以是N个图像样本中除了基础图像样本之外的所有图像样本,也可以是N个图像样本中除了基础图像样本之外的部分图像样本,在此不做限定。
举例来说,请参见图5,图5是本申请实施例提供的一种迁移分类模型训练场景示意图。如图5所示,计算机设备将基础图像样本501输入基础分类模型中,该基础分类模型包括浅层基础分类网络502及深层基础分类网络503,在基础分类模型中输出该基础图像样本501对应的基础图像特征504。将迁移图像样本505输入基础分类模型中,在浅层基础分类网络502中输出迁移图像样本对应的第一迁移图像特征,将基础图像特征504与深层基础分类网络503进行结合,在深层基础分类网络503中基于基础图像特征504对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据该特征迁移数据输出迁移图像样本505对应的迁移预测分类特征506。
步骤S303,根据迁移预测分类特征对基础分类模型进行训练,生成迁移分类模型。
在本申请实施例中,计算机设备根据迁移预测分类特征对基础分类模型进行训练,生成迁移分类模型,该迁移分类模型可以用于对具有基础绘制风格或迁移绘制风格的图像进行分类预测。其中,计算机设备可以根据基础图像特征与迁移预测分类特征生成第二损失函数,基于第二损失函数对基础分类模型进行训练,生成迁移分类模型。具体的,计算机设备可以获取基础图像样本的基础样本数量,获取基础图像样本的基础样本标签及迁移图像样本的迁移样本标签;根据迁移预测分类特征,获取将迁移图像样本映射到基础图像样本的特征映射值;获取基础样本标签与迁移样本标签之间的标签相似度,基于基础样本数量、特征映射值及标签相似度,生成第二损失函数;基于第二损失函数对基础分类模型进行训练,生成迁移分类模型。其中,该第二损失函数的生成过程可以参见公式①所示:
其中,Lcdl表示第二损失函数,t为基础图像样本的数量,即基础样本数量,t为正整数,BS用于表示基础风格组,用于表示该基础风格组中的第i个基础图像样本。其中,yi用于表示基础图像样本的真值,即基础图像样本的基础样本标签,具体是指第i个基础图像样本的基础样本标签;yj用于表示迁移图像样本的真值,即迁移图像样本的迁移样本标签,具体是指第j个迁移图像样本的迁移样本标签;I(yi,yj)用于表示基础样本标签与迁移样本标签之间的标签相似度。其中,若基础样本标签与迁移样本标签相同,则将第一相似度确定为基础样本标签与迁移样本标签之间的标签相似度,如第一相似度可以为1;若基础样本标签与迁移样本标签不同,则将第二相似度确定为基础样本标签与迁移样本标签之间的标签相似度,如第二相似度可以为0,第一相似度大于第二相似度,该标签相似度用于拉近属于不同图像绘制风格且属于同一图像类别的图像样本之间的距离,以实现对模型的泛化处理。βi用于表示将迁移图像样本映射到基础图像样本的特征映射值,具体是指将迁移图像样本映射到基础风格组BS中的第i个基础图像样本的特征映射值,log(βi)用于表示对特征映射值的取对数运算。其中,计算机设备可以获取基础图像样本的基础样本数量t,基于基础样本数量t、特征映射值βi及标签相似度I(yi,yj)生成第二损失函数。具体的,计算机设备可以获取t个基础样本标签分别与迁移样本标签之间的标签相似度,基于t个标签相似度对t个特征映射值进行加权处理,得到特征转移损失值,根据特征转移损失值与基础样本数量,生成第二损失函数,该特征转移损失值为i可以取1至t中的任意一个正整数。其中,计算机设备可以基于标签相似度对特征映射值进行加权求和,再除以基础样本数量,以对加权求和后的特征映射值进行均值化处理,从而得到所有基础图像样本映射到迁移图像样本的特征映射值。由于基础样本标签与迁移样本标签相同时,为两者之间的特征映射值添加第一相似度(如1)的权重,而基础样本标签与迁移样本标签不同时,为两者之间的特征映射值添加第二相似度(如0)的权重,使得只有当基础样本标签与迁移样本标签相同时,才考虑基础图像样本与迁移图像样本之间的特征映射值,使得该第二损失函数可以表示属于同一图像类别且不同图像绘制风格的图像样本之间的距离,基于该第二损失函数对基础分类模型进行参数调整,可以拉近属于同一图像类别且不同图像绘制风格的图像样本之间的距离,从而提高迁移分类模型对不同的图像绘制风格的兼容性,提高迁移分类模型对图像进行分类识别的准确性。
其中,可以认为在本申请实施例中,基础图像样本的数量为t个,该基础图像样本对应的基础样本标签及基础预测分类特征等的数量均为t;迁移图像样本的数量为t个,该迁移图像样本对应的迁移样本标签及迁移预测分类特征等的数量均为t。
其中,计算机设备可以将基础图像样本输入基础分类模型,得到基础图像样本对应的基础预测分类特征;根据迁移预测分类特征与基础预测分类特征之间的第一特征距离,确定将迁移图像样本映射到基础图像样本的特征映射值。具体的,计算机设备可以根据迁移预测分类特征与基础预测分类特征之间的第一特征距离,确定第二迁移权重;基于第二迁移权重对迁移预测分类特征进行加权处理,生成迁移空间向量,将迁移空间向量输入基础分类模型,在基础分类模型中输出空间预测分类特征;根据基础预测分类特征与空间预测分类特征之间的第二特征距离,确定将迁移图像样本映射到基础图像样本的特征映射值。
其中,该特征映射值的生成过程可以参见公式②所示:
其中,如公式②所示,βi用于表示将迁移图像样本映射到基础图像样本的特征映射值,即公式①中的βi。F为学习到的分类模型,此处指基础分类模型,F()是指将括号中的参数输入基础分类模型后输出的结果。具体的,计算机设备可以将基础图像样本输入基础分类模型,得到该基础图像样本对应的基础预测分类特征,记作其中,e用于表示距离计算公式,例如,用于表示基础预测分类特征与空间预测分类特征之间的第二特征距离。其中,用于表示迁移空间向量。其中,用于表示属于基础风格组的基础图像样本。将该迁移空间向量输入基础分类模型,在基础分类模型中输出空间预测分类特征,即
具体的,计算机设备可以获取每个基础预测分类特征分别与空间预测分类特征之间的预测子距离,将每个基础预测分类特征分别与空间预测分类特征之间的预测子距离之和,确定为第二预测距离。具体如公式②所示,计算机设备可以获取在的条件下,每个基础预测分类特征分别与空间预测分类特征之间的预测子距离,即该可以取基础风格组BS中的任意一个基础图像样本,计算机设备将每个基础预测分类特征分别与空间预测分类特征之间的预测子距离之和,确定为第二预测距离,该第二预测距离为基于第二预测距离对每个预测子距离进行归一化处理,得到t个特征映射值,例如,用于表示第i个基础预测分类特征与空间预测分类特征之间的预测子距离,基于第二预测距离对第i个预测子距离进行归一化处理,可以得到第i个特征映射值βi。同理,可以得到t个特征映射值。
进一步地,计算机设备可以获取t个基础样本标签分别与迁移样本标签之间的标签相似度,基于t个标签相似度对t个特征映射值进行加权处理,得到特征转移损失值,根据特征转移损失值与基础样本数量,生成第二损失函数,如公式①所示。
进一步地,迁移预测分类特征的数量为r个,基础预测分类特征的数量为t个;r为正整数,t为正整数。在根据迁移预测分类特征与基础预测分类特征之间的第一特征距离,确定第二迁移权重时,计算机设备可以获取基础预测分类特征分别与r个迁移预测分类特征之间的特征子距离,将基础预测分类特征分别与r个迁移预测分类特征之间的特征子距离之和确定为第一预测距离;基于第一预测距离,对r个特征子距离进行归一化处理,得到r个第二迁移权重。其中,该第二迁移权重的生成过程可以参见公式③所示:
如公式③所示,αg用于表示第g个第二迁移权重,BT用于表示迁移风格组,用于表示该迁移风格组中的第p个迁移图像样本。计算机设备可以获取第i个基础预测分类特征分别与r个迁移预测分类特征之间的特征子距离,该特征子距离为p可以取1至r中的任意一个正整数,通过该条件,使得基于可以获取第i个基础预测分类特征分别与r个迁移预测分类特征之间的特征子距离。将r个特征子距离之和确定为第一预测距离,记作基于第一预测距离,对r个特征子距离进行归一化处理,得到r个第二迁移权重,例如,基于第一预测距离,对第i个基础预测分类特征与第g个迁移预测分类特征之间的特征子距离进行归一化处理,得到第g个第二迁移权重。通过该方式,可以实现对不同的基础预测分类特征进行分别计算,得到每个基础预测分类特征映射到迁移图像样本所在的迁移空间时,分别与该迁移空间之间的距离,从而提高第二迁移权重的精确度,提高对基础预测分类特征与迁移预测分类特征之间的距离表示的精确度,进而可以进一步提高对模型训练的准确性。
可选的,计算机设备可以将r个迁移预测分类特征与t个基础预测分类特征进行两两组合,得到r个预测结果对,每个预测结果对均包含一个迁移预测分类特征及一个基础预测分类特征,此时,r与t相等。可选的,计算机设备可以对r个迁移预测分类特征进行随机排序,得到迁移特征序列,对t个基础预测分类特征进行随机排序,得到基础特征序列;或者,计算机设备可以根据r个迁移图像样本的训练顺序,对r个迁移预测分类特征进行排序,得到迁移特征序列,根据t个基础图像样本的训练顺序,对t个基础预测分类特征进行排序,得到基础特征序列等,在此不做限制。进一步地,计算机设备将迁移特征序列中的r个迁移预测分类特征与基础特征序列中的t个基础预测分类特征,进行逐特征组合,得到r个预测结果对,具体的,计算机设备可以将第1个迁移预测分类特征与第1个基础预测分类特征进行组合,得到第1个预测结果对;将第2个迁移预测分类特征与第2个基础预测分类特征进行组合,得到第2个预测结果对;…;直至得到r个预测结果对。可选的,计算机设备也可以从r个迁移预测分类特征中随机选取一个迁移预测分类特征,从t个基础预测分类特征中随机选取一个基础预测分类特征,将选取到的迁移预测分类特征与基础预测分类特征进行组合,得到第1个预测结果对;从剩下的(r-1)个迁移预测分类特征中随机选取一个迁移预测分类特征,从剩下的(t-1)个基础预测分类特征中随机选取一个基础预测分类特征,将选取到的迁移预测分类特征与基础预测分类特征进行组合,得到第2个预测结果对;…,直至得到r个预测结果对。换句话说,将r个所述迁移预测分类特征与t个所述基础预测分类特征进行两两组合的组合方式,在本申请中不做限定。计算机设备可以获取每个预测结果对分别对应的特征子距离,将r个特征子距离之和确定为第一预测距离,基于第一预测距离对r个特征子距离进行归一化处理,得到r个第二迁移权重。通过该方式,可以基于r个第二迁移权重表示所有基础预测分类特征与所有迁移分类特征所对应的距离信息,可以减少第二迁移权重计算的数据量,从而减少耗费时间,提高第二迁移权重的获取效率。
进一步地,计算机设备可以基于第二迁移权重对迁移预测分类特征进行加权处理,生成迁移空间向量。具体的,计算机设备可以基于r个第二迁移权重对r个迁移预测分类特征进行加权求和,生成迁移空间向量。该迁移空间向量的生成过程可以参见公式④所示:
其中,BT用于表示迁移风格组,用于表示该迁移风格组中的第g个迁移图像样本。基于公式③可以获取到r个第二迁移权重,基于r个第二迁移权重依次对r个迁移预测分类特征进行加权,将加权后的结果之和确定为迁移空间向量
通过上述公式③,确定第i个基础预测分类特征分别与r个迁移预测分类特征之间的特征子距离,对r个特征子距离进行归一化,得到r个迁移预测分类特征分别针对第i个基础预测分类特征的第二迁移权重,即得到r个第二迁移权重;基于公式④,将r个第二迁移权重对r个迁移预测分类特征进行加权求和,生成迁移空间向量将迁移空间向量代入公式②中,获取迁移空间向量对应的空间预测分类特征根据t个基础预测分类特征分别与空间预测分类特征之间的预测子距离,对t个预测子距离进行归一化处理,得到t个特征映射值,βi表示t个特征映射值中的第i个特征映射值;基于公式①,获取t个基础样本标签分别与迁移样本标签之间的标签相似度,基于t个标签相似度对t个特征映射值进行加权处理,得到特征转移损失值,基于基础样本数量t对特征转移损失值进行均值化处理,生成第二损失函数Lcdl,基于该第二损失函数对基础分类模型进行训练,生成迁移分类模型。实现了对基础图像样本所在的基础空间与迁移图像样本所在的迁移空间的映射,使得第二损失函数可以表示基础图像样本与迁移图像样本之间的距离,当基础图像样本的基础样本标签与迁移图像样本的迁移样本标签相同时,该第二损失函数会随着两者之间的距离变大而变大,从而基于该第二损失函数对基础分类模型进行参数调整,可以拉进具有不同图像绘制风格且属于同一图像类别的基础图像样本与迁移图像样本之间的距离,进而提高训练得到的迁移分类模型对不同图像绘制风格的兼容性,提高基于该迁移分类模型对不同图像绘制风格的图像的分类识别准确性。
在本申请实施例中,计算机设备可以在N个图像样本中获取具有基础绘制风格的基础图像样本,将基础图像样本输入基础分类模型,在基础分类模型中输出基础图像样本对应的基础图像特征;基础分类模型是基于基础图像样本训练得到的;将基础分类模型划分为浅层基础分类网络及深层基础分类网络,将迁移图像样本输入基础分类模型,在浅层基础分类网络中输出迁移图像样本对应的第一迁移图像特征,在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据特征迁移数据输出迁移图像样本对应的迁移预测分类特征;迁移图像样本属于N个图像样本中除了基础图像样本之外的图像样本;迁移图像样本具有迁移绘制风格;根据迁移预测分类特征对基础分类模型进行训练,生成迁移分类模型;迁移分类模型用于对具有基础绘制风格或迁移绘制风格的图像进行分类预测。通过以上过程,计算机设备可以基于基础分类模型进行进一步训练,使得模型较为轻便,同时,在基础图像样本训练得到的基础分类模型上进行再次训练,而在对基础分类模型的再次训练时,会将基础图像样本的特征融入迁移图像样本中,以对不同图像绘制风格的样本进行特征空间维度标准化,使得对基础分类模型再次训练后得到的迁移分类模型可以更好地兼容不同的图像绘制风格的图像,从而提高模型对图像进行分类处理的准确性,提高模型的泛化能力。
进一步地,请参见图6,图6是本申请实施例提供的一种图像数据处理的具体流程图。如图6所示,该过程包括如下步骤:
步骤S601,获取N个图像样本及每个图像样本分别对应的图像绘制风格特征。
在本申请实施例中,计算机设备可以获取N个图像样本,基于风格识别模型分别对N个图像样本进行风格识别,得到N个图像样本分别对应的图像绘制风格特征。
步骤S602,基于每个图像样本分别对应的图像绘制风格特征,对N个图像样本进行聚类处理,得到M个图像风格组。
在本申请实施例中,计算机设备可以基于每个图像样本分别对应的图像绘制风格特征,确定每个图像样本分别对应的图像绘制风格,将具有相同的图像绘制风格的图像样本划分为一类,得到M个图像风格组,即同一图像风格组中的图像样本对应的图像绘制风格相同,不同的图像风格组中的图像样本对应的图像绘制风格不同。其中,每个图像风格组中可以包括一个或至少两个图像样本。可选的,计算机设备可以先基于N个图像样本分别对应的图像绘制风格特征,确定N个图像样本分别对应的图像质量;基于图像质量对N个图像样本进行筛选,删除图像质量小于样本质量阈值的图像样本,对剩下的图像样本进行聚类处理,得到M个图像风格组。
其中,步骤S601至步骤S602可以参见图3中步骤S301所示的具体描述,在此不再进行赘述。
步骤S603,将M个图像风格组划分为基础风格组、迁移风格组及泛化风格组。
在本申请实施例中,计算机设备可以统计M个图像风格组中分别包含的图像样本的数量,得到M个图像风格组分别对应的图像样本数量,将具有最大的图像样本数量的图像风格组记作基础风格组,将该基础风格组所对应的图像绘制风格确定为基础绘制风格,将该基础风格组中所包含的图像样本确定为基础图像样本。可选的,获取迁移风格阈值,将图像样本数量小于迁移风格阈值的图像风格组确定为泛化风格组,将泛化风格组中包括的图像样本确定为泛化图像样本;或者,可以直接从泛化图像库中获取泛化图像样本。将M个图像风格组中除基础风格组及迁移风格组之外的图像风格组,确定为迁移风格组,将迁移风格组中包括的图像样本确定为迁移图像样本。其中,该泛化图像组的数量为a个,a为0或正整数,每个泛化图像组对应一个图像绘制风格,即泛化绘制风格的数量为a个;该迁移风格组的数量为b个,b为正整数,每个迁移风格组对应一个图像绘制风格,即迁移绘制风格的数量为b个。
步骤S604,基于基础风格组中的基础图像样本对初始标准模型进行训练,生成基础分类模型。
在本申请实施例中,计算机设备可以获取基础图像样本的基础样本标签,通过初始标准模型对基础图像样本进行预测,得到初始预测分类特征;基于第一损失函数获取基础样本标签与初始预测分类特征之间的类别误差,根据类别误差对初始标准模型进行参数调整,生成基础分类模型。该第一损失函数可以包括归一交叉熵损失函数(softmax crossentropy)或周期差异损失函数(cycle discrepancy loss)等。其中,该初始标准模型可以是一种用于分类的基本模型,如resNet网络等。
步骤S605,基于迁移风格组中的迁移图像样本对基础分类模型进行训练,生成迁移分类模型。
在本申请实施例中,计算机设备可以基于迁移图像样本对基础分类模型进行训练,生成迁移分类模型,该过程可以参见图3中步骤S301至步骤S303所示。可选的,如图5所示,计算机设备可以将基础图像特征504进行特征归一化,基于归一化后的基础图像特征对迁移预测分类特征506进行加权处理,根据加权处理结果生成第二损失函数,其中,图5中区域507用于指示加权处理。在基于图像样本与迁移图像样本结合所生成的第二损失函数的基础上,还可以根据迁移图像样本的迁移样本标签生成常规损失函数,基于第二损失函数及常规损失函数对基础分类模型进行训练,生成迁移分类模型。
进一步地,在基于迁移风格组中的迁移图像样本对基础分类模型进行训练时,可以依次基于b个迁移风格组中的迁移图像样本对基础分类模型进行训练,即可以认为一次训练一个迁移风格组,从而可以将b个迁移风格组分别对应的图像绘制风格融入基础分类模型,最终得到迁移分类模型。该b个迁移风格组的训练顺序可以是基于各个迁移风格组包括的图像样本的数量确定的,也可以是随机的,在此不做限定。
其中,以一个迁移风格组为例,假定该迁移风格组包括r个迁移图像样本,基础风格组包括t个基础图像样本,通过公式①,可以获取一个迁移图像样本在基础分类模型中的第二损失函数,即计算机设备依次基于r个迁移图像样本对基础分类模型进行训练,该r个迁移图像样本包括迁移图像样本j,通过公式①至公式④获取迁移图像样本j在对基础分类模型过程中所产生的第二损失函数。
步骤S606,基于泛化风格组中的泛化图像样本对迁移分类模型进行训练,生成泛化分类模型。
在本申请实施例中,计算机设备可以将迁移分类模型划分为浅层迁移分类网络及深层迁移分类网络。将迁移图像样本输入迁移分类模型,在浅层迁移分类网络中输出迁移图像样本对应的第二迁移图像特征,将泛化图像样本输入迁移分类模型,在浅层迁移分类网络中输出泛化图像样本对应的泛化图像特征,其中,泛化图像样本具有泛化绘制风格,泛化绘制风格与基础绘制风格及迁移绘制风格均不相同;迁移绘制风格是指迁移图像样本的图像绘制风格。获取第二迁移图像特征的迁移分布信息及泛化图像特征的泛化分布信息,对迁移分布信息进行分布校准,得到迁移校准信息,对泛化分布信息进行分布校准,得到泛化校准信息;将迁移校准信息及泛化校准信息传入深层迁移分类网络,基于深层迁移分类网络对迁移校准信息及泛化校准信息进行加权处理,得到泛化预测分类特征;根据泛化预测分类特征对迁移分类模型进行训练,生成泛化分类模型;泛化分类模型用于对具有基础绘制风格、迁移绘制风格或泛化绘制风格的图像进行分类预测。
具体的,可以参见图7,图7是本申请实施例提供的一种泛化分类模型训练场景示意图。如图7所示,计算机设备将迁移图像样本701输入迁移分类模型,在浅层迁移分类网络702中输出迁移图像样本701对应的第二迁移图像特征,将泛化图像样本703输入迁移分类模型,在浅层迁移分类网络中输出泛化图像样本703对应的泛化图像特征。获取第二迁移图像特征的迁移分布信息及泛化图像特征的泛化分布信息,可以参见图7中区域7041,例如,该区域7041中黑色圆形表示第二迁移图像特征,灰色三角形表示泛化图像特征,根据第二迁移图像特征可以得到区域7041中黑色曲线所指示的迁移分布信息,根据泛化图像特征可以得到区域7041中灰色曲线所指示的泛化分布信息。进一步地,计算机设备可以对迁移分布信息与泛化分布信息进行相互分布校准,得到迁移分布信息对应的迁移校准信息及泛化分布信息对应的泛化校准信息,可以参见图7中区域7042,例如,该区域7042中黑色圆形表示校准后的第二迁移图像特征,灰色三角形表示校准后的泛化图像特征,根据校准后的第二迁移图像特征可以得到区域7042中黑色曲线所指示的迁移校准信息,根据校准后的泛化图像特征可以得到区域7042中灰色曲线所指示的泛化校准信息,其中,该迁移校准信息还包括校准后的第二迁移图像特征,泛化校准信息还包括校准后的泛化图像特征。将迁移校准信息及泛化校准信息传入深层迁移分类网络705,基于深层迁移分类网络705对迁移校准信息及泛化校准信息进行加权处理,得到泛化预测分类特征,即图7中的加权结果。
进一步地,计算机设备可以获取迁移分布信息与迁移校准信息之间的第一分布差异,获取泛化分布信息与泛化校准信息之间的第二分布差异;根据第一分布差异与第二分布差异生成反向传播函数;获取泛化图像样本的泛化样本标签,根据泛化预测分类特征与泛化样本标签生成第三损失函数;基于反向传播函数与第三损失函数对迁移分类模型进行参数调整,生成泛化分类模型。通过该方式,可以缩小不同图像绘制风格之间的差异,从而提高训练好的泛化分类模型对不同图像绘制风格的兼容性。其中,当计算机设备检测到出现新的图像绘制风格时,可以基于步骤S606,对分类模型进行进一步训练。
其中,可以参见图8,图8是本申请实施例提供的一种模型训练场景示意图。如图8所示,计算机设备可以对N个图像样本进行聚类处理,得到M个图像风格组801,将M个图像风格组801划分为基础风格组、迁移风格组及泛化风格组。从基础风格组中获取基础图像样本802,基于初始标准模型803对基础图像样本802进行预测,得到初始预测分类特征804,根据初始预测分类特征804与基础图像样本802的基础样本标签之间的类别误差,生成第一损失函数,基于第一损失函数对初始标准模型803进行训练,生成基础分类模型806。
从迁移风格组中获取迁移图像样本805,将迁移图像样本805输入基础分类模型806中进行预测,得到迁移预测分类特征807,通过基础图像样本802在基础分类模型806中输出的基础预测分类特征,对迁移预测分类特征807进行加权处理,生成第二损失函数,其中,该加权处理过程可以参见图8中的区域808,该区域808所指示的加权处理过程是用于表示迁移图像样本在训练基础分类模型806时,基础图像样本对迁移图像样本的特征的调整过程,并不是说直接基于初始预测分类特征804对迁移预测分类特征807进行加权处理。根据第二损失函数对基础分类模型806进行参数调整,生成迁移分类模型810。该过程可以参见图3中步骤S301至步骤S303所示的具体描述。其中,该第二损失函数可以是但不限于归一交叉熵损失函数(softmax cross entropy)。
从泛化风格组中获取泛化图像样本809,将泛化图像样本809输入迁移分类模型810进行预测,得到泛化预测分类特征811,其中,在基于迁移分类模型810对泛化图像样本809机型预测时,可以基于迁移图像样本805对泛化图像样本809进行风格校准,根据风格校准生成反向传播函数,根据泛化预测分类特征8011生成第三损失函数,根据反向传播函数与第三损失函数对迁移分类模型810进行参数调整,生成泛化分类模型。其中,第三损失函数可以是但不限于校准软损失函数(calibration soft loss)或归一交叉熵损失函数等。
进一步地,请参见图9,图9是本申请实施例提供的一种图像分类流程示意图。如图9所示,该过程包括如下步骤:
步骤S901,响应针对待分类图像的分类识别请求,将待分类图像输入目标分类模型中进行预测,得到待分类图像对应的目标图像类别。
在本申请实施例中,计算机设备响应针对待分类图像的分类识别请求,将该待分类图像输入目标分类模型中进行预测,得到该待分类图像对应的目标图像类别,其中,若存在泛化分类模型,则目标分类模型为泛化分类模型;若存在迁移分类模型且不存在泛化分类模型,则目标分类模型为迁移分类模型;若存在基础分类模型且不存在泛化分类模型与迁移分类模型,则目标分类模型为基础分类模型;泛化分类模型是对迁移分类模型进行泛化处理生成的;迁移分类模型是基于基础分类模型对具有基础绘制风格的基础图像样本进行预测,得到基础图像特征,基于基础分类模型中的浅层基础分类网络预测迁移图像样本的第一迁移图像特征,在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据特征迁移数据得到迁移预测分类特征,基于迁移预测分类特征对基础分类模型进行训练生成的。可选的,当用户在数据应用中上传待分类图像时,该数据应用所关联的计算机设备可以认为接收到针对待分类图像的分类识别请求,其中,该数据应用可以是应用程序,或者可以是网页应用或网站应用等;或者,计算机设备可以对获取到的图像进行周期性检测,例如,计算机设备将在一个图像检测周期内获取到的图像依次作为待分类图像,对待分类图像进行分类识别等,也就是说,在需要对待分类图像进行分类识别时,就可以认为接收到针对待分类图像的分类识别请求,具体的分类识别请求的触发时机在此不做限制。其中,目标分类模型所兼容的图像绘制风格的种类越多,可以认为该目标分类模型对图像的分类识别的准确性越大,因此,在存在泛化分类模型时,该目标分类模型为泛化分类模型;在不存在泛化分类模型时,该目标分类模型可以为迁移分类模型;在不存在泛化分类模型且不存在迁移分类模型时,该目标分类模型可以为基础分类模型。可选的,若不存在泛化分类模型,且不存在迁移分类模型及基础分类模型,则该目标分类模型可以为初始标准模型,使得计算机设备在接收到针对待分类图像的分类识别请求时,可以及时对该待分类图像进行分类识别,以避免在模型训练过程中无法进行分类识别所造成的损失,从而提高对图像分类识别的效率。
其中,图像类别可以包括但不限于正常图像类别、色情图像类别、恐怖图像类别及暴力图像类别等,基于该目标图像类别确定针对该待分类图像的推送结果。其中,该分类识别请求可以是由用户设备发送的,也可以是在计算机设备中被触发的,在此不做限制。其中,该计算机设备可以是应用程序所对应的平台设备或用户设备等。
步骤S902,获取异常类别。
在本申请实施例中,若目标图像类别属于异常类别,则执行步骤S903,输出图像异常提示消息;若目标图像类别不属于异常类别,则执行步骤S904,输出待分类图像。可选的,该异常类别可以为默认异常类别,也可以是该应用程序所对应的异常类别等,例如,计算机设备可以获取该应用程序所关联的异常类别,对比目标图像类别与异常类别。
步骤S903,输出图像异常提示消息。
在本申请实施例中,若目标图像类别属于异常类别,则计算机设备可以输出图像异常提示消息,该图像异常提示消息包括目标图像类别。举例来说,用户向应用程序上传待分类图像,计算机设备检测到该待分类图像的目标图像类别属于异常类别,则向该用户所在的用户终端发送图像异常提示消息,以使该用户终端显示该图像异常提示消息,用户基于该图像异常提示消息取消上传该待分类图像,或对该待分类图像进行处理后再次上传。
步骤S904,输出待分类图像。
在本申请实施例中,若目标图像类别不属于异常类别,则计算机设备输出该待分类图像。例如,用户向应用程序上传待分类图像,计算机设备检测到待分类图像的目标图像类别不属于异常类别,则将该待分类图像上传至应用程序,还可以在应用程序中显示该待分类图像。
可选的,计算机设备也可以获取合法类别,若目标图像类别属于合法类别,则执行步骤S904;若目标图像类别不属于合法类别,则执行步骤S903。
举例来说,请参见图10,图10是本申请实施例提供的一种图像识别场景示意图。如图10所示,用户设备1001向计算机设备1003发送针对待分类图像1002的图像上传请求,计算机设备1003基于该图像上传请求确定接收到针对待分类图像1002的分类识别请求,将该待分类图像1002输入目标分类模型1003进行预测,得到该待分类图像1002的目标图像类别为恐怖图像类别,该恐怖图像类别属于异常类别,向用户设备1001发送图像异常提示消息。用户设备1001在图像显示页面1004中显示针对该待分类图像1002的图像异常提示消息1005,该图像异常提示消息1005可以是根据目标图像类别生成的,例如,在图10中,该图像异常提示消息1005可以是“图像较为恐怖,上传失败。”等。可选的,该图像异常提示消息1005还可以包括图像修改提示,基于该图像修改提示指示用户对该待分类图像1002进行修改,进行重新上传,例如,该图像修改提示为“可以对恐怖区域添加马赛克等进行遮盖”或“将恐怖区域裁减掉”等,在此不做限制。
可选的,计算机设备在获取到待分类图像后,还可以识别该待分类图像所属的目标图像绘制风格,若该目标图像绘制风格处于未训练状态,则基于目标图像绘制风格对可以获取到的分类模型进行训练,基于训练后的分类模型对待分类图像进行分类识别;若该目标图像绘制风格处于已训练状态,则直接获取分类模型,对待分类图像进行分类识别。具体的,可以参见图11,图11是本申请实施例提供的另一种图像识别场景示意图。如图11所示,用户设备1101向计算机设备1103发送图像上传请求,该图像上传请求包括待分类图像1102,计算机设备1103接收到该图像上传请求,相当于获取到针对待分类图像1102的分类识别请求,计算机设备1103可以识别该待分类图像1102对应的目标图像绘制风格,获取针对该目标图像绘制风格的训练状态,若该目标图像绘制风格处于未训练状态,则获取该目标图像绘制风格关联的目标图像样本,基于该目标图像样本进行模型训练,得到目标分类模型1104。可选的,若存在泛化分类模型,则计算机设备可以基于目标图像样本对泛化分类模型进行模型训练,生成目标分类模型1104;若存在迁移分类模型且不存在泛化分类模型,则计算机设备可以基于目标图像样本对迁移分类模型进行模型训练,生成目标分类模型1104,此时,计算机设备还可以在目标分类模型1104的基础上进行泛化处理,得到泛化分类模型;若存在基础分类模型,且不存在迁移分类模型与泛化分类模型,则计算机设备可以基于目标图像样本对基础分类模型进行模型训练,生成目标分类模型1104,此时,计算机设备还可以在目标分类模型1104的基础上进行迁移训练,生成迁移分类模型。
若该目标图像绘制风格处于已训练状态,则直接调用目标分类模型1104,其中,若存在泛化分类模型,则目标分类模型为泛化分类模型,此时,该目标图像绘制风格属于基础绘制风格、迁移绘制风格或泛化绘制风格;若存在迁移分类模型且不存在泛化分类模型,则目标分类模型为迁移分类模型,此时,目标图像绘制风格属于基础绘制风格或迁移绘制风格;若存在基础分类模型且不存在泛化分类模型与迁移分类模型,则目标分类模型为基础分类模型,此时,该目标图像绘制风格属于基础绘制风格。计算机设备基于目标分类模型1104对待分类图像1102进行分类识别,预测得到该待分类图像1102对应的分类识别结果1105,假定存在q个图像类别标签,q为正整数,则该分类识别结果1105中包括q个图像类别标签及每个图像类别标签分别对应的类别概率,如图像类别标签1及图像类别标签1对应的类别概率1、图像类别标签2及图像类别标签2对应的类别概率2、…、图像类别标签q及图像类别标签q对应的类别概率q。将具有最大的类别概率的图像类别标签确定为待分类图像1102对应的目标图像类别。计算机设备1103可以获取关联的应用程序对应的合法类别,若该目标图像类别属于该合法类别,则向用户设备1101发送图像合法消息,并将该待分类图像1102上传至应用程序,用户设备1101可以在该应用程序的图像显示页面1106中显示该待分类图像1102。
可选的,使用模型的计算机设备与训练模型的计算机设备可以为同一个设备,也可以是不同的设备。其中,在图11中,若该使用模型的计算机设备与训练模型的计算机设备是不同的设备,则计算机设备1103获取到该目标图像绘制风格处于未训练状态,则向训练模型的计算机设备发送模型训练请求,该模型训练请求包括目标图像绘制风格,训练模型的计算机设备在基于目标图像绘制风格进行模型训练,生成目标分类模型1104时,将该目标分类模型1104发送至计算机设备1103。
进一步地,请参见图12,图12是本申请实施例提供的一种图像数据处理装置示意图。该图像数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码等),例如该图像数据处理装置可以为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图12所示,该图像数据处理装置1200可以用于图3所对应实施例中的计算机设备,具体的,该装置可以包括:基础样本获取模块11、基础预测模块12、基础模型划分模块13、基础浅层处理模块14、基础深层处理模块15、迁移样本预测模块16及迁移模型训练模块17。
基础样本获取模块11,用于在N个图像样本中获取具有基础绘制风格的基础图像样本;N为正整数;
基础预测模块12,用于将基础图像样本输入基础分类模型,在基础分类模型中输出基础图像样本对应的基础图像特征;基础分类模型是基于基础图像样本训练得到的;
基础模型划分模块13,用于将基础分类模型划分为浅层基础分类网络及深层基础分类网络;
基础浅层处理模块14,用于将迁移图像样本输入基础分类模型,在浅层基础分类网络中输出迁移图像样本对应的第一迁移图像特征;
基础深层处理模块15,用于在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据;
迁移样本预测模块16,用于根据特征迁移数据输出迁移图像样本对应的迁移预测分类特征;迁移图像样本属于N个图像样本中除了基础图像样本之外的图像样本;迁移图像样本具有迁移绘制风格;
迁移模型训练模块17,用于根据迁移预测分类特征对基础分类模型进行训练,生成迁移分类模型;迁移分类模型用于对具有基础绘制风格或迁移绘制风格的图像进行分类预测。
其中,该基础样本获取模块11,包括:
风格识别单元111,用于获取N个图像样本,基于风格识别模型分别对N个图像样本进行风格识别,得到N个图像样本分别对应的图像绘制风格特征;
风格聚类单元112,用于基于N个图像样本分别对应的图像绘制风格特征,对N个图像样本进行聚类处理,得到M个图像风格组;M为正整数,M小于或等于N;
风格统计单元113,用于统计M个图像风格组中分别包含的图像样本的数量,得到M个图像风格组分别对应的图像样本数量,将具有最大的图像样本数量的图像风格组对应的图像绘制风格确定为基础绘制风格;
基础确定单元114,用于将基础绘制风格对应的图像风格组中的图像样本,确定为基础图像样本。
其中,该风格聚类单元112,包括:
质量确定子单元1121,用于基于N个图像样本分别对应的图像绘制风格特征,确定N个图像样本分别对应的图像质量;
样本选取子单元1122,用于获取样本质量阈值,将图像质量大于或等于样本质量阈值的图像样本记作待训练图像样本;
样本分组子单元1123,用于基于待训练图像样本的图像绘制风格特征对待训练图像样本进行聚类处理,得到M个图像风格组;
该基础确定单元114具体用于:
在M个图像风格组中,将基础绘制风格对应的图像风格组中所包含的待训练图像样本,确定为基础图像样本。
其中,该装置1200还包括:
基础样本预测模块18,用于获取基础图像样本的基础样本标签,通过初始标准模型对基础图像样本进行预测,得到初始预测分类特征;
基础模型训练模块19,用于基于第一损失函数获取基础样本标签与初始预测分类特征之间的类别误差,根据类别误差对初始标准模型进行参数调整,生成基础分类模型。
其中,该基础深层处理模块15,包括:
第一权重确定单元151,用于在深层基础分类网络中对基础图像特征进行归一化处理,将归一化处理得到的基础图像特征确定为第一迁移权重;
第一加权处理单元152,用于在深层基础分类网络中,基于第一迁移权重对第一迁移图像特征进行加权处理,得到特征迁移数据。
其中,该迁移模型训练模块17,包括:
标签获取单元171,用于获取基础图像样本的基础样本数量,获取基础图像样本的基础样本标签及迁移图像样本的迁移样本标签;
特征映射单元172,用于根据迁移预测分类特征,获取将迁移图像样本映射到基础图像样本的特征映射值;
第一函数生成单元173,用于获取基础样本标签与迁移样本标签之间的标签相似度,基于基础样本数量、特征映射值及标签相似度,生成第二损失函数;
迁移训练单元174,用于基于第二损失函数对基础分类模型进行训练,生成迁移分类模型。
其中,该特征映射单元172,包括:
基础预测子单元1721,用于将基础图像样本输入基础分类模型,得到基础图像样本对应的基础预测分类特征;
映射获取子单元1722,用于根据迁移预测分类特征与基础预测分类特征之间的第一特征距离,确定将迁移图像样本映射到基础图像样本的特征映射值。
其中,该映射获取子单元1722,包括:
权重获取子单元172a,用于根据迁移预测分类特征与基础预测分类特征之间的第一特征距离,确定第二迁移权重;
空间特征生成子单元172b,用于基于第二迁移权重对迁移预测分类特征进行加权处理,生成迁移空间向量,将迁移空间向量输入基础分类模型,在基础分类模型中输出空间预测分类特征;
映射确定子单元172c,用于根据基础预测分类特征与空间预测分类特征之间的第二特征距离,确定将迁移图像样本映射到基础图像样本的特征映射值。
其中,迁移预测分类特征的数量为r个;t为正整数;
该权重获取子单元172a,包括:
第一距离确定子单元172d,用于获取基础预测分类特征分别与r个迁移预测分类特征之间的特征子距离,将基础预测分类特征分别与r个迁移预测分类特征之间的特征子距离之和确定为第一预测距离;
权重归一子单元172e,用于基于第一预测距离,对r个特征子距离进行归一化处理,得到r个第二迁移权重;
该空间特征生成子单元172b,包括:
向量生成子单元172f,用于基于r个第二迁移权重对r个迁移预测分类特征进行加权求和,生成迁移空间向量。
其中,基础预测分类特征的数量为t个;基础样本标签的数量为t个;t为正整数;
该映射确定子单元172c,包括:
第二距离确定子单元172g,用于获取每个基础预测分类特征分别与空间预测分类特征之间的预测子距离,将每个基础预测分类特征分别与空间预测分类特征之间的预测子距离之和,确定为第二预测距离;
归一处理子单元172h,用于基于第二预测距离对每个预测子距离进行归一化处理,得到t个特征映射值;
该第一函数生成单元173,具体用于:
获取t个基础样本标签分别与迁移样本标签之间的标签相似度,基于t个标签相似度对t个特征映射值进行加权处理,得到特征转移损失值,根据特征转移损失值与基础样本数量,生成第二损失函数。
其中,该装置1200还包括:
迁移模型划分模块20,用于在泛化图像库中获取泛化图像样本,将迁移分类模型划分为浅层迁移分类网络及深层迁移分类网络;
迁移浅层预测模块21,用于将迁移图像样本输入迁移分类模型,在浅层迁移分类网络中输出迁移图像样本对应的第二迁移图像特征,将泛化图像样本输入迁移分类模型,在浅层迁移分类网络中输出泛化图像样本对应的泛化图像特征;泛化图像样本具有泛化绘制风格,泛化绘制风格与基础绘制风格及迁移绘制风格均不相同;迁移绘制风格是指迁移图像样本的图像绘制风格;
分布校准模块22,用于获取第二迁移图像特征的迁移分布信息及泛化图像特征的泛化分布信息,对迁移分布信息进行分布校准,得到迁移校准信息,对泛化分布信息进行分布校准,得到泛化校准信息;
迁移深层预测模块23,用于将迁移校准信息及泛化校准信息传入深层迁移分类网络,基于深层迁移分类网络对迁移校准信息及泛化校准信息进行加权处理,得到泛化预测分类特征;
泛化模型训练模块24,用于根据泛化预测分类特征对迁移分类模型进行训练,生成泛化分类模型;泛化分类模型用于对具有基础绘制风格、迁移绘制风格或泛化绘制风格的图像进行分类预测。
其中,该泛化模型训练模块24,包括:
分布差异获取单元241,用于获取迁移分布信息与迁移校准信息之间的第一分布差异,获取泛化分布信息与泛化校准信息之间的第二分布差异;
第二函数生成单元242,用于根据第一分布差异与第二分布差异生成反向传播函数;
第三函数生成单元243,用于获取泛化图像样本的泛化样本标签,根据泛化预测分类特征与泛化样本标签生成第三损失函数;
泛化参数调整单元244,用于基于反向传播函数与第三损失函数对迁移分类模型进行参数调整,生成泛化分类模型。
本申请实施例提供了一种图像数据处理装置,该装置可以在N个图像样本中获取具有基础绘制风格的基础图像样本,将基础图像样本输入基础分类模型,在基础分类模型中输出基础图像样本对应的基础图像特征;基础分类模型是基于基础图像样本训练得到的;将基础分类模型划分为浅层基础分类网络及深层基础分类网络,将迁移图像样本输入基础分类模型,在浅层基础分类网络中输出迁移图像样本对应的第一迁移图像特征,在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据特征迁移数据输出迁移图像样本对应的迁移预测分类特征;迁移图像样本属于N个图像样本中除了基础图像样本之外的图像样本;迁移图像样本具有迁移绘制风格;根据迁移预测分类特征对基础分类模型进行训练,生成迁移分类模型;迁移分类模型用于对具有基础绘制风格或迁移绘制风格的图像进行分类预测。通过以上过程,计算机设备可以基于基础分类模型进行进一步训练,使得模型较为轻便,同时,在基础图像样本训练得到的基础分类模型上进行再次训练,而在对基础分类模型的再次训练时,会将基础图像样本的特征融入迁移图像样本中,以对不同图像绘制风格的样本进行特征空间维度标准化,使得对基础分类模型再次训练后得到的迁移分类模型可以更好地兼容不同的图像绘制风格的图像,从而提高模型对图像进行分类处理的准确性,提高模型的泛化能力。
进一步地,请参见图13,图13是本申请实施例提供的另一种图像数据处理装置示意图。该图像数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码等),例如该图像数据处理装置可以为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图13所示,该图像数据处理装置1300可以用于图9所对应实施例中的计算机设备,具体的,该装置可以包括:类别预测模块1301、异常提示模块1302及图像输出模块1303。
类别预测模块1301,用于响应针对待分类图像的分类识别请求,将待分类图像输入目标分类模型中进行预测,得到待分类图像对应的目标图像类别;若存在泛化分类模型,则目标分类模型为泛化分类模型;若存在迁移分类模型且不存在泛化分类模型,则目标分类模型为迁移分类模型;若存在基础分类模型且不存在泛化分类模型与迁移分类模型,则目标分类模型为基础分类模型;泛化分类模型是对迁移分类模型进行泛化处理生成的;迁移分类模型是基于基础分类模型对具有基础绘制风格的基础图像样本进行预测,得到基础图像特征,基于基础分类模型中的浅层基础分类网络预测迁移图像样本的第一迁移图像特征,在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据特征迁移数据得到迁移预测分类特征,基于迁移预测分类特征对基础分类模型进行训练生成的;
异常提示模块1302,用于获取异常类别,若目标图像类别属于异常类别,则输出图像异常提示消息;
图像输出模块1303,用于若目标图像类别不属于异常类别,则输出待分类图像。
参见图14,图14是本申请实施例提供的一种计算机设备的结构示意图。如图14所示,本申请实施例中的计算机设备可以包括:一个或多个处理器1401及存储器1402,还可以包括输入输出接口1403。该处理器1401、存储器1402和输入输出接口1403通过总线1404连接。存储器1402用于存储计算机程序,该计算机程序包括程序指令,输入输出接口1403用于接收数据及输出数据,如用于计算机设备与用户设备之间进行数据交互;处理器1401用于执行存储器1402存储的程序指令。
其中,该处理器1401位于训练模型的计算机设备中,可以执行如下操作:
在N个图像样本中获取具有基础绘制风格的基础图像样本,将基础图像样本输入基础分类模型,在基础分类模型中输出基础图像样本对应的基础图像特征;基础分类模型是基于基础图像样本训练得到的;N为正整数;
将基础分类模型划分为浅层基础分类网络及深层基础分类网络,将迁移图像样本输入基础分类模型,在浅层基础分类网络中输出迁移图像样本对应的第一迁移图像特征,在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据特征迁移数据输出迁移图像样本对应的迁移预测分类特征;迁移图像样本属于N个图像样本中除了基础图像样本之外的图像样本;迁移图像样本具有迁移绘制风格;
根据迁移预测分类特征对基础分类模型进行训练,生成迁移分类模型;迁移分类模型用于对具有基础绘制风格或迁移绘制风格的图像进行分类预测。
该处理器1401位于使用训练模型的计算机设备中,可以执行如下操作:
响应针对待分类图像的分类识别请求,将待分类图像输入目标分类模型中进行预测,得到待分类图像对应的目标图像类别;若存在泛化分类模型,则目标分类模型为泛化分类模型;若存在迁移分类模型且不存在泛化分类模型,则目标分类模型为迁移分类模型;若存在基础分类模型且不存在泛化分类模型与迁移分类模型,则目标分类模型为基础分类模型;泛化分类模型是对迁移分类模型进行泛化处理生成的;迁移分类模型是基于基础分类模型对具有基础绘制风格的基础图像样本进行预测,得到基础图像特征,基于基础分类模型中的浅层基础分类网络预测迁移图像样本的第一迁移图像特征,在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据特征迁移数据得到迁移预测分类特征,基于迁移预测分类特征对基础分类模型进行训练生成的;
获取异常类别,若目标图像类别属于异常类别,则输出图像异常提示消息;
若目标图像类别不属于异常类别,则输出待分类图像。
在一些可行的实施方式中,该处理器1401可以是中央处理单元(centralprocessing unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器1402可以包括只读存储器和随机存取存储器,并向处理器1401和输入输出接口1403提供指令和数据。存储器1402的一部分还可以包括非易失性随机存取存储器。例如,存储器1402还可以存储设备类型的信息。
具体实现中,该计算机设备可通过其内置的各个功能模块执行如该图3或图6中各个步骤所提供的实现方式,具体可参见该图3或图6中各个步骤所提供的实现方式,在此不再赘述。
本申请实施例通过提供一种计算机设备,包括:处理器、输入输出接口、存储器,通过处理器获取存储器中的计算机程序,执行该图3中所示方法的各个步骤,进行图像数据处理操作。本申请实施例实现了在N个图像样本中获取具有基础绘制风格的基础图像样本,将基础图像样本输入基础分类模型,在基础分类模型中输出基础图像样本对应的基础图像特征;基础分类模型是基于基础图像样本训练得到的;将基础分类模型划分为浅层基础分类网络及深层基础分类网络,将迁移图像样本输入基础分类模型,在浅层基础分类网络中输出迁移图像样本对应的第一迁移图像特征,在深层基础分类网络中基于基础图像特征对第一迁移图像特征进行特征迁移,得到特征迁移数据,根据特征迁移数据输出迁移图像样本对应的迁移预测分类特征;迁移图像样本属于N个图像样本中除了基础图像样本之外的图像样本;迁移图像样本具有迁移绘制风格;根据迁移预测分类特征对基础分类模型进行训练,生成迁移分类模型;迁移分类模型用于对具有基础绘制风格或迁移绘制风格的图像进行分类预测。通过以上过程,计算机设备可以基于基础分类模型进行进一步训练,使得模型较为轻便,同时,在基础图像样本训练得到的基础分类模型上进行再次训练,而在对基础分类模型的再次训练时,会将基础图像样本的特征融入迁移图像样本中,以对不同图像绘制风格的样本进行特征空间维度标准化,使得对基础分类模型再次训练后得到的迁移分类模型可以更好地兼容不同的图像绘制风格的图像,从而提高模型对图像进行分类处理的准确性,提高模型的泛化能力。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序适于由该处理器加载并执行图3或图6中各个步骤所提供的图像数据处理方法,具体可参见该图3或图6中各个步骤所提供的实现方式,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。作为示例,计算机程序可被部署为在一个计算机设备上执行,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
该计算机可读存储介质可以是前述任一实施例提供的图像数据处理装置或者该计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图3或图6中的各种可选方式中所提供的方法,实现了计算机设备基于基础分类模型进行进一步训练,使得模型较为轻便,同时,在基础图像样本训练得到的基础分类模型上进行再次训练,而在对基础分类模型的再次训练时,会将基础图像样本的特征融入迁移图像样本中,以对不同图像绘制风格的样本进行特征空间维度标准化,使得对基础分类模型再次训练后得到的迁移分类模型可以更好地兼容不同的图像绘制风格的图像,从而提高模型对图像进行分类处理的准确性,提高模型的泛化能力。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在该说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程图像数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程图像数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程图像数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程图像数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (15)
1.一种图像数据处理方法,其特征在于,所述方法包括:
在N个图像样本中获取具有基础绘制风格的基础图像样本,将所述基础图像样本输入基础分类模型,在所述基础分类模型中输出所述基础图像样本对应的基础图像特征;所述基础分类模型是基于所述基础图像样本训练得到的;N为正整数;
将所述基础分类模型划分为浅层基础分类网络及深层基础分类网络,将迁移图像样本输入所述基础分类模型,在所述浅层基础分类网络中输出所述迁移图像样本对应的第一迁移图像特征,在所述深层基础分类网络中基于所述基础图像特征对所述第一迁移图像特征进行特征迁移,得到特征迁移数据,根据所述特征迁移数据输出所述迁移图像样本对应的迁移预测分类特征;所述迁移图像样本属于所述N个图像样本中除了所述基础图像样本之外的图像样本;所述迁移图像样本具有迁移绘制风格;
根据所述迁移预测分类特征对所述基础分类模型进行训练,生成迁移分类模型;所述迁移分类模型用于对具有所述基础绘制风格或所述迁移绘制风格的图像进行分类预测。
2.如权利要求1所述的方法,其特征在于,所述在N个图像样本中获取具有基础绘制风格的基础图像样本,包括:
获取N个图像样本,基于风格识别模型分别对所述N个图像样本进行风格识别,得到所述N个图像样本分别对应的图像绘制风格特征;
基于所述N个图像样本分别对应的图像绘制风格特征,对所述N个图像样本进行聚类处理,得到M个图像风格组;M为正整数,M小于或等于N;
统计所述M个图像风格组中分别包含的图像样本的数量,得到所述M个图像风格组分别对应的图像样本数量,将具有最大的图像样本数量的图像风格组对应的图像绘制风格确定为基础绘制风格;
将所述基础绘制风格对应的图像风格组中的图像样本,确定为基础图像样本。
3.如权利要求2所述的方法,其特征在于,所述基于所述N个图像样本分别对应的图像绘制风格特征,对所述N个图像样本进行聚类处理,得到M个图像风格组,包括:
基于所述N个图像样本分别对应的图像绘制风格特征,确定所述N个图像样本分别对应的图像质量;
获取样本质量阈值,将所述图像质量大于或等于所述样本质量阈值的图像样本记作待训练图像样本;
基于所述待训练图像样本的图像绘制风格特征对所述待训练图像样本进行聚类处理,得到M个图像风格组;
所述将所述基础绘制风格对应的图像风格组中的图像样本,确定为基础图像样本,包括:
在所述M个图像风格组中,将所述基础绘制风格对应的图像风格组中所包含的待训练图像样本,确定为基础图像样本。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述基础图像样本的基础样本标签,通过初始标准模型对所述基础图像样本进行预测,得到初始预测分类特征;
基于第一损失函数获取所述基础样本标签与所述初始预测分类特征之间的类别误差,根据所述类别误差对所述初始标准模型进行参数调整,生成基础分类模型。
5.如权利要求1所述的方法,其特征在于,所述在所述深层基础分类网络中基于所述基础图像特征对所述第一迁移图像特征进行特征迁移,得到特征迁移数据,包括:
在所述深层基础分类网络中对所述基础图像特征进行归一化处理,将归一化处理得到的基础图像特征确定为第一迁移权重;
在所述深层基础分类网络中,基于所述第一迁移权重对所述第一迁移图像特征进行加权处理,得到特征迁移数据。
6.如权利要求1所述的方法,其特征在于,所述根据所述迁移预测分类特征对所述基础分类模型进行训练,生成迁移分类模型,包括:
获取所述基础图像样本的基础样本数量,获取所述基础图像样本的基础样本标签及所述迁移图像样本的迁移样本标签;
根据所述迁移预测分类特征,获取将所述迁移图像样本映射到所述基础图像样本的特征映射值;
获取所述基础样本标签与所述迁移样本标签之间的标签相似度,基于所述基础样本数量、所述特征映射值及所述标签相似度,生成第二损失函数;
基于所述第二损失函数对所述基础分类模型进行训练,生成迁移分类模型。
7.如权利要求6所述的方法,其特征在于,所述根据所述迁移预测分类特征,获取将所述迁移图像样本映射到所述基础图像样本的特征映射值,包括:
将所述基础图像样本输入所述基础分类模型,得到所述基础图像样本对应的基础预测分类特征;
根据所述迁移预测分类特征与所述基础预测分类特征之间的第一特征距离,确定将所述迁移图像样本映射到所述基础图像样本的特征映射值。
8.如权利要求7所述的方法,其特征在于,所述根据所述迁移预测分类特征与所述基础预测分类特征之间的第一特征距离,确定将所述迁移图像样本映射到所述基础图像样本的特征映射值,包括:
根据所述迁移预测分类特征与所述基础预测分类特征之间的第一特征距离,确定第二迁移权重;
基于所述第二迁移权重对所述迁移预测分类特征进行加权处理,生成迁移空间向量,将所述迁移空间向量输入所述基础分类模型,在所述基础分类模型中输出空间预测分类特征;
根据所述基础预测分类特征与所述空间预测分类特征之间的第二特征距离,确定将所述迁移图像样本映射到所述基础图像样本的特征映射值。
9.如权利要求8所述的方法,其特征在于,所述迁移预测分类特征的数量为r个;r为正整数;
所述根据所述迁移预测分类特征与所述基础预测分类特征之间的第一特征距离,确定第二迁移权重,包括:
获取基础预测分类特征分别与r个迁移预测分类特征之间的特征子距离,将所述基础预测分类特征分别与r个迁移预测分类特征之间的特征子距离之和确定为第一预测距离;
基于所述第一预测距离,对r个特征子距离进行归一化处理,得到r个第二迁移权重;
所述基于所述第二迁移权重对所述迁移预测分类特征进行加权处理,生成迁移空间向量,包括:
基于所述r个第二迁移权重对所述r个所述迁移预测分类特征进行加权求和,生成迁移空间向量。
10.如权利要求8所述的方法,其特征在于,所述基础预测分类特征的数量为t个;所述基础样本标签的数量为t个;t为正整数;
所述根据所述基础预测分类特征与所述空间预测分类特征之间的第二特征距离,确定将所述迁移图像样本映射到所述基础图像样本的特征映射值,包括:
获取每个基础预测分类特征分别与所述空间预测分类特征之间的预测子距离,将所述每个基础预测分类特征分别与所述空间预测分类特征之间的预测子距离之和,确定为第二预测距离;
基于所述第二预测距离对每个预测子距离进行归一化处理,得到t个特征映射值;
所述获取所述基础样本标签与所述迁移样本标签之间的标签相似度,基于所述基础样本数量、所述特征映射值及所述标签相似度,生成第二损失函数,包括:
获取t个基础样本标签分别与迁移样本标签之间的标签相似度,基于t个标签相似度对所述t个特征映射值进行加权处理,得到特征转移损失值,根据所述特征转移损失值与所述基础样本数量,生成第二损失函数。
11.如权利要求1所述的方法,其特征在于,所述方法还包括:
在泛化图像库中获取泛化图像样本,将所述迁移分类模型划分为浅层迁移分类网络及深层迁移分类网络;
将所述迁移图像样本输入所述迁移分类模型,在所述浅层迁移分类网络中输出所述迁移图像样本对应的第二迁移图像特征,将所述泛化图像样本输入所述迁移分类模型,在所述浅层迁移分类网络中输出所述泛化图像样本对应的泛化图像特征;所述泛化图像样本具有泛化绘制风格,所述泛化绘制风格与所述基础绘制风格及所述迁移绘制风格均不相同;所述迁移绘制风格是指所述迁移图像样本的图像绘制风格;
获取所述第二迁移图像特征的迁移分布信息及所述泛化图像特征的泛化分布信息,对所述迁移分布信息进行分布校准,得到迁移校准信息,对所述泛化分布信息进行分布校准,得到泛化校准信息;
将所述迁移校准信息及所述泛化校准信息传入所述深层迁移分类网络,基于所述深层迁移分类网络对所述迁移校准信息及所述泛化校准信息进行加权处理,得到泛化预测分类特征;
根据所述泛化预测分类特征对所述迁移分类模型进行训练,生成泛化分类模型;所述泛化分类模型用于对具有所述基础绘制风格、所述迁移绘制风格或所述泛化绘制风格的图像进行分类预测。
12.如权利要求11所述的方法,其特征在于,所述根据所述泛化预测分类特征对所述迁移分类模型进行训练,生成泛化分类模型,包括:
获取所述迁移分布信息与所述迁移校准信息之间的第一分布差异,获取所述泛化分布信息与所述泛化校准信息之间的第二分布差异;
根据所述第一分布差异与所述第二分布差异生成反向传播函数;
获取所述泛化图像样本的泛化样本标签,根据所述泛化预测分类特征与所述泛化样本标签生成第三损失函数;
基于所述反向传播函数与所述第三损失函数对所述迁移分类模型进行参数调整,生成泛化分类模型。
13.一种图像数据处理方法,其特征在于,所述方法包括:
响应针对待分类图像的分类识别请求,将所述待分类图像输入目标分类模型中进行预测,得到所述待分类图像对应的目标图像类别;若存在泛化分类模型,则所述目标分类模型为所述泛化分类模型;若存在迁移分类模型且不存在所述泛化分类模型,则所述目标分类模型为所述迁移分类模型;若存在基础分类模型且不存在所述泛化分类模型与所述迁移分类模型,则所述目标分类模型为所述基础分类模型;所述泛化分类模型是对所述迁移分类模型进行泛化处理生成的;所述迁移分类模型是基于所述基础分类模型对具有基础绘制风格的基础图像样本进行预测,得到基础图像特征,基于所述基础分类模型中的浅层基础分类网络预测迁移图像样本的第一迁移图像特征,在深层基础分类网络中基于所述基础图像特征对所述第一迁移图像特征进行特征迁移,得到特征迁移数据,根据所述特征迁移数据得到迁移预测分类特征,基于所述迁移预测分类特征对所述基础分类模型进行训练生成的;
获取异常类别,若所述目标图像类别属于所述异常类别,则输出图像异常提示消息;
若所述目标图像类别不属于所述异常类别,则输出所述待分类图像。
14.一种计算机设备,其特征在于,包括处理器、存储器;
所述处理器与所述存储器相连,其中,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使得所述计算机设备执行权利要求1-12任一项所述的方法,或执行权利要求13所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1-12任一项所述的方法,或执行权利要求13所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110136181.0A CN113570512A (zh) | 2021-02-01 | 2021-02-01 | 一种图像数据处理方法、计算机及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110136181.0A CN113570512A (zh) | 2021-02-01 | 2021-02-01 | 一种图像数据处理方法、计算机及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113570512A true CN113570512A (zh) | 2021-10-29 |
Family
ID=78161085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110136181.0A Pending CN113570512A (zh) | 2021-02-01 | 2021-02-01 | 一种图像数据处理方法、计算机及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113570512A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114090780A (zh) * | 2022-01-20 | 2022-02-25 | 宏龙科技(杭州)有限公司 | 一种基于提示学习的快速图片分类方法 |
CN114305446A (zh) * | 2021-12-25 | 2022-04-12 | 肇庆星网医疗科技有限公司 | 一种基于人工智能的心房颤动检测方法及*** |
-
2021
- 2021-02-01 CN CN202110136181.0A patent/CN113570512A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114305446A (zh) * | 2021-12-25 | 2022-04-12 | 肇庆星网医疗科技有限公司 | 一种基于人工智能的心房颤动检测方法及*** |
CN114090780A (zh) * | 2022-01-20 | 2022-02-25 | 宏龙科技(杭州)有限公司 | 一种基于提示学习的快速图片分类方法 |
CN114090780B (zh) * | 2022-01-20 | 2022-05-31 | 宏龙科技(杭州)有限公司 | 一种基于提示学习的快速图片分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111523621B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
JP7185039B2 (ja) | 画像分類モデルの訓練方法、画像処理方法及びその装置、並びにコンピュータプログラム | |
US11494616B2 (en) | Decoupling category-wise independence and relevance with self-attention for multi-label image classification | |
CN104573706B (zh) | 一种物体图像识别方法及其*** | |
WO2018121690A1 (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
US11508173B2 (en) | Machine learning prediction and document rendering improvement based on content order | |
WO2021218471A1 (zh) | 一种用于图像处理的神经网络以及相关设备 | |
CN111582342B (zh) | 一种图像识别方法、装置、设备以及可读存储介质 | |
CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
CN113807399A (zh) | 一种神经网络训练方法、检测方法以及装置 | |
KR20190029083A (ko) | 신경망 학습 방법 및 이를 적용한 장치 | |
US20220366259A1 (en) | Method, apparatus and system for training a neural network, and storage medium storing instructions | |
CN113095370A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN114298122A (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
CN113515669A (zh) | 基于人工智能的数据处理方法和相关设备 | |
CN115050064A (zh) | 人脸活体检测方法、装置、设备及介质 | |
CN113570512A (zh) | 一种图像数据处理方法、计算机及可读存储介质 | |
CN115130711A (zh) | 一种数据处理方法、装置、计算机及可读存储介质 | |
CN115131604A (zh) | 一种多标签图像分类方法、装置、电子设备及存储介质 | |
CN114708539A (zh) | 图像类型识别方法及其装置、设备、介质、产品 | |
CN113762326A (zh) | 一种数据识别方法、装置、设备及可读存储介质 | |
CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
CN113705293A (zh) | 图像场景的识别方法、装置、设备及可读存储介质 | |
CN116958624A (zh) | 指定材质的识别方法、装置、设备、介质及程序产品 | |
CN112507912B (zh) | 一种识别违规图片的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |