CN117292217A - 一种基于对抗生成网络的皮肤分型数据增广方法与*** - Google Patents
一种基于对抗生成网络的皮肤分型数据增广方法与*** Download PDFInfo
- Publication number
- CN117292217A CN117292217A CN202310669194.3A CN202310669194A CN117292217A CN 117292217 A CN117292217 A CN 117292217A CN 202310669194 A CN202310669194 A CN 202310669194A CN 117292217 A CN117292217 A CN 117292217A
- Authority
- CN
- China
- Prior art keywords
- image
- skin
- representing
- pixel
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013434 data augmentation Methods 0.000 title claims abstract description 23
- 230000007170 pathology Effects 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000008485 antagonism Effects 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 230000007547 defect Effects 0.000 claims abstract description 5
- 238000012706 support-vector machine Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 70
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000001575 pathological effect Effects 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 20
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 19
- 206010040882 skin lesion Diseases 0.000 claims description 17
- 231100000444 skin lesion Toxicity 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 12
- 230000036074 healthy skin Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 230000003190 augmentative effect Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 239000000427 antigen Substances 0.000 claims description 3
- 102000036639 antigens Human genes 0.000 claims description 3
- 108091007433 antigens Proteins 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000037311 normal skin Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000003902 lesion Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 claims 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000003709 image segmentation Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 230000000295 complement effect Effects 0.000 abstract 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 5
- 201000000849 skin cancer Diseases 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 2
- 208000025865 Ulcer Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 210000000270 basal cell Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 208000035250 cutaneous malignant susceptibility to 1 melanoma Diseases 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000036555 skin type Effects 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于对抗生成网络的皮肤分型数据增广方法与***，用于对皮肤病理类型准确分类。由于可采集到的皮肤病理图像数量较少，直接用于分类器模型的训练会出现过拟合的问题，导致分类效果不理想，需要利用对抗生成网络生成逼真的皮肤病理图像以缓解这一不足。本方法对皮肤病理数据集进行图像分割后，通过对抗生成网络进行数据增广，并利用多层次特征融合技术实现皮肤病理的分型。本发明主要步骤包括：首先，收集皮肤病理图像数据，进行图像分割以及人工补全标签操作；然后，构建对抗生成网络生成高质量皮肤病理图像用于扩充可用数据集；最后，利用多分支特征提取网络对目标图像进行特征提取并建模，运用支持向量机实现皮肤的精准分型。
Description
技术领域
本发明涉及数据分析与医疗技术领域，特别涉及一种基于对抗生成网络的皮肤分型数据增广的方法与***。
背景技术
皮肤病理分型是临床皮肤学领域的重要研究内容之一。通过对皮肤病变情况进行分类和描述，可以为皮肤病的诊断和治疗提供重要的参考。皮肤病理类型可以通过观察皮肤表面的多色斑块和表面溃疡来进行评估，进而初步判断皮肤病理类型。通常情况下，通过图像识别技术可以对常见的四类病理皮肤进行分型，分别为鳞状细胞皮肤癌、基底细胞皮肤癌、恶性黑色素瘤、默克尔细胞皮肤癌。
目前，皮肤分型主要通过目测的方法来实现。然而，由于皮肤类型存在特异性和多样性，导致传统方法暴露出诸多缺陷，不同医生的诊断结果也存在着一定的差异性，这种主观性和不确定性导致人工皮肤分型的可靠性和准确性较差。
为了解决上述问题，越来越多的研究人员开始探索如何使用计算机视觉技术来实现皮肤分型。相比于人眼观察皮肤图像，计算机视觉技术可以自动地从大量的皮肤图像中提取特征，并通过机器学习模型进行分类和预测。这种方法可以减少主观性带来的负面影响，提高皮肤分型的准确性和可靠性。然而，在皮肤分型领域，由于缺乏大规模的标注数据集，导致数据增广技术的应用受到很大限制。在深度学习中，数据量越大，训练出的模型性能越好。因此，在缺乏大规模数据集的情况下，如何通过数据增广技术来提高皮肤分型的准确性和可靠性是当前亟待解决的问题。
基于对抗生成网络(Generative Adversarial Networks,GAN)的数据增广技术可以通过生成新的合成数据样本来提高模型的分型性能和泛化能力。GAN由生成器和判别器两部分组成，其中生成器通过学习训练数据集的分布来生成新的合成数据样本，判别器则用于判别生成的数据样本是否真实。通过训练生成器和判别器，GAN可以生成高质量的合成数据样本，从而扩充原有数据集的规模，提高模型的鲁棒性和泛化能力。
因此，使用基于对抗生成网络的数据增广技术来实现皮肤分型，具有非常重要的应用价值。利用GAN生成更多的合成数据，可以在不增加数据采集成本的条件下实现扩大数据集规模，提升皮肤分型的准确性和可靠性。通过计算机视觉技术对皮肤图像进行分析和处理，可以实现对皮肤病理类型高效分类，为临床医学的皮肤病理诊断和治疗提供重要的参考。
发明内容
有鉴于此，本发明的目的之一是提供一种基于对抗生成网络的皮肤分型数据增广方法，使用对抗生成网络模型实现皮肤分型数据增广，可以在原始图像数据量较小或皮肤图像较复杂的情况下提供多样性的样本，辅佐医疗判断并提升皮肤的诊断效率。
本发明的目的之一是通过以下技术方案实现的：
该种基于对抗生成网络的皮肤分型数据增广的方法，包括以下步骤：
步骤S1：对原始皮肤图像数据进行采集与预处理；
步骤S2：构建对抗生成网络模型生成高质量的合成皮肤病理图像样本；
步骤S3：分割生成的皮肤病理图像并与健康皮肤图像合成以实现数据增广；
步骤S4：训练对抗生成网络模型以扩充原有皮肤病理图像数据集的规模；
步骤S5：构建多分支特征提取网络提取皮肤病理图像多层次的结构特征并实现皮肤分型。
进一步，对原始皮肤图像数据进行采集与预处理，具体包括：
步骤S101：从医学图像数据库、网络皮肤图像数据库、大型医学科研机构等多种渠道获得包含多种类型的皮肤图像，其中，皮肤图像的主要信息包括：皮肤病变外观、皮肤病变形状、皮肤病变大小、皮肤病变类型、皮肤病变分级；
步骤S102：将皮肤图像映射为一副无向图，将每个像素视为一个节点，再将每个像素节点连接形成边，每条边的权重表示像素之间的纹理差异，构建灰度共生矩阵P计算不同像素之间存在的纹理差异，构建方式如下：
上式中，i表示当前像素，j表示i像素的相邻像素，(x,y)表示当前像素i的坐标，αx和βy表示两个像素之间的坐标偏移量，θ表示像素对(i,j)在图像中的出现频次，W表示图像的宽度，H表示图像的长度，G_value(·)是灰度计算函数，表示图像中坐标(x,y)处的灰度值；
利用纹理特征函数，计算像素之间的灰度值差异平方和，用于反映像素之间的纹理差异程度，计算方式如下：
D(i,j)＝∑i,j[G_value(x,y)-G_value(x+αx,y+βy)]2×I(G_value(x,y)＝i)×I(G_value(x+αx,y+βy)＝j)
上式中，D(·)表示差异程度计算函数，I(·)表示指示函数，当I(·)为真时取值为1，反之取值为0；
根据像素纹理差异度量公式，计算无向图中每条边的权重，计算方式如下：
步骤S103：在构建的无向图中增设两个额外节点集合，分别为源节点集合S和汇节点集合T，与无向图中的每个顶点相连形成边，计算将图中节点划分为两个集合的最小代价，计算方式如下：
Cost＝min∑(u,v)∈I,s∈S,t∈Tc(u,v)
上式中，min表示求取最小值，u和v表示无向图中的任意两条边，c(·)表示路径流量计算函数，I表示皮肤图像，S表示源节点集合，T表示汇节点集合，通过查找从源节点到汇节点之间存在的增广路径，将该路径上每条边的权值计入增广路径的流量，当无法查找到增广路径时，表示当前路径的流量达到最大值，依据最大流路径将图像进行分割保留图像中的病理区域；
步骤S104：采取线性插值方法将图像补全为512×512固定尺寸的失真图像块，弥补分割后的图片规格尺寸不统一的缺陷，补全计算公式如下：
Pixel'(xm,ym)＝(1-U)*(1-V)*Pixel(xm,ym)+U*(1-V)*Pixel(xm,ym)+(1-U)*V*Pixel(xm,ym)
Pixel(xm,ym)＝w1*R+w2*G+w3*B
上式中，(xm,ym)表示缺失像素的坐标值，(x0,y0)表示坐标原点，(xr,yr)表示随机选取的缺失像素附近完整像素的坐标值，U表示缺失像素的横向偏移量，V表示缺失像素的纵向偏移量，Pixel'(·)表示图像灰度估计函数，Pixel(·)为图像灰度计算函数，采用加权平均的方法计算目标像素的灰度值，w1、w2、w3分别表示红色分量、绿色分量和蓝色分量的权重，需要注意的是，三种颜色分量的权重可根据实际情况调整且权重总和为1；
步骤S105：将补全后的图像进行分块处理，采用滑动窗口的方式遍历图像并将图像裁剪为256×256固定尺寸的图像Gpath，为裁剪后的图像添加相应的标签，若原始图像包含标签信息则依据原始信息添加相应的标签，若原始图像缺少或遗漏标签信息则由人工识别并添加具体的标签信息。
进一步，构建对抗生成网络模型生成高质量的合成皮肤病理图像样本，具体包括：
步骤S201：构建具有对称结构的生成器网络，学习输入图像映射到对应参照图像之间的潜在特征，构建的生成器网络由3个卷积层组成，第一个卷积层包含32个尺寸为7×7的卷积核且卷积步长设置为1，第二个卷积层包含64个尺寸为5×5的卷积核且卷积步长设置为1，第三个卷积层包含128个尺寸为3×3的卷积核且卷积步长设置为1；然后，设置3个由1层卷积层和1层ReLU激活函数组成的残差网络单元，残差网络单元中卷积层包含128个尺寸为3×3的卷积核且卷积步长设置为1；最后，设置3个转置卷积层，实现特征采样以及图像恢复，第一个转置卷积层包含128个尺寸为3×3的卷积核且卷积步长设置为1，第二个转置卷积层包含64个尺寸为5×5的卷积核且卷积步长设置为1，第三个转置卷积层包含32个尺寸为7×7卷积核且卷积层步长设置为1，将最后一层转置卷积层的输出特征与输入图像进行特征融合得到最后的输出图像Ggen，卷积操作的表达式如下：
上式中，表示当前通道输出的特征图，K表示卷积核的尺寸，W表示图像的宽度，H表示图像的高度，/>表示当前通道输入的特征图，x,y表示输出特征图在通道n的坐标位置，w,h表示卷积核权重矩阵在通道n的元素坐标；
步骤S202：构建由5个卷积层组成的辨别器网络，可以提取输入图像中的不同特征，对不同类型的皮肤进行识别，辨别器网络中卷积层均选用尺寸为3×3的卷积核，每一层卷积层均加入批量归一化层，依照先后顺序，卷积层包含的卷积层数量分别为32、64、128、256、1，前四层卷积层使用ReLU激活函数，最后一层卷积层使用Sigmoid激活函数，输出对应的输入图像是否为生成图像的概率值。
进一步，分割生成的皮肤病理图像并与健康皮肤图像合成以实现数据增广，具体包括：
步骤S301：遍历图像Ggen的每个像素并获取对应的灰度值，统计每个灰度值的像素频率用于构建图像Ggen对应的灰度直方图，灰度直方图的表现形式如下：
k(l)＝f(l)×m-1
上式中，k(l)表示灰度级为l的像素在图像中的出现频率，f(l)表示灰度级为l的像素在图像中的出现频次，m表示图像中的像素数量；
步骤S302：计算不同灰度级阈值对应的类间方差，求得阈值δ使得病情纹理和正常皮肤之间的差异最大化，根据阈值δ将图像Ggen转化为二值化图像Gbin，计算方式如下：
δ＝max{δ1,δ2,…,δi},i＝h(l)
上式中，δi表示基于第i个灰度级构建二值化图像的阈值，表示图像在阈值为δi时的类间方差，/>表示图像在阈值为δi时灰度级为0的像素数量，/>表示图像在阈值为δi时灰度级为255的像素数量，f(l)表示灰度级为l的像素在图像中的出现频次，m表示图像中的像素数量，h(l)表示图像中灰度级的数量，max{·}是求最大值算子，δ表示最大类间方差所对应的灰度级阈值；
步骤S303：生成器得到的图像Ggen中的皮肤部分与病理部分存在较为明显的像素差异，利用二值化图像Gbin将图像Ggen分割得到更精细的病理图像Gacc，然后输入至判别器中；
步骤S304：利用生成器网络生成的病理图像与健康皮肤合成，病理图像的边缘区域与健康皮肤的像素差异明显，利用均值滤波的方式对病理图像的边缘进行平滑改进，图像边缘均值滤波平滑公式如下：
Gi'＝λ×Gi+(1-λ)×Gj
上式中，Gi'表示滤波后的像素值，Gi表示待滤波的像素值，Gj表示与Gi相邻像素点的像素值，λ表示控制图像滤波的权重；
步骤S305：利用双线性插值法对合成后的图像进行多尺度处理，构建图像金字塔结构，确保合成的图像可以保留主要的病理特征，像素的位置坐标及像素值的计算方式如下：
上式中，li表示待计算目标点在图像中的坐标值，xsrc表示缩放后图像的横坐标，ysrc表示缩放后图像的横坐标，xdst表示缩放前图像的横坐标，ydst表示缩放前图像的纵坐标，Wsrc表示缩放后图像的宽度，Wdst表示缩放前图像的宽度，Hsrc表示缩放后图像的宽度，Hdst表示缩放前图像的宽度，Gi表示待计算目标点的像素值，Gj表示待计算目标点邻近像素点的像素值，lj表示待计算目标点邻近像素点在图像中的坐标值。
进一步，训练对抗生成网络模型以扩充原有皮肤病理图像数据集的规模，具体包括：
步骤S401：利用残差损失函数测量生成图像Gacc与原始图像Gpath之间的不相似性，理想情况下，生成图像与原始图像之间像素补丁数相同，残差损失值为0，残差损失函数的公式如下：
上式中，Lossgen(·)表示残差损失函数，PG∈Data(Gpath)表示输入图像属于真实图像数据的概率，s表示图像的数量，log(·)表示对数函数；
步骤S402：利用特征损失函数鉴别生成图像Gacc与原始图像Gpath之间的特征差异性，，特征损失函数的公式如下：
Lossdis(Gacc,Gpath)＝-[log(PG∈Data(Gpath))+log(1-PG∈Gen(Gacc))]
上式中，Lossdis(·)表示特征损失函数，PG∈Gen(Gacc)表示输入图像属于生成器创建样本的概率；
步骤S403：将两个损失函数加权拼接，将目标皮肤图像映射到潜在空间，利用Adam优化器更新生成器网络和辨别器网络中的参数，帮助两个网络在交替训练时更快达到收敛状态，提升模型的稳定性和可靠性，最终达到收敛，损失函数拼接公式如下：
Loss(Gacc,Gpath)＝α1*Lossgen(Gacc,Gpath)+β1*Lossdis(Gacc,Gpath)
上式中，α1表示控制生成器网络对应损失函数权重的参数，β1表示控制辨别器网络对应损失函数权重的参数，α1和β1之和为1。
进一步，构建多分支特征提取网络提取皮肤病理图像多层次的结构特征并实现皮肤分型，具体包括：
步骤S501：构建含有4个残差块的多分支特征提取网络，每个残差块包含一层空洞卷积层、一层批量归一化层和一层自适应平均池化层，空洞卷积的计算方式如下：
上式中，qi表示第i个残差块输出图像的特征张量，qi-1表示第i-1个残差块输出图像的特征张量，z表示空洞卷积层中卷积核的尺寸，p表示填充参数，b表示移动步长，η表示空洞卷积的膨胀率；
步骤S502：对不同层次的图像特征进行特征融合，避免丢失皮肤病理图像的重要特征，提升皮肤分型的正确率，特征融合的计算方式如下：
上式中，Q表示特征融合后输出的特征张量，qi表示第i个残差块输出的特征张量，σi表示第i个残差块对应的特征权重；
步骤S503：依据最小最大化原则对融合特征张量Q归一化编码处理，将特征张量的元素数值范围映射到[0,1]的区间内，归一化的计算方式如下：
上式中，Q'表示归一化后的特征张量，min(Q)表示张量Q中所有元素的最小值，max(Q)表示张量Q中所有元素的最大值；
步骤S504：选择核函数训练支持向量机模型对特征张量Q'进行分类，得到目标皮肤图像的类别标签，完成皮肤分型。
本发明的目的之二在于提供一种基于对抗生成网络的皮肤分型数据增广的***，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前所述的方法。
本发明的目的之三是提供一种计算机可读存储介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现如前所述的方法。
本发明的有益效果是：
(1)本发明的方法使用生成对抗网络模型实现皮肤分型数据的增广，可以在原始图像数据量较小或皮肤图像较复杂的情况下提供多样性的样本，在不影响数据质量的前提条件下，可以大幅度降低预测模型出现过拟合的情况，为医护人员对患者的皮肤情况诊断提供了有效的临床辅助决策支持；
(2)本发明在分割生成病理图像时采用图像二值化的方法解决生成图像规模庞大问题，将图像像素二值化处理，可以准确且直观地将皮肤病理区域与健康区域分开，进而更方便提取皮肤病理区域的显著特征。此外，二值法具有较低的时间复杂度，有益于降低对抗生成网络训练所需的时间开销，保障皮肤分型结果的时效性；
(3)本发明在合成病理图像时采用均值滤波的方法解决图像不平滑的问题，通过计算像素周围邻域像素的平均值达到平滑图像的目的，有效地减少了噪声像素，使得图像整体呈现更加平滑的外观，有益于对抗生成网络生成更加逼真的样本图像，保证下一步皮肤分型的准确率；
(4)本发明在训练对抗生成网络时加入了额外的合成样本，通过生成器生成的病理皮肤图像与健康皮肤图像合成额外的新样本，增加了训练数据的多样性，为特定类别的皮肤病理数据集提供更充足的示例样本，有益于提高对抗生成网络的泛化能力，从而改善对抗生成网络在该皮肤病理类型上的生成能力；
(5)本发明在提取图像不同层级特征时使用多分支网络结构，每个分支专注于不同的感受野大小，可以有效地捕捉图像中的局部和全局特征信息，并且在特征融合过程中采取可调整的特征权重，相比于固定特征权重，可以更好地提升图像的表达能力，有效地提升皮肤分型任务的准确性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和前述的权利要求书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为本发明的一种基于对抗生成网络的皮肤分型数据增广方法及***流程示意图；
图2为本发明实施皮肤图像原始数据示意图；
图3为本发明实施最大流路径图像分割示意图；
图4为本发明实施构建生成器网络示意图；
图5为本发明实施构建判别器网络示意图；
图6为本发明实施构建二值化图像示意图；
图7为本发明实施二值化图像分割示意图；
图8为本发明实施均值滤波平滑合成图像示意图；
图9为本发明实施图像金字塔策略缩放图像特征示意图。
具体实施方式
以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
本发明一种基于对抗生成网络的皮肤分型数据增广方法和***，如图1所示，包括如下步骤：
步骤S1：对原始皮肤图像数据进行采集与预处理；
步骤S2：构建对抗生成网络模型生成高质量的合成皮肤病理图像样本；
步骤S3：分割生成的皮肤病理图像并与健康皮肤图像合成以实现数据增广；
步骤S4：训练对抗生成网络模型以扩充原有皮肤病理图像数据集的规模；
步骤S5：构建多分支特征提取网络提取皮肤病理图像多层次的结构特征并实现皮肤分型。
以下将通过一个具体的实施例对上述方法的具体步骤进行进一步的阐述。
本实施例中，步骤S1具体包括如下步骤：
步骤S101：从医学图像数据库、网络皮肤图像数据库、大型医学科研机构等多种渠道收集包含多种类型的皮肤图像保存至MongoDB数据库中建立皮肤图像数据库，其中，皮肤图像的主要信息包括：皮肤病变外观、皮肤病变形状、皮肤病变大小、皮肤病变类型、皮肤病变分级，如图2所示，其中数据获取渠道包括但不限于医学图像数据库、网络皮肤图像数据库、大型医学科研机构等；
步骤S102：将皮肤图像映射为一副无向图，将每个像素视为一个节点，再将每个像素节点连接形成边，每条边的权重表示像素之间的纹理差异，构建灰度共生矩阵P计算不同像素之间存在的纹理差异，构建方式如下：
上式中，i表示当前像素，j表示i像素的相邻像素，(x,y)表示当前像素i的坐标，αx和βy表示两个像素之间的坐标偏移量，θ表示像素对(i,j)在图像中的出现频次，W表示图像的宽度，H表示图像的长度，G_value(·)是灰度计算函数，表示图像中坐标(x,y)处的灰度值；
利用纹理特征函数，计算像素之间的灰度值差异平方和，用于反映像素之间的纹理差异程度，计算方式如下：
D(i,j)＝∑i,j[G_value(x,y)-G_value(x+αx,y+βy)]2×I(G_value(x,y)＝i)×I(G_value(x+αx,y+βy)＝j)
上式中，D(·)表示差异程度计算函数，I(·)表示指示函数，当I(·)为真时取值为1，反之取值为0；
根据像素纹理差异度量公式，计算无向图中每条边的权重，计算方式如下：
步骤S103：在构建的无向图中增设两个额外节点集合，分别为源节点集合S和汇节点集合T，与无向图中的每个顶点相连形成边，计算将图中节点划分为两个集合的最小代价，计算方式如下：
Cost＝min∑(u,v)∈I,s∈S,t∈Tc(u,v)
上式中，min表示求取最小值，u和v表示无向图中的任意两条边，c(·)表示路径流量计算函数，I表示皮肤图像，S表示源节点集合，T表示汇节点集合，通过查找从源节点到汇节点之间存在的增广路径，将该路径上每条边的权值计入增广路径的流量，当无法查找到增广路径时，表示当前路径的流量达到最大值，依据最大流路径将图像进行分割保留图像中的病理区域，如图3；
步骤S104：采取线性插值方法将图像补全为512×512固定尺寸的失真图像块，弥补分割后的图片规格尺寸不统一的缺陷，补全计算公式如下：
Pixel'(xm,ym)＝(1-U)*(1-V)*Pixel(xm,ym)+U*(1-V)*Pixel(xm,ym)+(1-U)*V*Pixel(xm,ym)
Pixel(xm,ym)＝0.299R+0.587G+0.114B
上式中，(xm,ym)表示缺失像素的坐标值，(x0,y0)表示坐标原点，(xr,yr)表示随机选取缺失像素附近存在像素的坐标值，U表示缺失像素的横向偏移量，V表示缺失像素的纵向偏移量，Pixel'(·)表示图像灰度估计函数，Pixel(·)是图像灰度计算函数，采用加权平均的方法计算目标像素的灰度值，红色分量R的权重设置为0.299，绿色分量G的权重设置为0.587，蓝色分量B的权重设置为0.114，需要注意的是，三种颜色分量的权重可根据实际情况调整且权重总和为1；
步骤S105：将补全后的图像进行分块处理，采用滑动窗口的方式遍历图像并将图像裁剪为256×256固定尺寸的图像Gpath，为裁剪后的图像添加相应的标签，若原始图像包含标签信息则依据原始信息添加相应的标签，若原始图像缺少或遗漏标签信息则由人工识别添加具体的标签信息，具体来说，若原始图像由人工识别为鳞状细胞皮肤癌，则手动为图像添加皮肤病理类型标签，其值为“鳞状细胞皮肤癌”。
在本实施例中，步骤S2具体包括如下步骤：
步骤S201：构建具有对称结构的生成器网络，学习输入图像映射到对应参照图像之间的潜在特征，构建的生成器网络由3个卷积层组成，第一个卷积层包含32个尺寸为7×7的卷积核且卷积步长设置为1，第二个卷积层包含64个尺寸为5×5的卷积核且卷积步长设置为1，第三个卷积层包含128个尺寸为3×3的卷积核且卷积步长设置为1；然后，设置3个由1层卷积层和1层ReLU激活函数组成的残差网络单元，残差网络单元中卷积层包含128个尺寸为3×3的卷积核且卷积步长设置为1；最后，设置3个转置卷积层，实现特征采样以及图像恢复，第一个转置卷积层包含128个尺寸为3×3的卷积核且卷积步长设置为1，第二个转置卷积层包含64个尺寸为5×5的卷积核且卷积步长设置为1，第三个转置卷积层包含32个尺寸为7×7卷积核且卷积层步长设置为1，将最后一层转置卷积层的输出特征与输入图像进行特征融合得到最后的输出图像Ggen，如图4，卷积操作的表达式如下：
上式中，表示当前通道输出的特征图，K表示卷积核的尺寸，W表示图像的宽度，H表示图像的高度，/>表示当前通道输入的特征图，x,y表示输出特征图在通道n的坐标位置，w,h表示卷积核权重矩阵在通道n的元素坐标；
步骤S202：构建由5个卷积层组成的辨别器网络，提取输入图像中的不同特征，对不同类型的皮肤进行识别，辨别器网络中卷积层均选用尺寸为3×3的卷积核，每一层卷积层均加入批量归一化层，依照先后顺序，卷积层的包含的卷积层数量分别为32、64、128、256、1，前四层卷积层使用ReLU激活函数，最后一层卷积层使用Sigmoid激活函数，输出对应输入图像是否为生成图像的概率值，如图5。
步骤S3具体包括如下步骤：
步骤S301：遍历图像Ggen的每个像素并获取对应的灰度值，统计每个灰度值的像素频率用于构建图像Ggen对应的灰度直方图，灰度直方图的表现形式如下：
k(l)＝f(l)×m-1
上式中，k(l)表示灰度级为l的像素在图像中的出现频率，f(l)表示灰度级为l的像素在图像中的出现频次，m表示图像中的像素数量，如灰度级为0的像素在图像中出现频次f(0)为28，图像中的像素数量m为625，则灰度级为0的像素在图像中的出现频率k(0)为0.0448；
步骤S302：计算不同灰度级阈值对应的类间方差，求得阈值δ使得病情纹理和正常皮肤之间的差异最大化，根据阈值δ将图像Ggen转化为二值化图像Gbin，计算方式如下：
δ＝max{δ1,δ2,…,δi},i＝h(l)
上式中，δi表示基于第i个灰度级构建二值化图像的阈值，表示图像在阈值为δi时的类间方差，/>表示图像在阈值为δi时灰度级为0的像素数量，/>表示图像在阈值为δi时灰度级为255的像素数量，f(l)表示灰度级为l的像素在图像中的出现频次，m表示图像中的像素数量，h(l)表示图像中灰度级的数量，max{·}是求最大值算子，δ表示最大类间方差所对应的灰度级阈值，如图6所示；
步骤S303：生成器得到的图像Ggen中的皮肤部分与病理部分存在较为明显的像素差异，利用二值化图像Gbin将图像Ggen分割得到更精细的病理图像Gacc再输入至判别器中，如图7所示；
步骤S304：利用生成器网络生成的病理图像与健康皮肤合成，病理图像的边缘区域与健康皮肤的像素差异较为明显，利用均值滤波的方式对病理图像的边缘进行平滑改进，图像边缘均值滤波平滑公式如下：
Gi'＝λ×Gi+(1-λ)×Gj
上式中，Gi'表示滤波后的像素值，Gi表示待滤波的像素值，Gj表示与Gi相邻像素点的像素值，λ表示控制图像滤波的权重，取值为0.625，具体来说，如待滤波Gi的像素值为220，其相邻像素点Gj的像素值为176，则滤波后Gi'的像素值为203.5，如图8；
步骤S305：利用双线性插值法对合成后的图像进行多尺度处理，构建图像金字塔结构，确保合成的图像可以保留主要的病理特征，像素的位置坐标及像素值的计算方式如下：
上式中，li表示待计算目标点在图像中的坐标值，xsrc表示缩放后图像的横坐标，ysrc表示缩放后图像的横坐标，xdst表示缩放前图像的横坐标，ydst表示缩放前图像的纵坐标，Wsrc表示缩放后图像的宽度，Wdst表示缩放前图像的宽度，Hsrc表示缩放后图像的宽度，Hdst表示缩放前图像的宽度，Gi表示待计算目标点的像素值，Gj表示待计算目标点邻近像素点的像素值，lj表示待计算目标点邻近像素点在图像中的坐标值，如图9所示。
步骤S4具体包括如下步骤：
步骤S401：利用残差损失函数测量生成图像Gacc与原始图像Gpath之间的不相似性，理想情况下，生成图像与原始图像之间补丁数相同，残差损失值为0，残差损失函数的公式如下：
上式中，Lossgen(·)表示残差损失函数，PG∈Data(Gpath)表示输入图像属于真实图像数据的概率，s表示图像的数量，log(·)表示对数函数；
步骤S402：利用特征损失函数鉴别生成图像Gacc与原始图像Gpath之间的特征差异性，，特征损失函数的公式如下：
Lossdis(Gacc,Gpath)＝-[log(PG∈Data(Gpath))+log(1-PG∈Gen(Gacc))]
上式中，Lossdis(·)表示特征损失函数，PG∈Gen(Gacc)表示输入图像属于生成器创建样本的概率；
步骤S403：将两个损失函数加权拼接，将目标皮肤图像映射到潜在空间，利用Adam优化器更新生成器网络和辨别器网络中的参数，帮助两个网络在交替训练时更快达到收敛状态，提升模型的稳定性和可靠性，最终达到收敛，损失函数拼接公式如下：
Loss(Gacc,Gpath)＝α1*Lossgen(Gacc,Gpath)+β1*Lossdis(Gacc,Gpath)
上式中，α1表示控制生成器网络对应损失函数权重的参数，取值为0.3，β1表示控制辨别器网络对应损失函数权重的参数，取值为0.7，α1和β1之和为1；具体来说，步骤S401求取Lossgen(Gacc,Gpath)值为26.523；步骤S402求取Lossdis(Gacc,Gpath)值为1.046；最终，求取Loss(Gacc,Gpath)值为8.689。
步骤S5具体包括如下步骤：
步骤S501：搭建含有4个残差块的多分支特征提取网络，每个残差块包含一层空洞卷积层、一层批量归一化层和一层自适应平均池化层，空洞卷积的计算方式如下：
上式中，qi表示第i个残差块输出图像的特征张量，qi-1表示第i-1个残差块输出图像的特征张量，z表示空洞卷积层中卷积核的尺寸，p表示填充参数，b表示移动步长，η表示空洞卷积的膨胀率，如选择尺寸为3×3的卷积核提取较小的局部病理特征，填充参数选择“same”其值为1，移动步长设置为1，保证输出图像的尺寸不变，4个残差块的膨胀率分别取值1、4、9、16；
步骤S502：对不同层次的图像特征进行特征融合，避免丢失皮肤病理图像的重要特征，提升皮肤分型的正确率，特征融合的计算方式如下：
上式中，Q表示特征融合后输出的特征张量，qi表示第i个残差块输出的特征张量，σi表示第i个残差块对应的特征权重；
步骤S503：依据最小最大化原则对融合特征张量Q归一化编码处理，将特征张量的元素数值范围映射到[0,1]的区间内，归一化的计算方式如下：
上式中，Q'表示归一化后的特征张量，min(Q)表示张量Q中所有元素的最小值，max(Q)表示张量Q中所有元素的最大值；
步骤S504：选择高斯核作为支持向量机的核函数，根据张量的特征和标签学习合适的决策边界，最大化不同类别之间的间隔，使用训练过的支持向量机模型对特征张量Q'进行分类，得到目标皮肤图像的类别标签，完成皮肤分型。
需要说明的是，本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种基于对抗生成网络的皮肤分型数据增广的方法，其特征在于：所述方法包括以下步骤：
步骤S1：对原始皮肤图像数据进行采集与预处理；
步骤S2：构建对抗生成网络模型生成高质量的合成皮肤病理图像样本；
步骤S3：分割生成的皮肤病理图像并与健康皮肤图像合成以实现数据增广；
步骤S4：训练对抗生成网络模型以扩充原有皮肤病理图像数据集的规模；
步骤S5：构建多分支特征提取网络提取皮肤病理图像多层次的结构特征并实现皮肤分型。
2.根据权利要求1所述的一种基于对抗生成网络的皮肤分型数据增广的方法，其特征在于：所述步骤S1具体包括：
步骤S101：从医学图像数据库、网络皮肤图像数据库、大型医学科研机构等多种渠道获得包含多种类型的皮肤图像，其中，皮肤图像的主要信息包括：皮肤病变外观、皮肤病变形状、皮肤病变大小、皮肤病变类型、皮肤病变分级；
步骤S102：将皮肤图像映射为一副无向图，将每个像素视为一个节点，再将每个像素节点连接形成边，每条边的权重表示像素之间的纹理差异，构建灰度共生矩阵P计算不同像素之间存在的纹理差异，构建方式如下：
上式中，i表示当前像素，j表示i像素的相邻像素，(x,y)表示当前像素i的坐标，αx和βy表示两个像素之间的坐标偏移量，θ表示像素对(i,j)在图像中的出现频次，W表示图像的宽度，H表示图像的长度，G_value(·)是灰度计算函数，表示图像中坐标(x,y)处的灰度值；
利用纹理特征函数，计算像素之间的灰度值差异平方和，用于反映像素之间的纹理差异程度，计算方式如下：
D(i,j)＝∑i,j[G_value(x,y)-G_value(x+αx,y+βy)]2×I(G_value(x,y)＝i)×I(G_value(x+αx,y+βy)＝j)
上式中，D(·)表示差异程度计算函数，I(·)表示指示函数，当I(·)为真时取值为1，反之取值为0；
根据像素纹理差异度量公式，计算无向图中每条边的权重，计算方式如下：
步骤S103：在构建的无向图中增设两个额外节点集合，分别为源节点集合S和汇节点集合T，与无向图中的每个顶点相连形成边，计算将图中节点划分为两个集合的最小代价，计算方式如下：
Cost＝min∑(u,v)∈I,s∈S,t∈Tc(u,v)
上式中，min表示求取最小值，u和v表示无向图中的任意两条边，c(·)表示路径流量计算函数，I表示皮肤图像，S表示源节点集合，T表示汇节点集合，通过查找从源节点到汇节点之间存在的增广路径，将该路径上每条边的权值计入增广路径的流量，当无法查找到增广路径时，表示当前路径的流量达到最大值，依据最大流路径将图像进行分割保留图像中的病理区域；
步骤S104：采取线性插值方法将图像补全为512×512固定尺寸的失真图像块，弥补分割后的图片规格尺寸不统一的缺陷，补全计算公式如下：
Pixel'(xm,ym)＝(1-U)*(1-V)*Pixel(xm,ym)+U*(1-V)*Pixel(xm,ym)+(1-U)*V*Pixel(xm,ym)
Pixel(xm,ym)＝w1*R+w2*G+w3*B
上式中，(xm,ym)表示缺失像素的坐标值，(x0,y0)表示坐标原点，(xr,yr)表示随机选取的缺失像素附近完整像素的坐标值，U表示缺失像素的横向偏移量，V表示缺失像素的纵向偏移量，Pixel'(·)表示图像灰度估计函数，Pixel(·)为图像灰度计算函数，采用加权平均的方法计算目标像素的灰度值，w1、w2、w3分别表示红色分量、绿色分量和蓝色分量的权重，需要注意的是，三种颜色分量的权重可根据实际情况调整且权重总和为1；
步骤S105：将补全后的图像进行分块处理，采用滑动窗口的方式遍历图像并将图像裁剪为256×256固定尺寸的图像Gpath，为裁剪后的图像添加相应的标签，若原始图像包含标签信息则依据原始信息添加相应的标签，若原始图像缺少或遗漏标签信息则由人工识别并添加具体的标签信息。
3.根据权利要求1所述的一种基于对抗生成网络的皮肤分型数据增广的方法，其特征在于：所述步骤S2具体包括：
步骤S201：构建具有对称结构的生成器网络，学习输入图像映射到对应参照图像之间的潜在特征，构建的生成器网络由3个卷积层组成，第一个卷积层包含32个尺寸为7×7的卷积核且卷积步长设置为1，第二个卷积层包含64个尺寸为5×5的卷积核且卷积步长设置为1，第三个卷积层包含128个尺寸为3×3的卷积核且卷积步长设置为1；然后，设置3个由1层卷积层和1层ReLU激活函数组成的残差网络单元，残差网络单元中卷积层包含128个尺寸为3×3的卷积核且卷积步长设置为1；最后，设置3个转置卷积层，实现特征采样以及图像恢复，第一个转置卷积层包含128个尺寸为3×3的卷积核且卷积步长设置为1，第二个转置卷积层包含64个尺寸为5×5的卷积核且卷积步长设置为1，第三个转置卷积层包含32个尺寸为7×7卷积核且卷积层步长设置为1，将最后一层转置卷积层的输出特征与输入图像进行特征融合得到最后的输出图像Ggen，卷积操作的表达式如下：
上式中，表示当前通道输出的特征图，K表示卷积核的尺寸，W表示图像的宽度，H表示图像的高度，/>表示当前通道输入的特征图，x,y表示输出特征图在通道n的坐标位置，w,h表示卷积核权重矩阵在通道n的元素坐标；
步骤S202：构建由5个卷积层组成的辨别器网络，提取输入图像中的不同特征，对不同类型的皮肤进行识别，辨别器网络中卷积层均选用尺寸为3×3的卷积核，每一层卷积层均加入批量归一化层，依照先后顺序，卷积层包含的卷积层数量分别为32、64、128、256、1，前四层卷积层使用ReLU激活函数，最后一层卷积层使用Sigmoid激活函数，输出对应的输入图像是否为生成图像的概率值。
4.根据权利要求1所述的一种基于对抗生成网络的皮肤分型数据增广的方法，其特征在于：所述步骤S3具体包括：
步骤S301：遍历图像Ggen的每个像素并获取对应的灰度值，统计每个灰度值的像素频率用于构建图像Ggen对应的灰度直方图，灰度直方图的表现形式如下：
k(l)＝f(l)×m-1
上式中，k(l)表示灰度级为l的像素在图像中的出现频率，f(l)表示灰度级为l的像素在图像中的出现频次，m表示图像中的像素数量；
步骤S302：计算不同灰度级阈值对应的类间方差，求得阈值δ使得病情纹理和正常皮肤之间的差异最大化，根据阈值δ将图像Ggen转化为二值化图像Gbin，计算方式如下：
δ＝max{δ1,δ2,…,δi},i＝h(l)
上式中，δi表示基于第i个灰度级构建二值化图像的阈值，表示图像在阈值为δi时的类间方差，/>表示图像在阈值为δi时灰度级为0的像素数量，/>表示图像在阈值为δi时灰度级为255的像素数量，f(l)表示灰度级为l的像素在图像中的出现频次，m表示图像中的像素数量，h(l)表示图像中灰度级的数量，max{·}是求最大值算子，δ表示最大类间方差所对应的灰度级阈值；
步骤S303：生成器得到的图像Ggen中的皮肤部分与病理部分存在较为明显的像素差异，利用二值化图像Gbin将图像Ggen分割得到更精细的病理图像Gacc，然后输入至判别器中；
步骤S304：利用生成器网络生成的病理图像与健康皮肤合成，病理图像的边缘区域与健康皮肤的像素差异明显，利用均值滤波的方式对病理图像的边缘进行平滑改进，图像边缘均值滤波平滑公式如下：
Gi'＝λ×Gi+(1-λ)×Gj
上式中，Gi'表示滤波后的像素值，Gi表示待滤波的像素值，Gj表示与Gi相邻像素点的像素值，λ表示控制图像滤波的权重；
步骤S305：利用双线性插值法对合成后的图像进行多尺度处理，构建图像金字塔结构，确保合成的图像可以保留主要的病理特征，像素的位置坐标及像素值的计算方式如下：
上式中，li表示待计算目标点在图像中的坐标值，xsrc表示缩放后图像的横坐标，ysrc表示缩放后图像的横坐标，xdst表示缩放前图像的横坐标，ydst表示缩放前图像的纵坐标，Wsrc表示缩放后图像的宽度，Wdst表示缩放前图像的宽度，Hsrc表示缩放后图像的宽度，Hdst表示缩放前图像的宽度，Gi表示待计算目标点的像素值，Gj表示待计算目标点邻近像素点的像素值，lj表示待计算目标点邻近像素点在图像中的坐标值。
5.根据权利要求1所述的一种基于对抗生成网络的皮肤分型数据增广的方法，其特征在于：所述步骤S4具体包括：
步骤S401：利用残差损失函数测量生成图像Gacc与原始图像Gpath之间的不相似性，理想情况下，生成图像与原始图像之间像素补丁数相同，残差损失值为0，残差损失函数的公式如下：
上式中，Lossgen(·)表示残差损失函数，PG∈Data(Gpath)表示输入图像属于真实图像数据的概率，s表示图像的数量，log(·)表示对数函数；
步骤S402：利用特征损失函数鉴别生成图像Gacc与原始图像Gpath之间的特征差异性，，特征损失函数的公式如下：
Lossdis(Gacc,Gpath)＝-[log(PG∈Data(Gpath))+log(1-PG∈Gen(Gacc))]
上式中，Lossdis(·)表示特征损失函数，PG∈Gen(Gacc)表示输入图像属于生成器创建样本的概率；
步骤S403：将两个损失函数加权拼接，将目标皮肤图像映射到潜在空间，利用Adam优化器更新生成器网络和辨别器网络中的参数，帮助两个网络在交替训练时更快达到收敛状态，提升模型的稳定性和可靠性，最终达到收敛，损失函数拼接公式如下：
Loss(Gacc,Gpath)＝α1*Lossgen(Gacc,Gpath)+β1*Lossdis(Gacc,Gpath)
上式中，α1表示控制生成器网络对应损失函数权重的参数，β1表示控制辨别器网络对应损失函数权重的参数，α1和β1之和为1。
6.根据权利要求1所述的一种基于对抗生成网络的皮肤分型数据增广的方法，其特征在于：所述步骤S5具体包括：
步骤S501：构建含有4个残差块的多分支特征提取网络，每个残差块包含一层空洞卷积层、一层批量归一化层和一层自适应平均池化层，空洞卷积的计算方式如下：
上式中，qi表示第i个残差块输出图像的特征张量，qi-1表示第i-1个残差块输出图像的特征张量，z表示空洞卷积层中卷积核的尺寸，p表示填充参数，b表示移动步长，η表示空洞卷积的膨胀率；
步骤S502：对不同层次的图像特征进行特征融合，避免丢失皮肤病理图像的重要特征，提升皮肤分型的正确率，特征融合的计算方式如下：
上式中，Q表示特征融合后输出的特征张量，qi表示第i个残差块输出的特征张量，σi表示第i个残差块对应的特征权重；
步骤S503：依据最小最大化原则对融合特征张量Q归一化编码处理，将特征张量的元素数值范围映射到[0,1]的区间内，归一化的计算方式如下：
上式中，Q'表示归一化后的特征张量，min(Q)表示张量Q中所有元素的最小值，max(Q)表示张量Q中所有元素的最大值；
步骤S504：选择核函数训练支持向量机模型对特征张量Q'进行分类，得到目标皮肤图像的类别标签，完成皮肤分型。
7.一种基于对抗生成网络的皮肤分型数据增广的***，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的方法。
8.一种计算机可读存储介质，其上储存有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310669194.3A CN117292217A (zh) | 2023-06-07 | 2023-06-07 | 一种基于对抗生成网络的皮肤分型数据增广方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310669194.3A CN117292217A (zh) | 2023-06-07 | 2023-06-07 | 一种基于对抗生成网络的皮肤分型数据增广方法与*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117292217A true CN117292217A (zh) | 2023-12-26 |
Family
ID=89256000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310669194.3A Pending CN117292217A (zh) | 2023-06-07 | 2023-06-07 | 一种基于对抗生成网络的皮肤分型数据增广方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117292217A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117993029A (zh) * | 2024-04-03 | 2024-05-07 | 武昌首义学院 | 一种卫星情报及训练数据仓库网络安全防护方法及*** |
-
2023
- 2023-06-07 CN CN202310669194.3A patent/CN117292217A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117993029A (zh) * | 2024-04-03 | 2024-05-07 | 武昌首义学院 | 一种卫星情报及训练数据仓库网络安全防护方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108830326B (zh) | 一种mri图像的自动分割方法及装置 | |
| CN108537239B (zh) | 一种图像显著性目标检测的方法 | |
| WO2022012110A1 (zh) | 胚胎光镜图像中细胞的识别方法及***、设备及存储介质 | |
| CN107452010A (zh) | 一种自动抠图算法和装置 | |
| CN106340016B (zh) | 一种基于细胞显微镜图像的dna定量分析方法 | |
| CN109389129A (zh) | 一种图像处理方法、电子设备及存储介质 | |
| JP2021512446A (ja) | 画像処理方法、電子機器および記憶媒体 | |
| Pan et al. | Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks | |
| CN110827260B (zh) | 一种基于lbp特征与卷积神经网络的布匹缺陷分类方法 | |
| CN113096096B (zh) | 一种融合形态特征的显微图像骨髓细胞计数方法与*** | |
| CN109685045A (zh) | 一种运动目标视频跟踪方法及*** | |
| US10769432B2 (en) | Automated parameterization image pattern recognition method | |
| CN105389821B (zh) | 一种基于云模型和图割相结合的医学图像分割方法 | |
| CN108765409A (zh) | 一种基于ct图像的候选结节的筛选方法 | |
| CN111444844A (zh) | 一种基于变分自编码器的液基细胞人工智能检测方法 | |
| CN110348435A (zh) | 一种基于裁剪区域候选网络的目标检测方法及*** | |
| CN117541844B (zh) | 一种基于超图学习的弱监督组织病理学全切片图像分析方法 | |
| CN115880266B (zh) | 一种基于深度学习的肠道息肉检测***和方法 | |
| CN117292217A (zh) | 一种基于对抗生成网络的皮肤分型数据增广方法与*** | |
| Wen et al. | Review of research on the instance segmentation of cell images | |
| CN116229205A (zh) | 基于小样本特征迁移的口红产品表面缺陷数据增广方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN115641317B (zh) | 面向病理图像的动态知识回溯多示例学习及图像分类方法 | |
| CN104751461A (zh) | 一种基于直方图阈值及低秩表示的白细胞细胞核分割方法 | |
| CN116883339A (zh) | 一种基于点监督的组织病理学图像细胞核检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |