CN115440346B - 基于半监督学习的痤疮分级方法、***、设备及存储介质 - Google Patents

基于半监督学习的痤疮分级方法、***、设备及存储介质 Download PDF

Info

Publication number
CN115440346B
CN115440346B CN202211386719.4A CN202211386719A CN115440346B CN 115440346 B CN115440346 B CN 115440346B CN 202211386719 A CN202211386719 A CN 202211386719A CN 115440346 B CN115440346 B CN 115440346B
Authority
CN
China
Prior art keywords
acne
network
semi
training
grading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211386719.4A
Other languages
English (en)
Other versions
CN115440346A (zh
Inventor
蒋献
张蕾
刘文杰
李佳奇
杜丹
张楗伟
魏新
王君有
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202211386719.4A priority Critical patent/CN115440346B/zh
Publication of CN115440346A publication Critical patent/CN115440346A/zh
Application granted granted Critical
Publication of CN115440346B publication Critical patent/CN115440346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Dermatology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于半监督学***均方式来通过学生网络的权值更新教师网络的权值。本申请基于半监督面部痤疮分级，在训练时不需要过多的有标签数据，可以从大量的无标签数据中自动学习特征，从而达到有标签和无标签数据之间互补。

Description

基于半监督学习的痤疮分级方法、***、设备及存储介质
技术领域
本发明属于医疗影像处理技术领域，涉及面部痤疮的识别与分级，尤其涉及一种基于半监督学习的痤疮分级方法、***、设备及存储介质。
背景技术
痤疮是一种在成年人和青少年人群中常见的皮肤疾病。痤疮是毛囊皮脂腺单位的一种多因素疾病，临床表现从轻度的粉刺型痤疮到暴发型伴有***性症状的痤疮。痤疮的主要表现形态有粉刺、丘疹、脓疱、结节、囊肿等等。根据调查，80%的青少年患有痤疮，并且这种慢性疾病在某些情况下可能会持续到成年。更严重的是，患有严重痤疮疾病的患者脸上不可避免地会留下疤痕和色素沉着，这会影响患者的外观和情绪。因此，一个准确的痤疮严重程度分级评估和相应的治疗方案对患者是必不可少的。
痤疮严重程度分级通常结合了基于标准的病变计数和基于经验的整图评估，通过分析患者脸部的皮损数量并结合医生对患者整个脸部的判断经验而划分的一种分类方法。判断的标准不同，同一个病人的分级也不完全相同。常用的分级方法如Hayashi分级法将患者面部图片分为了四个等级，包括：“mild”（轻微），“moderate”（中等），“severe”（严重）和“very severe”（非常严重）四个等级。
随着人工智能技术的发展，越来越多的人工智能方面的技术应用于医学领域，用于医学图像是识别、分类等。
申请号为201910250510.7的发明专利申请就公开了一种基于深度学习的痤疮自动分级方法，其包括如下步骤：S1，制作人脸面部样本数据集，训练深度卷积神经网络分级模型；S2，采集待检测人脸面部图像，利用人脸特征点检测网络识别图像中的人脸特征点并区域切割，同时去除无效区域；S3，拼接切割后的图像得到皮肤区域图像，输入深度卷积神经网络分级模型，得到分级结果。通过摄像头获取患者正脸、左侧脸、右侧脸面部图像，计算机利用预先训练好的深度卷积神经网络分级模型自动对面部痤疮进行严重度分级，为患者病情的诊断提供准确的辅助信息。
除了基于深度学习的方法实现自动分级外，还有基于半监督学习的方法。申请号为202111059104.6的发明专利就公开了糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，包括如下步骤：1）构建联合分级网络，其中MobileNet V2为模型的骨干网，并含有自适应注意力模块，模型在PyTorch架构上实现，并以端到端的方式进行训练；2）构建基于半监督学习的网络训练，所述半监督学习的网络训练采用一个学生模型和一个教师模型，同时进行训练，并且都使用提出的联合分级网络；3）进行网络分级测试。本发明实现糖尿病视网膜病变和糖尿病性黄斑水肿联合分级任务，在训练过程中进行自适应调整，灵活性高；半监督学习策略可以充分利用未标记数据，在一定程度上缓解标记数据不足的问题。
现有技术中，半监督学习的应用也越来越广泛，逐渐成为一种重要的自动分级方法，但并未采用半监督学习的方法用于痤疮的分级。此外，现有的痤疮分级中,样本数据大多只有分级的标签信息，没有关于痤疮病变计数的信息，导致模型并不能包含分级所需的痤疮计数信息，分级预测的准确率较低。
发明内容
本发明的目的在于：为了解决现有技术中存在的因模型没有包含分级所需的痤疮计数信息而导致的分级预测准确率低的技术问题，本发明提供一种基于半监督学习的痤疮分级方法、***、设备及存储介质。
本发明为了实现上述目的具体采用以下技术方案：
一种基于半监督学习的痤疮分级方法，包括如下步骤：
步骤S1，获取样本数据
从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签；
步骤S2，搭建模型
搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络；
步骤S3，训练模型
利用步骤S1中获取的面部痤疮图像样本数据以及对应的标签，输入步骤S2中搭建的半监督学习网络模型，完成半监督学习网络模型的训练；
步骤S4，实时分级
将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果；
在步骤S3进行模型的训练时，具体的训练方法为：
先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：
Figure 686839DEST_PATH_IMAGE001
；
其中，
Figure 903057DEST_PATH_IMAGE002
表示在t时刻时学生网络的权值参数，
Figure 238092DEST_PATH_IMAGE003
表示在t时刻时教师网络的权值 参数，
Figure 590576DEST_PATH_IMAGE004
表示在t-1时刻时教师网络的权值参数，
Figure 205228DEST_PATH_IMAGE005
是一个平滑系数的超参数。
优选地，脸部痤疮公开数据集为脸部痤疮公开数据集ACNE04。
优选地，步骤S3中，在采用有标签样本数据对学生网络进行有监督训练时，采用的 分级损失函数
Figure 643163DEST_PATH_IMAGE006
为：
Figure 63780DEST_PATH_IMAGE007
其中，
Figure 723300DEST_PATH_IMAGE008
表示输入的第
Figure 571170DEST_PATH_IMAGE009
张图片，
Figure 434084DEST_PATH_IMAGE010
表示第
Figure 658392DEST_PATH_IMAGE009
张图片的分级标签，
Figure 985468DEST_PATH_IMAGE011
表示控制分布的 维度的参数，被设置为1，
Figure 456770DEST_PATH_IMAGE012
表示有序分级值，其中
Figure 869296DEST_PATH_IMAGE013
，
Figure 834978DEST_PATH_IMAGE014
表示痤疮严重程度的分数总 数；
Figure 16561DEST_PATH_IMAGE015
表示实际分布概率，
Figure 399044DEST_PATH_IMAGE016
表示学生模型预测的属于
Figure 298867DEST_PATH_IMAGE012
分级的预测概 率分布；
在计算实际分布概率
Figure 864977DEST_PATH_IMAGE015
时，具体公式计算为:
Figure 838750DEST_PATH_IMAGE017
其中，
Figure 464903DEST_PATH_IMAGE011
是控制分布的维度的参数，被设置为1，
Figure 852022DEST_PATH_IMAGE012
为有序分级值，其中
Figure 408774DEST_PATH_IMAGE013
，
Figure 564949DEST_PATH_IMAGE014
表示痤疮严重程度的分数总数，
Figure 34108DEST_PATH_IMAGE010
表示第
Figure 642943DEST_PATH_IMAGE009
张图片的分级标签，
Figure 816436DEST_PATH_IMAGE018
是一个正则化参数以确保 整个部分的概率总和为1。
优选地，步骤S3中，在采用有标签样本数据对学生网络进行有监督训练时，采用的 计数损失函数
Figure 14068DEST_PATH_IMAGE019
为：
Figure 982024DEST_PATH_IMAGE020
其中，
Figure 15839DEST_PATH_IMAGE008
表示输入的第
Figure 461864DEST_PATH_IMAGE009
张图片，
Figure 779581DEST_PATH_IMAGE021
表示第
Figure 918439DEST_PATH_IMAGE009
张图片的痤疮计数标签，
Figure 501867DEST_PATH_IMAGE022
是分布的标 准差，被设置为3，
Figure 954845DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 940118DEST_PATH_IMAGE024
，
Figure 171249DEST_PATH_IMAGE025
表示痤疮总个数，
Figure 241973DEST_PATH_IMAGE026
表示
Figure 295379DEST_PATH_IMAGE008
作为 输入时学生网络输出的预测计数概率；
在计算实际计数概率
Figure 72843DEST_PATH_IMAGE027
时，具体公式计算为：
Figure 553502DEST_PATH_IMAGE028
其中，
Figure 845944DEST_PATH_IMAGE022
是分布的标准差，被设置为3，
Figure 155571DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 849858DEST_PATH_IMAGE024
，
Figure 173523DEST_PATH_IMAGE025
表示痤疮 总个数；
Figure 218839DEST_PATH_IMAGE021
表示第
Figure 614048DEST_PATH_IMAGE009
张图片的痤疮计数标签。
优选地，步骤S3中，在采用有标签样本数据对学生网络进行有监督训练时，累计分 级损失函数
Figure 349792DEST_PATH_IMAGE029
为：
Figure 437834DEST_PATH_IMAGE030
其中，
Figure 704867DEST_PATH_IMAGE008
表示输入的第
Figure 575871DEST_PATH_IMAGE009
张图片，
Figure 244750DEST_PATH_IMAGE010
表示第
Figure 503693DEST_PATH_IMAGE009
张图片的分级标签，
Figure 179394DEST_PATH_IMAGE021
表示第
Figure 181985DEST_PATH_IMAGE009
张图片的 痤疮计数标签；
Figure 705370DEST_PATH_IMAGE022
是分布的标准差，被设置为3;
Figure 72897DEST_PATH_IMAGE012
是有序分级值，其中
Figure 314523DEST_PATH_IMAGE013
，
Figure 855226DEST_PATH_IMAGE014
表示痤疮 严重程度的分数总数;
Figure 172067DEST_PATH_IMAGE031
表示属于
Figure 772812DEST_PATH_IMAGE012
分级的痤疮计算范围；
在计算实际计数概率
Figure 173838DEST_PATH_IMAGE032
时，具体计算公式为：
Figure 518232DEST_PATH_IMAGE033
其中，
Figure 16209DEST_PATH_IMAGE022
是分布的标准差，被设置为3，
Figure 974807DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 191024DEST_PATH_IMAGE024
，
Figure 73530DEST_PATH_IMAGE025
表示痤疮 总个数；
Figure 98118DEST_PATH_IMAGE021
表示第
Figure 775087DEST_PATH_IMAGE009
张图片的痤疮计数标签；
在计算累计实际分级概率
Figure 213021DEST_PATH_IMAGE034
时，具体计算公式为：
Figure 86168DEST_PATH_IMAGE035
其中，
Figure 293158DEST_PATH_IMAGE022
是分布的标准差，被设置为3;
Figure 406608DEST_PATH_IMAGE012
是有序分级值，其中
Figure 269522DEST_PATH_IMAGE013
，
Figure 493830DEST_PATH_IMAGE014
表示痤疮 严重程度的分数总数;
Figure 7857DEST_PATH_IMAGE021
表示第
Figure 292207DEST_PATH_IMAGE009
张图片的痤疮计数标签；
Figure 439155DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 670416DEST_PATH_IMAGE036
，
Figure 851999DEST_PATH_IMAGE025
表示痤疮总个数;
Figure 307251DEST_PATH_IMAGE031
表示属于
Figure 128445DEST_PATH_IMAGE012
分级的痤疮计算范围。
优选地，步骤S3中，在采用无标签样本数据对学生网络、教师网络进行半监督训练 时，采用的一致性损失函数
Figure 694556DEST_PATH_IMAGE037
为：
Figure 730645DEST_PATH_IMAGE038
其中，
Figure 294481DEST_PATH_IMAGE008
表示输入的第
Figure 416021DEST_PATH_IMAGE009
张图片，
Figure 785823DEST_PATH_IMAGE012
是有序分级值，其中
Figure 394527DEST_PATH_IMAGE013
，
Figure 191582DEST_PATH_IMAGE014
表示痤疮严重程 度的分数总数；
Figure 472522DEST_PATH_IMAGE039
表示学生网络输出的学生预测分级概率，
Figure 380435DEST_PATH_IMAGE040
表示教师网络输出的教师 预测分级概率。
优选地，步骤S3中，在采用无标签样本数据对学生网络、教师网络进行半监督训练 时，采用的特征相似度损失函数
Figure 391116DEST_PATH_IMAGE041
为：
Figure 546023DEST_PATH_IMAGE042
其中，
Figure 642155DEST_PATH_IMAGE043
代表
Figure 353759DEST_PATH_IMAGE044
正则，
Figure 422209DEST_PATH_IMAGE045
、
Figure 561067DEST_PATH_IMAGE046
分别对应学生网络和教师网络的第
Figure 878915DEST_PATH_IMAGE009
个相似度列向量，
Figure 581161DEST_PATH_IMAGE047
表示训练时从数据集
Figure 566435DEST_PATH_IMAGE048
中采样的数据，B表示计算相似度时一次采样的图片的张 数
Figure 876193DEST_PATH_IMAGE049
表示无标签数据集，
Figure 884600DEST_PATH_IMAGE050
表示有标签数据集。
一种基于半监督学习的痤疮分级***，包括：
样本数据获取模块，用于从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签；
模型搭建模块，用于搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络；
模型训练模块，用于利用样本数据获取模块中获取的面部痤疮图像样本数据以及对应的标签，输入模型搭建模块中搭建的半监督学习网络模型，完成半监督学习网络模型的训练；
实时分级模块，用于将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果；
在模型训练模块进行模型的训练时，具体的训练方法为：
先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：
Figure 938007DEST_PATH_IMAGE001
；
其中，
Figure 777787DEST_PATH_IMAGE002
表示在t时刻时学生网络的权值参数，
Figure 185678DEST_PATH_IMAGE003
表示在t时刻时教师网络的权值 参数，
Figure 743698DEST_PATH_IMAGE004
表示在t-1时刻时教师网络的权值参数，
Figure 335217DEST_PATH_IMAGE005
是一个平滑系数的超参数。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。
本发明的有益效果如下：
1、本发明中，考虑了痤疮计数特征，在标准的痤疮严重分级中，医生需要结合整图以及痤疮个数两个信息共同判断病人，但是以往的模型只用到了整图信息，忽视了痤疮计数特征，使得模型缺少必要的训练信息。这个优点是通过本方法中提到的“标签分布设计”技术实现的。
2、本发明中，采用半监督面部痤疮分级方法，优点在于在训练时不需要过多的有标签数据，可以从大量的无标签数据中自动学习特征，从而达到有标签和无标签数据之间互补；而现有的其他方法都是有监督训练的，只能使用有标签数据来训练，这些优点时由本发明提出的半监督训练框架实现的。
3、本发明中，节省标注时间，有标签数据需要医生专门标注，费时费力，在数据量大的情况下短时间很难完成标注，而我们的模型则只需要很少的一部分标签，就可以开始训练，同时能从无标签数据中自动学习。
4、本发明中，考虑到了痤疮分级标签的分布特征，以往的方法是将标签转化为one-hot形式来训练模型，会造成单一类别预测值特别大，而忽视其他分级；但痤疮分级的特点在于分级可能是一个区间而非一个固定的值，所以本发明将其转化成了分布，以适应数据的特点，这个优点是通过本方法中提到的“标签分布设计”技术实现的。
5、本发明中，充分考虑痤疮数据之间的相似性，有些痤疮在图片形式上存在相似性，但以往的模型都没有考虑到这一点，因此我们在模型中添加了这种痤疮相似度特征，以加强模型的预测性能，这个优点是通过本申请中提到的“特征一致性设计”一节的技术实现的。
附图说明
图1是本发明的流程示意图；
图2是本发明中半监督学习网络模型的结构示意图；
图3是本发明中分级映射的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例提供一种基于半监督学习的痤疮分级方法，用于对脸部痤疮进行分级。如图1所示，其包括如下步骤：
步骤S1，获取样本数据
从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签。
脸部痤疮公开数据集为脸部痤疮公开数据集ACNE04，该数据集包括1475张面部痤疮图片，且这些图片均有标签，标签包括分级标签和痤疮计数标签，分级标签标示图片中痤疮的严重程度分级，分级标签包括四个痤疮严重程度分级，痤疮计数标签为图片中痤疮的病变计数总数。
获取到上述面部痤疮图像样本数据后，对样本数据进行预处理，以适应计算机模型的输入格式。在数据预处理时，所有的样本图像统一采用3维格式（通道数×图片长×图片宽），即采用差值形式将样本图像调整成3×224×224大小。
步骤S2，搭建模型
搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络。
如图2所示，将样本数据输入教师网络、学生网络，EMA表示更新教师模型权值的方 式采取的是指数移动平均方式，且
Figure 232765DEST_PATH_IMAGE006
、
Figure 884327DEST_PATH_IMAGE019
和
Figure 116594DEST_PATH_IMAGE029
表示训练有标 签数据时采取的三种损失函数，
Figure 511803DEST_PATH_IMAGE037
和
Figure 326175DEST_PATH_IMAGE041
表示训练无标签数据时采用的两种损失 函数，图中的实线表示训练时的正向传播计算，带有数据集的虚线表示半监督训练时的一 致性训练。
步骤S3，训练模型
利用步骤S1中获取的面部痤疮图像样本数据以及对应的标签，输入步骤S2中搭建的半监督学习网络模型，完成半监督学习网络模型的训练。
具体的训练方法为：
先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：
Figure 820742DEST_PATH_IMAGE001
；
其中，
Figure 87775DEST_PATH_IMAGE002
表示在t时刻时学生网络的权值参数，
Figure 286675DEST_PATH_IMAGE003
表示在t时刻时教师网络的权值 参数，
Figure 142504DEST_PATH_IMAGE051
表示在t-1时刻时教师网络的权值参数，
Figure 135868DEST_PATH_IMAGE005
是一个平滑系数的超参数。
在进行模型训练时，针对不同的样本数据，采用不同的损失函数，即
Figure 890198DEST_PATH_IMAGE006
、
Figure 830472DEST_PATH_IMAGE019
和
Figure 353857DEST_PATH_IMAGE029
表示训练有标签数据时采取的三种损失函数，
Figure 518122DEST_PATH_IMAGE037
和
Figure 946698DEST_PATH_IMAGE041
表示训练无标签数据时采用的两种损失函数。
分级损失函数
Figure 487401DEST_PATH_IMAGE006
：用于半监督学习网络模型预测的痤疮图片的分级与 真实分级之间的差异，使得半监督学习网络模型在更新权重时能考虑到不同分级之间的差 异特征。
计数损失函数
Figure 865293DEST_PATH_IMAGE019
：用于半监督学习网络模型预测的痤疮个数与真实的痤 疮个数之间的差异，使得半监督学习网络模型在更新权重时能考虑到图片中包含的痤疮个 数信息。
累计分级损失函数
Figure 669301DEST_PATH_IMAGE029
：该函数能将痤疮个数转化为累积的分级概率，通 过计算预测的累积分级和实际的累积分级之间的差异，能使得半监督学习网络模型在更新 权重时能将痤疮个数信息与痤疮分级信息相互融合，提升性能。
特征相似度损失函数
Figure 132643DEST_PATH_IMAGE041
：该函数通过约束不同图片之间的特征相似度矩阵， 从而使得教师网络和学生网络之间学习到的信息更接近，进而增强半监督学习网络模型的 鲁棒性并降低对同一图片在不同噪声下的干扰因素。
一致性损失函数
Figure 398408DEST_PATH_IMAGE037
：该函数通过限制教师网络和学生网络之间的输出结果， 能拉进两个网络之间的预测结果的距离，使得两个网络之间的权重更为接近，并且也能通 过一致性学习让半监督学习网络模型更新权重时融入无标签数据的信息。
在采用有标签样本数据对学生网络进行有监督训练时，其采用的损失函数具体为：
采用的分级损失函数
Figure 630806DEST_PATH_IMAGE006
为：
Figure 402453DEST_PATH_IMAGE052
其中，
Figure 290775DEST_PATH_IMAGE008
表示输入的第
Figure 173280DEST_PATH_IMAGE009
张图片，
Figure 525764DEST_PATH_IMAGE010
表示第
Figure 920842DEST_PATH_IMAGE009
张图片的分级标签，
Figure 358777DEST_PATH_IMAGE011
表示控制分布的 维度的参数，被设置为1，
Figure 44973DEST_PATH_IMAGE012
表示有序分级值，其中
Figure 924067DEST_PATH_IMAGE013
，
Figure 37517DEST_PATH_IMAGE014
表示痤疮严重程度的分数总 数；
Figure 149698DEST_PATH_IMAGE015
表示实际分布概率，
Figure 374006DEST_PATH_IMAGE016
表示学生模型预测的属于
Figure 701082DEST_PATH_IMAGE012
分级的预测概 率分布；
在训练时，由于其他模型并没有将痤疮病变计数信息融入到模型的训练，因而本 实施采用高斯函数，将痤疮病变计数信息转化为分布信息并融入到模型中。在计算实际分 布概率
Figure 657537DEST_PATH_IMAGE015
时，具体公式计算为:
Figure 70064DEST_PATH_IMAGE017
其中，
Figure 98063DEST_PATH_IMAGE011
是控制分布的维度的参数，被设置为1，
Figure 466596DEST_PATH_IMAGE012
为有序分级值，其中
Figure 921848DEST_PATH_IMAGE013
，
Figure 759354DEST_PATH_IMAGE014
表示痤疮严重程度的分数总数，
Figure 325465DEST_PATH_IMAGE010
表示第
Figure 627133DEST_PATH_IMAGE009
张图片的分级标签，
Figure 168799DEST_PATH_IMAGE018
是一个正则化参数以确保 整个部分的概率总和为1。
Figure 290338DEST_PATH_IMAGE006
即为计算出的分级损失用于更新模型，为了提高学生网络和教师教 师之间预测的一致性，所提出的框架采用了一致性机制，确保样本在不同扰动下的分布尽 可能相同。在标签分布学习下的一致性损失函数
Figure 660140DEST_PATH_IMAGE037
表示为：
Figure 753998DEST_PATH_IMAGE038
其中，
Figure 551052DEST_PATH_IMAGE008
表示输入的第
Figure 612418DEST_PATH_IMAGE009
张图片，
Figure 520331DEST_PATH_IMAGE012
是有序分级值，其中
Figure 531013DEST_PATH_IMAGE013
，
Figure 171073DEST_PATH_IMAGE014
表示痤疮严重程 度的分数总数；
Figure 267205DEST_PATH_IMAGE039
表示学生网络输出的学生预测分级概率，
Figure 978809DEST_PATH_IMAGE040
表示教师网络输出的教师 预测分级概率。
采用的计数损失函数
Figure 30947DEST_PATH_IMAGE019
为：
Figure 169804DEST_PATH_IMAGE053
其中，
Figure 753233DEST_PATH_IMAGE008
表示输入的第
Figure 206211DEST_PATH_IMAGE009
张图片，
Figure 925905DEST_PATH_IMAGE021
表示第
Figure 235664DEST_PATH_IMAGE009
张图片的痤疮计数标签，
Figure 493338DEST_PATH_IMAGE022
是分布的标 准差，被设置为3，
Figure 546745DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 386525DEST_PATH_IMAGE024
，
Figure 70447DEST_PATH_IMAGE025
表示痤疮总个数，
Figure 628468DEST_PATH_IMAGE026
表示
Figure 219986DEST_PATH_IMAGE008
作为 输入时学生网络输出的预测计数概率；
即在计算实际计数概率
Figure 835644DEST_PATH_IMAGE027
时，具体公式计算为：
Figure 752784DEST_PATH_IMAGE054
其中，
Figure 532522DEST_PATH_IMAGE022
是分布的标准差，被设置为3，
Figure 865414DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 679786DEST_PATH_IMAGE024
，
Figure 954779DEST_PATH_IMAGE025
表示痤疮 总个数；
Figure 221812DEST_PATH_IMAGE055
表示第
Figure 420712DEST_PATH_IMAGE009
张图片的痤疮计数标签。
在Hayashi标准下的分级中，计数信息和分级信息之间是可以相互转化的，所以本 实施例还提出了一种累积损失以计算由分布转化后的累积分级之间的分布概率差值，这样 就可以将分级信息和痤疮病变计数信息联系起来以提升模型的性能。即累计分级损失函数
Figure 761695DEST_PATH_IMAGE029
为：
Figure 755058DEST_PATH_IMAGE030
其中，
Figure 509388DEST_PATH_IMAGE008
表示输入的第
Figure 433350DEST_PATH_IMAGE009
张图片，
Figure 956736DEST_PATH_IMAGE010
表示第
Figure 386580DEST_PATH_IMAGE009
张图片的分级标签，
Figure 565888DEST_PATH_IMAGE021
表示第
Figure 841012DEST_PATH_IMAGE009
张图片的 痤疮计数标签；
Figure 671434DEST_PATH_IMAGE022
是分布的标准差，被设置为3;
Figure 6600DEST_PATH_IMAGE012
是有序分级值，其中
Figure 735522DEST_PATH_IMAGE013
，
Figure 17598DEST_PATH_IMAGE014
表示痤疮 严重程度的分数总数;
Figure 515576DEST_PATH_IMAGE031
表示属于
Figure 214454DEST_PATH_IMAGE012
分级的痤疮计算范围；
在计算实际计数概率
Figure 165092DEST_PATH_IMAGE032
时，具体计算公式为：
Figure 47597DEST_PATH_IMAGE056
其中，
Figure 337764DEST_PATH_IMAGE022
是分布的标准差，被设置为3，
Figure 280313DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 170777DEST_PATH_IMAGE024
，
Figure 591394DEST_PATH_IMAGE025
表示痤疮 总个数；
Figure 63964DEST_PATH_IMAGE021
表示第
Figure 849517DEST_PATH_IMAGE009
张图片的痤疮计数标签；
在计算累计实际分级概率
Figure 774748DEST_PATH_IMAGE034
时，具体计算公式为：
Figure 186007DEST_PATH_IMAGE035
其中，
Figure 247503DEST_PATH_IMAGE022
是分布的标准差，被设置为3;
Figure 531854DEST_PATH_IMAGE012
是有序分级值，其中
Figure 882064DEST_PATH_IMAGE013
，
Figure 910063DEST_PATH_IMAGE014
表示痤疮 严重程度的分数总数;
Figure 91646DEST_PATH_IMAGE021
表示第
Figure 468269DEST_PATH_IMAGE009
张图片的痤疮计数标签；
Figure 368092DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 934203DEST_PATH_IMAGE036
，
Figure 439133DEST_PATH_IMAGE025
表示痤疮总个数;
Figure 799708DEST_PATH_IMAGE031
表示属于
Figure 186827DEST_PATH_IMAGE012
分级的痤疮计算范围。
通过将上述三种损失全部累加起来，就可以得到采用有标签样本数据进行半监督 训练时，使用的全部损失函数
Figure 477999DEST_PATH_IMAGE057
为：
Figure 368595DEST_PATH_IMAGE058
其中λ是一个平衡分级和计数的经验超参数，其值被设定为0.6,N表示整个数据集 中有标签的图片的个数，M表示整个数据集中无标签的图片的个数。由于有监督训练的损失 发生了调整，所以相应的在半监督训练中的一致性损失也添加了这些损失函数，所以最终 的一致性损失
Figure 165650DEST_PATH_IMAGE037
被定义为：
Figure 712169DEST_PATH_IMAGE059
式中所有参数的含义都在前述中出现过。通过在有监督训练中添加痤疮损伤计数信息，该模型能够获得更多的多维特征，从而提高预测结果。
在采用无标签样本数据对学生网络、教师网络进行半监督训练时，采用的损失函数具体包括：
采用的一致性损失函数
Figure 885661DEST_PATH_IMAGE037
为：
Figure 348872DEST_PATH_IMAGE038
其中，
Figure 316828DEST_PATH_IMAGE008
表示输入的第
Figure 412960DEST_PATH_IMAGE009
张图片，
Figure 796668DEST_PATH_IMAGE012
是有序分级值，其中
Figure 661856DEST_PATH_IMAGE013
，
Figure 800713DEST_PATH_IMAGE014
表示痤疮严重程 度的分数总数；
Figure 571092DEST_PATH_IMAGE039
表示学生网络输出的学生预测分级概率，
Figure 820808DEST_PATH_IMAGE040
表示教师网络输出的教师 预测分级概率。
采用的特征相似度损失函数
Figure 806081DEST_PATH_IMAGE041
为：
Figure 53523DEST_PATH_IMAGE042
其中，
Figure 124247DEST_PATH_IMAGE043
代表
Figure 177654DEST_PATH_IMAGE044
正则，
Figure 204385DEST_PATH_IMAGE045
、
Figure 685045DEST_PATH_IMAGE046
分别对应学生网络和教师网络的第
Figure 977486DEST_PATH_IMAGE009
个相似度列向量，
Figure 37846DEST_PATH_IMAGE047
表示训练时从数据集
Figure 732132DEST_PATH_IMAGE048
中采样的数据，B表示计算相似度时一次采样的图片的张 数
Figure 383693DEST_PATH_IMAGE049
表示无标签数据集，
Figure 367959DEST_PATH_IMAGE060
表示有标签数据集。
综上所述，在训练中所用到的所有损失函数，包括有监督训练过程中用到的分级 损失函数
Figure 763169DEST_PATH_IMAGE006
、计数损失函数
Figure 249645DEST_PATH_IMAGE019
、由计数转化为分级的累计分级损失函 数
Figure 337686DEST_PATH_IMAGE029
以及在无标签数据训练中用到的一致性损失函数
Figure 604720DEST_PATH_IMAGE037
、特征相似度损失 函数
Figure 256150DEST_PATH_IMAGE041
。于是，整个训练的总损失
Figure 659449DEST_PATH_IMAGE061
可以定义如下：
Figure 590496DEST_PATH_IMAGE062
Figure 344826DEST_PATH_IMAGE063
其中，N表示整个数据集中有标签的图片的个数，M表示整个数据集中无标签的图 片的个数,
Figure 81837DEST_PATH_IMAGE064
表示采用的数据集为有标签和无标签数据集的总和，
Figure 792173DEST_PATH_IMAGE065
和
Figure 222018DEST_PATH_IMAGE066
分别代表 有监督的损失和无监督的损失，其余参数的解释则都在前文中提到过。在训练过程中，通过 最小化
Figure 198064DEST_PATH_IMAGE067
，该网络将在训练期间捕获痤疮病变计数信息和不同痤疮图像之间的特征相似 性，使半监督学习网络模型学习的更鲁棒和更有区别的表征。
在训练时，样本数据中的每张图片均采用RGB三通道编码方式将其转化为对应的 数值，同时压缩每张图片为同一大小以适应网络输入。对于每个输入的图片
Figure 676450DEST_PATH_IMAGE068
，其输入网络 的维度为3×图片长度×图片宽度。其对应分级标签
Figure 319921DEST_PATH_IMAGE069
则介于0到分级上限之间，其对应病变 计数标签
Figure 655087DEST_PATH_IMAGE070
则介于0到最大痤疮数之间，标签值越大，代表图片的痤疮严重程度越高。此外， 在网络训练中添加了干扰噪声项，这是为了增强图片从而形成与原图不同的形式。干扰项 包括了随机裁剪、水平翻转、以及旋转图片。
此外，在整个训练过程中，由于本实施例将预测标签全部都转化为了预测分布，所以最终模型的输出也是一个分布，因此，本实施例取整个分布的峰值对应的X轴的值即为预测的分级，如图3所示。图3中，总共有四列，代表四类不同的痤疮分级；其中，0-5、5-20、20-50、50-65分别代表四种痤疮的病变计数个数范围，第一行表示输入图片对应的分级标签，横轴为计数值，纵轴P代表每一个实例的概率值。第二行表示痤疮的计数标签，横轴为严重程度分级，纵轴P代表每一个分级的预测概率。第三行则表示为示例的四个分级图片。在输入图片后，模型则会计算预测的两个分布，通过选择两个分布的最高峰值所对应的X轴的值即可得到模型预测的分级和预测的痤疮总数。
本实施例在进行训练时，还采用误差反向传播，即：对于一个输入，模型会计算出一个预测值，通过计算预测值和真实值之间的差值，则可以得到模型的预测误差，之后，模型会将该误差反向传播到整个网络权值中以更新网络参数，同时设定学习率来微调网络中每一处的权值，在本申请中，学习率被设置为0.01，整个训练过程采用Adam优化器来训练，其权值衰减权重被设置为0.0001，且参数β= (0.9, 0.999)，训练时的batch大小被设置为32，包括8张有标签的图片和24张无标签的图片。
步骤S4，实时分级
将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果。
模型测试一：
分别采用模型Baseline、模型MeanTeacher、模型SRC-MT、模型MixMatch以及本实施例的模型，测试样本数据采用公开的ACNE04数据集，测试结果具体如下：
模型名 准确率 平均均方误差 F1分数 敏感性 特异性
Baseline 0.667 0.345 0.595 0.569 0.866
MeanTeacher 0.657 0.390 0.608 0.580 0.863
SRC-MT 0.671 0.366 0.609 0.583 0.870
MixMatch 0.678 0.363 0.520 0.505 0.868
本实施例 0.705 0.311 0.722 0.889 0.613
在本次测试中，采取了10%的数据作为有标签数据、其余90%的数据都是无标签数据，五个指标的含义解释如下：
准确率：衡量模型的分级预测准确性，越高越好；
平均均方误差：衡量预测所有的所有图片的误差的总和，越低越好；
F1分数：模型精准率和召回率的调和平均，越高越好；
敏感性：诊断疾病的时候不漏诊的机会有多大，越高越好；
特异性：诊断疾病的时候不误诊的机会有多大，越高越好；
通过上表可以看出，本实施例所提出的方法和现有的方法比较，在所有的指标上都取得了最好的效果，而且和Baseline相比，本实施例通过利用大量的无标签数据，使得痤疮分级的准确率有了很大的提升。
实施例2
本实施例提供一种基于半监督学习的痤疮分级***，用于对脸部痤疮进行分级。其包括：
样本数据获取模块，用于从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签。
脸部痤疮公开数据集为脸部痤疮公开数据集ACNE04，该数据集包括1475张面部痤疮图片，且这些图片均有标签，标签包括分级标签和痤疮计数标签，分级标签标示图片中痤疮的严重程度分级，分级标签包括四个痤疮严重程度分级，痤疮计数标签为图片中痤疮的病变计数总数。
获取到上述面部痤疮图像样本数据后，对样本数据进行预处理，以适应计算机模型的输入格式。在数据预处理时，所有的样本图像统一采用3维格式（通道数×图片长×图片宽），即采用差值形式将样本图像调整成3×224×224大小。
模型搭建模块，用于搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络。
将样本数据输入教师网络、学生网络，EMA表示更新教师模型权值的方式采取的是 指数移动平均方式，且
Figure 570959DEST_PATH_IMAGE006
、
Figure 649774DEST_PATH_IMAGE019
和
Figure 147751DEST_PATH_IMAGE029
表示训练有标签数据时采 取的三种损失函数，
Figure 857081DEST_PATH_IMAGE037
和
Figure 73299DEST_PATH_IMAGE041
表示训练无标签数据时采用的两种损失函数，图中 的实线表示训练时的正向传播计算，带有数据集的虚线表示半监督训练时的一致性训练。
模型训练模块，用于利用样本数据获取模块中获取的面部痤疮图像样本数据以及对应的标签，输入模型搭建模块中搭建的半监督学习网络模型，完成半监督学习网络模型的训练。
具体的训练方法为：
先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：
Figure 955804DEST_PATH_IMAGE001
；
其中，
Figure 229660DEST_PATH_IMAGE002
表示在t时刻时学生网络的权值参数，
Figure 172208DEST_PATH_IMAGE003
表示在t时刻时教师网络的权值 参数，
Figure 547826DEST_PATH_IMAGE051
表示在t-1时刻时教师网络的权值参数，
Figure 968443DEST_PATH_IMAGE005
是一个平滑系数的超参数。
在进行模型训练时，针对不同的样本数据，采用不同的损失函数，即
Figure 441012DEST_PATH_IMAGE006
、
Figure 741413DEST_PATH_IMAGE019
和
Figure 666643DEST_PATH_IMAGE029
表示训练有标签数据时采取的三种损失函数，
Figure 890951DEST_PATH_IMAGE037
和
Figure 890131DEST_PATH_IMAGE041
表示训练无标签数据时采用的两种损失函数。
分级损失函数
Figure 174482DEST_PATH_IMAGE006
：用于半监督学习网络模型预测的痤疮图片的分级与 真实分级之间的差异，使得半监督学习网络模型在更新权重时能考虑到不同分级之间的差 异特征。
计数损失函数
Figure 587009DEST_PATH_IMAGE019
：用于半监督学习网络模型预测的痤疮个数与真实的痤 疮个数之间的差异，使得半监督学习网络模型在更新权重时能考虑到图片中包含的痤疮个 数信息。
累计分级损失函数
Figure 536379DEST_PATH_IMAGE029
：该函数能将痤疮个数转化为累积的分级概率，通 过计算预测的累积分级和实际的累积分级之间的差异，能使得半监督学习网络模型在更新 权重时能将痤疮个数信息与痤疮分级信息相互融合，提升性能。
特征相似度损失函数
Figure 717962DEST_PATH_IMAGE041
：该函数通过约束不同图片之间的特征相似度矩阵， 从而使得教师网络和学生网络之间学习到的信息更接近，进而增强半监督学习网络模型的 鲁棒性并降低对同一图片在不同噪声下的干扰因素。
一致性损失函数
Figure 173214DEST_PATH_IMAGE037
：该函数通过限制教师网络和学生网络之间的输出结果， 能拉进两个网络之间的预测结果的距离，使得两个网络之间的权重更为接近，并且也能通 过一致性学习让半监督学习网络模型更新权重时融入无标签数据的信息。
在采用有标签样本数据对学生网络进行有监督训练时，其采用的损失函数具体为：
采用的分级损失函数
Figure 10720DEST_PATH_IMAGE006
为：
Figure 576830DEST_PATH_IMAGE052
其中，
Figure 612920DEST_PATH_IMAGE008
表示输入的第
Figure 426024DEST_PATH_IMAGE009
张图片，
Figure 813143DEST_PATH_IMAGE010
表示第
Figure 120627DEST_PATH_IMAGE009
张图片的分级标签，
Figure 276802DEST_PATH_IMAGE011
表示控制分布的 维度的参数，被设置为1，
Figure 73857DEST_PATH_IMAGE012
表示有序分级值，其中
Figure 609923DEST_PATH_IMAGE013
，
Figure 783416DEST_PATH_IMAGE014
表示痤疮严重程度的分数总 数；
Figure 794097DEST_PATH_IMAGE015
表示实际分布概率，
Figure 699736DEST_PATH_IMAGE016
表示学生模型预测的属于
Figure 795868DEST_PATH_IMAGE012
分级的预测概 率分布；
在训练时，由于其他模型并没有将痤疮病变计数信息融入到模型的训练，因而本 实施采用高斯函数，将痤疮病变计数信息转化为分布信息并融入到模型中。在计算实际分 布概率
Figure 241893DEST_PATH_IMAGE015
时，具体公式计算为:
Figure 825190DEST_PATH_IMAGE017
其中，
Figure 964047DEST_PATH_IMAGE011
是控制分布的维度的参数，被设置为1，
Figure 547475DEST_PATH_IMAGE012
为有序分级值，其中
Figure 469295DEST_PATH_IMAGE013
，
Figure 454569DEST_PATH_IMAGE014
表示痤疮严重程度的分数总数，
Figure 764327DEST_PATH_IMAGE010
表示第
Figure 22002DEST_PATH_IMAGE009
张图片的分级标签，
Figure 75409DEST_PATH_IMAGE018
是一个正则化参数以确保 整个部分的概率总和为1。
Figure 852872DEST_PATH_IMAGE006
即为计算出的分级损失用于更新模型，为了提高学生网络和教师教 师之间预测的一致性，所提出的框架采用了一致性机制，确保样本在不同扰动下的分布尽 可能相同。在标签分布学习下的一致性损失函数
Figure 333532DEST_PATH_IMAGE037
表示为：
Figure 625973DEST_PATH_IMAGE038
其中，
Figure 670021DEST_PATH_IMAGE008
表示输入的第
Figure 364308DEST_PATH_IMAGE009
张图片，
Figure 15869DEST_PATH_IMAGE012
是有序分级值，其中
Figure 264448DEST_PATH_IMAGE013
，
Figure 659657DEST_PATH_IMAGE014
表示痤疮严重程 度的分数总数；
Figure 208450DEST_PATH_IMAGE039
表示学生网络输出的学生预测分级概率，
Figure 217863DEST_PATH_IMAGE040
表示教师网络输出的教师 预测分级概率。
采用的计数损失函数
Figure 484896DEST_PATH_IMAGE019
为：
Figure 418217DEST_PATH_IMAGE053
其中，
Figure 24779DEST_PATH_IMAGE008
表示输入的第
Figure 283722DEST_PATH_IMAGE009
张图片，
Figure 772472DEST_PATH_IMAGE021
表示第
Figure 227593DEST_PATH_IMAGE009
张图片的痤疮计数标签，
Figure 750978DEST_PATH_IMAGE022
是分布的标 准差，被设置为3，
Figure 587347DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 828973DEST_PATH_IMAGE024
，
Figure 369676DEST_PATH_IMAGE025
表示痤疮总个数，
Figure 934518DEST_PATH_IMAGE026
表示
Figure 535264DEST_PATH_IMAGE008
作为 输入时学生网络输出的预测计数概率；
即在计算实际计数概率
Figure 998606DEST_PATH_IMAGE027
时，具体公式计算为：
Figure 280683DEST_PATH_IMAGE054
其中，
Figure 778660DEST_PATH_IMAGE022
是分布的标准差，被设置为3，
Figure 284728DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 687896DEST_PATH_IMAGE024
，
Figure 570402DEST_PATH_IMAGE025
表示痤疮 总个数；
Figure 922886DEST_PATH_IMAGE055
表示第
Figure 803117DEST_PATH_IMAGE009
张图片的痤疮计数标签。
在Hayashi标准下的分级中，计数信息和分级信息之间是可以相互转化的，所以本 实施例还提出了一种累积损失以计算由分布转化后的累积分级之间的分布概率差值，这样 就可以将分级信息和痤疮病变计数信息联系起来以提升模型的性能。即累计分级损失函数
Figure 241051DEST_PATH_IMAGE029
为：
Figure 927248DEST_PATH_IMAGE030
其中，
Figure 49750DEST_PATH_IMAGE008
表示输入的第
Figure 163200DEST_PATH_IMAGE009
张图片，
Figure 26114DEST_PATH_IMAGE010
表示第
Figure 250422DEST_PATH_IMAGE009
张图片的分级标签，
Figure 577498DEST_PATH_IMAGE021
表示第
Figure 314378DEST_PATH_IMAGE009
张图片的 痤疮计数标签；
Figure 461326DEST_PATH_IMAGE022
是分布的标准差，被设置为3;
Figure 489325DEST_PATH_IMAGE012
是有序分级值，其中
Figure 343011DEST_PATH_IMAGE013
，
Figure 798263DEST_PATH_IMAGE014
表示痤疮 严重程度的分数总数;
Figure 698086DEST_PATH_IMAGE031
表示属于
Figure 451148DEST_PATH_IMAGE012
分级的痤疮计算范围；
在计算实际计数概率
Figure 487237DEST_PATH_IMAGE032
时，具体计算公式为：
Figure 113390DEST_PATH_IMAGE056
其中，
Figure 172613DEST_PATH_IMAGE022
是分布的标准差，被设置为3，
Figure 542414DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 698589DEST_PATH_IMAGE024
，
Figure 682595DEST_PATH_IMAGE025
表示痤疮 总个数；
Figure 291431DEST_PATH_IMAGE021
表示第
Figure 402606DEST_PATH_IMAGE009
张图片的痤疮计数标签；
在计算累计实际分级概率
Figure 413287DEST_PATH_IMAGE034
时，具体计算公式为：
Figure 302615DEST_PATH_IMAGE035
其中，
Figure 398747DEST_PATH_IMAGE022
是分布的标准差，被设置为3;
Figure 110351DEST_PATH_IMAGE012
是有序分级值，其中
Figure 178801DEST_PATH_IMAGE013
，
Figure 317658DEST_PATH_IMAGE014
表示痤疮 严重程度的分数总数;
Figure 88037DEST_PATH_IMAGE021
表示第
Figure 603332DEST_PATH_IMAGE009
张图片的痤疮计数标签；
Figure 588606DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 570468DEST_PATH_IMAGE036
，
Figure 375613DEST_PATH_IMAGE025
表示痤疮总个数;
Figure 429020DEST_PATH_IMAGE031
表示属于
Figure 455750DEST_PATH_IMAGE012
分级的痤疮计算范围。
通过将上述三种损失全部累加起来，就可以得到采用有标签样本数据进行半监督 训练时，使用的全部损失函数
Figure 936410DEST_PATH_IMAGE071
为：
Figure 494431DEST_PATH_IMAGE072
其中λ是一个平衡分级和计数的经验超参数，其值被设定为0.6,N表示整个数据集 中有标签的图片的个数，M表示整个数据集中无标签的图片的个数。由于有监督训练的损失 发生了调整，所以相应的在半监督训练中的一致性损失也添加了这些损失函数，所以最终 的一致性损失
Figure 23632DEST_PATH_IMAGE037
被定义为：
Figure 983498DEST_PATH_IMAGE073
式中所有参数的含义都在前述中出现过。通过在有监督训练中添加痤疮损伤计数信息，该模型能够获得更多的多维特征，从而提高预测结果。
在采用无标签样本数据对学生网络、教师网络进行半监督训练时，采用的损失函数具体包括：
采用的一致性损失函数
Figure 635059DEST_PATH_IMAGE037
为：
Figure 601747DEST_PATH_IMAGE038
其中，
Figure 996956DEST_PATH_IMAGE008
表示输入的第
Figure 811328DEST_PATH_IMAGE009
张图片，
Figure 837053DEST_PATH_IMAGE012
是有序分级值，其中
Figure 104086DEST_PATH_IMAGE013
，
Figure 302987DEST_PATH_IMAGE014
表示痤疮严重程 度的分数总数；
Figure 899096DEST_PATH_IMAGE039
表示学生网络输出的学生预测分级概率，
Figure 892460DEST_PATH_IMAGE040
表示教师网络输出的教师 预测分级概率。
采用的特征相似度损失函数
Figure 646789DEST_PATH_IMAGE041
为：
Figure 587064DEST_PATH_IMAGE042
其中，
Figure 110449DEST_PATH_IMAGE043
代表
Figure 727244DEST_PATH_IMAGE044
正则，
Figure 968869DEST_PATH_IMAGE045
、
Figure 509572DEST_PATH_IMAGE046
分别对应学生网络和教师网络的第
Figure 559568DEST_PATH_IMAGE009
个相似度列向量，
Figure 160313DEST_PATH_IMAGE047
表示训练时从数据集
Figure 623656DEST_PATH_IMAGE048
中采样的数据，B表示计算相似度时一次采样的图片的张 数
Figure 155000DEST_PATH_IMAGE049
表示无标签数据集，
Figure 387398DEST_PATH_IMAGE060
表示有标签数据集。
综上所述，在训练中所用到的所有损失函数，包括有监督训练过程中用到的分级 损失函数
Figure 159045DEST_PATH_IMAGE006
、计数损失函数
Figure 47367DEST_PATH_IMAGE019
、由计数转化为分级的累计分级损失函 数
Figure 929872DEST_PATH_IMAGE029
以及在无标签数据训练中用到的一致性损失函数
Figure 282356DEST_PATH_IMAGE037
、特征相似度损失 函数
Figure 411855DEST_PATH_IMAGE041
。于是，整个训练的总损失
Figure 849789DEST_PATH_IMAGE061
可以定义如下：
Figure 535986DEST_PATH_IMAGE074
Figure 946238DEST_PATH_IMAGE075
其中，N表示整个数据集中有标签的图片的个数，M表示整个数据集中无标签的图 片的个数,
Figure 59688DEST_PATH_IMAGE076
表示采用的数据集为有标签和无标签数据集的总和，
Figure 906290DEST_PATH_IMAGE077
和
Figure 130598DEST_PATH_IMAGE078
分别代表 有监督的损失和无监督的损失，其余参数的解释则都在前文中提到过。在训练过程中，通过 最小化
Figure 395357DEST_PATH_IMAGE079
，该网络将在训练期间捕获痤疮病变计数信息和不同痤疮图像之间的特征相似 性，使半监督学习网络模型学习的更鲁棒和更有区别的表征。
在训练时，样本数据中的每张图片均采用RGB三通道编码方式将其转化为对应的 数值，同时压缩每张图片为同一大小以适应网络输入。对于每个输入的图片
Figure 414129DEST_PATH_IMAGE068
，其输入网络 的维度为3×图片长度×图片宽度。其对应分级标签
Figure 826656DEST_PATH_IMAGE069
则介于0到分级上限之间，其对应病变 计数标签
Figure 307184DEST_PATH_IMAGE070
则介于0到最大痤疮数之间，标签值越大，代表图片的痤疮严重程度越高。此外， 在网络训练中添加了干扰噪声项，这是为了增强图片从而形成与原图不同的形式。干扰项 包括了随机裁剪、水平翻转、以及旋转图片。
此外，在整个训练过程中，由于本实施例将预测标签全部都转化为了预测分布，所以最终模型的输出也是一个分布，因此，本实施例取整个分布的峰值对应的X轴的值即为预测的分级，如图3所示。图3中，总共有四列，代表四类不同的痤疮分级；其中，0-5、5-20、20-50、50-65分别代表四种痤疮的病变计数个数范围，第一行表示输入图片对应的分级标签，横轴为计数值，纵轴P代表每一个实例的概率值。第二行表示痤疮的计数标签，横轴为严重程度分级，纵轴P代表每一个分级的预测概率。第三行则表示为示例的四个分级图片。在输入图片后，模型则会计算预测的两个分布，通过选择两个分布的最高峰值所对应的X轴的值即可得到模型预测的分级和预测的痤疮总数。
本实施例在进行训练时，还采用误差反向传播，即：对于一个输入，模型会计算出一个预测值，通过计算预测值和真实值之间的差值，则可以得到模型的预测误差，之后，模型会将该误差反向传播到整个网络权值中以更新网络参数，同时设定学习率来微调网络中每一处的权值，在本申请中，学习率被设置为0.01，整个训练过程采用Adam优化器来训练，其权值衰减权重被设置为0.0001，且参数β= (0.9, 0.999)，训练时的batch大小被设置为32，包括8张有标签的图片和24张无标签的图片。
实时分级模块，用于将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果。
实施例3
本实施例还公开了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述的基于半监督学习的痤疮分级方法的步骤。
其中，所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，所述存储器也可以是所述计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，所述存储器还可以既包括所述计算机设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器常用于存储安装于所述计算机设备的操作***和各类应用软件，例如所述基于半监督学习的痤疮分级方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述计算机设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行上述的基于半监督学习的痤疮分级方法的程序代码。
实施例4
本实施例还公开了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述的基于半监督学习的痤疮分级方法的步骤。
其中，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于半监督学习的痤疮分级方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。
如上即为本申请的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述申请的验证过程，并非用以限制本申请的专利保护范围，本申请的专利保护范围仍然以其权利要求书为准，凡是运用本申请的说明书及附图内容所作的等同结构变化，同理均应包含在本申请的保护范围内。

Claims (10)

1.一种基于半监督学习的痤疮分级方法，其特征在于，包括如下步骤：
步骤S1，获取样本数据
从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签；
步骤S2，搭建模型
搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络；
步骤S3，训练模型
利用步骤S1中获取的面部痤疮图像样本数据以及对应的标签，输入步骤S2中搭建的半监督学习网络模型，完成半监督学习网络模型的训练；
步骤S4，实时分级
将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果；
在步骤S3进行模型的训练时，具体的训练方法为：
先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：
Figure 653557DEST_PATH_IMAGE001
；
其中，
Figure 365161DEST_PATH_IMAGE002
表示在t时刻时学生网络的权值参数，
Figure 230349DEST_PATH_IMAGE003
表示在t时刻时教师网络的权值参数，
Figure 556157DEST_PATH_IMAGE004
表示在t-1时刻时教师网络的权值参数，
Figure 139585DEST_PATH_IMAGE005
是一个平滑系数的超参数。
2.如权利要求1所述的一种基于半监督学习的痤疮分级方法，其特征在于：脸部痤疮公开数据集为脸部痤疮公开数据集ACNE04。
3.如权利要求1所述的一种基于半监督学习的痤疮分级方法，其特征在于：步骤S3中， 在采用有标签样本数据对学生网络进行有监督训练时，采用的分级损失函数
Figure 654880DEST_PATH_IMAGE006
为：
Figure 577837DEST_PATH_IMAGE007
其中，
Figure 887595DEST_PATH_IMAGE008
表示输入的第
Figure 958319DEST_PATH_IMAGE009
张图片，
Figure 933098DEST_PATH_IMAGE010
表示第
Figure 772878DEST_PATH_IMAGE009
张图片的分级标签，
Figure 253538DEST_PATH_IMAGE011
表示控制分布的维度 的参数，被设置为1，
Figure 749241DEST_PATH_IMAGE012
表示有序分级值，其中
Figure 340759DEST_PATH_IMAGE013
，
Figure 35046DEST_PATH_IMAGE014
表示痤疮严重程度的分数总数；
Figure 404716DEST_PATH_IMAGE015
表示实际分布概率，
Figure 184453DEST_PATH_IMAGE016
表示学生模型预测的属于
Figure 251766DEST_PATH_IMAGE012
分级的预测概率分 布；
在计算实际分布概率
Figure 66139DEST_PATH_IMAGE015
时，具体公式计算为:
Figure 888601DEST_PATH_IMAGE017
其中，
Figure 342585DEST_PATH_IMAGE011
是控制分布的维度的参数，被设置为1，
Figure 541485DEST_PATH_IMAGE012
为有序分级值，其中
Figure 210364DEST_PATH_IMAGE013
，
Figure 141411DEST_PATH_IMAGE014
表示 痤疮严重程度的分数总数，
Figure 895740DEST_PATH_IMAGE010
表示第
Figure 632752DEST_PATH_IMAGE009
张图片的分级标签，
Figure 343088DEST_PATH_IMAGE018
是一个正则化参数以确保实际 分级概率的总和为1。
4.如权利要求1所述的一种基于半监督学习的痤疮分级方法，其特征在于：步骤S3中， 在采用有标签样本数据对学生网络进行有监督训练时，采用的计数损失函数
Figure 772932DEST_PATH_IMAGE019
为：
Figure 14558DEST_PATH_IMAGE020
其中，
Figure 492944DEST_PATH_IMAGE008
表示输入的第
Figure 136415DEST_PATH_IMAGE009
张图片，
Figure 471581DEST_PATH_IMAGE021
表示第
Figure 127734DEST_PATH_IMAGE009
张图片的痤疮计数标签，
Figure 206548DEST_PATH_IMAGE022
是分布的标准差， 被设置为3，
Figure 704525DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 413855DEST_PATH_IMAGE024
，
Figure 364494DEST_PATH_IMAGE025
表示痤疮总个数，
Figure 246999DEST_PATH_IMAGE026
表示
Figure 52013DEST_PATH_IMAGE008
作为输入 时学生网络输出的预测计数概率；
在计算实际计数概率
Figure 994561DEST_PATH_IMAGE027
时，具体公式计算为：
Figure 432496DEST_PATH_IMAGE028
其中，
Figure 525217DEST_PATH_IMAGE022
是分布的标准差，被设置为3，
Figure 997786DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 111236DEST_PATH_IMAGE029
，
Figure 223417DEST_PATH_IMAGE025
表示痤疮总个 数；
Figure 447725DEST_PATH_IMAGE021
表示第
Figure 446905DEST_PATH_IMAGE009
张图片的痤疮计数标签。
5.如权利要求4所述的一种基于半监督学习的痤疮分级方法，其特征在于：步骤S3中， 在采用有标签样本数据对学生网络进行有监督训练时，累计分级损失函数
Figure 731256DEST_PATH_IMAGE030
为：
Figure 330734DEST_PATH_IMAGE031
其中，
Figure 358732DEST_PATH_IMAGE008
表示输入的第
Figure 540315DEST_PATH_IMAGE009
张图片，
Figure 933250DEST_PATH_IMAGE010
表示第
Figure 833073DEST_PATH_IMAGE009
张图片的分级标签，
Figure 320555DEST_PATH_IMAGE021
表示第
Figure 622224DEST_PATH_IMAGE009
张图片的痤疮 计数标签；
Figure 920481DEST_PATH_IMAGE022
是分布的标准差，被设置为3;
Figure 307600DEST_PATH_IMAGE012
是有序分级值，其中
Figure 677401DEST_PATH_IMAGE013
，
Figure 20527DEST_PATH_IMAGE014
表示痤疮严 重程度的分数总数;
Figure 817582DEST_PATH_IMAGE032
表示属于
Figure 98521DEST_PATH_IMAGE012
分级的痤疮计算范围；
在计算累计实际分级概率
Figure 272014DEST_PATH_IMAGE033
时，具体计算公式为：
Figure 282695DEST_PATH_IMAGE034
其中，
Figure 437602DEST_PATH_IMAGE022
是分布的标准差，被设置为3;
Figure 533734DEST_PATH_IMAGE012
是有序分级值，其中
Figure 245338DEST_PATH_IMAGE013
，
Figure 48209DEST_PATH_IMAGE014
表示痤疮严 重程度的分数总数;
Figure 187066DEST_PATH_IMAGE021
表示第
Figure 770494DEST_PATH_IMAGE009
张图片的痤疮计数标签；
Figure 207160DEST_PATH_IMAGE023
是痤疮病变的数量，
Figure 192434DEST_PATH_IMAGE029
，
Figure 502193DEST_PATH_IMAGE025
表 示痤疮总个数;
Figure 776179DEST_PATH_IMAGE032
表示属于
Figure 829586DEST_PATH_IMAGE012
分级的痤疮计算范围。
6.如权利要求1所述的一种基于半监督学习的痤疮分级方法，其特征在于：步骤S3中， 在采用无标签样本数据对学生网络、教师网络进行半监督训练时，采用的一致性损失函数
Figure 669366DEST_PATH_IMAGE035
为：
Figure 901475DEST_PATH_IMAGE036
其中，
Figure 193916DEST_PATH_IMAGE008
表示输入的第
Figure 51014DEST_PATH_IMAGE009
张图片，
Figure 682984DEST_PATH_IMAGE012
是有序分级值，其中
Figure 334545DEST_PATH_IMAGE013
，
Figure 379861DEST_PATH_IMAGE014
表示痤疮严重程度的 分数总数；
Figure 227600DEST_PATH_IMAGE037
表示学生网络输出的学生预测分级概率，
Figure 776393DEST_PATH_IMAGE038
表示教师网络输出的教师预测 分级概率。
7.如权利要求1所述的一种基于半监督学习的痤疮分级方法，其特征在于：步骤S3中， 在采用无标签样本数据对学生网络、教师网络进行半监督训练时，采用的特征相似度损失 函数
Figure 864435DEST_PATH_IMAGE039
为：
Figure 803572DEST_PATH_IMAGE040
其中，
Figure 2472DEST_PATH_IMAGE041
代表
Figure 405772DEST_PATH_IMAGE042
正则，
Figure 851666DEST_PATH_IMAGE043
、
Figure 605995DEST_PATH_IMAGE044
分别对应学生网络和教师网络的第
Figure 343007DEST_PATH_IMAGE009
个相似度列向量，
Figure 804075DEST_PATH_IMAGE045
表 示训练时从数据集
Figure 233920DEST_PATH_IMAGE046
中采样的数据，B表示计算相似度时一次采样的图片的张数，
Figure 209966DEST_PATH_IMAGE047
表示无标签数据集，
Figure 937619DEST_PATH_IMAGE048
表示有标签数据集。
8.一种基于半监督学习的痤疮分级***，其特征在于，包括：
样本数据获取模块，用于从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签；
模型搭建模块，用于搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络；
模型训练模块，用于利用样本数据获取模块中获取的面部痤疮图像样本数据以及对应的标签，输入模型搭建模块中搭建的半监督学习网络模型，完成半监督学习网络模型的训练；
实时分级模块，用于将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果；
在模型训练模块进行模型的训练时，具体的训练方法为：
先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：
Figure 581090DEST_PATH_IMAGE001
；
其中，
Figure 916257DEST_PATH_IMAGE002
表示在t时刻时学生网络的权值参数，
Figure 848440DEST_PATH_IMAGE003
表示在t时刻时教师网络的权值参数，
Figure 927255DEST_PATH_IMAGE004
表示在t-1时刻时教师网络的权值参数，
Figure 425232DEST_PATH_IMAGE005
是一个平滑系数的超参数。
9.一种计算机设备，其特征在于：包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于：存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
CN202211386719.4A 2022-11-07 2022-11-07 基于半监督学习的痤疮分级方法、***、设备及存储介质 Active CN115440346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211386719.4A CN115440346B (zh) 2022-11-07 2022-11-07 基于半监督学习的痤疮分级方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211386719.4A CN115440346B (zh) 2022-11-07 2022-11-07 基于半监督学习的痤疮分级方法、***、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115440346A CN115440346A (zh) 2022-12-06
CN115440346B true CN115440346B (zh) 2023-02-24

Family

ID=84252639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211386719.4A Active CN115440346B (zh) 2022-11-07 2022-11-07 基于半监督学习的痤疮分级方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115440346B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596916A (zh) * 2023-06-09 2023-08-15 北京百度网讯科技有限公司 缺陷检测模型的训练和缺陷检测方法及其装置
CN116935388B (zh) * 2023-09-18 2023-11-21 四川大学 一种皮肤痤疮图像辅助标注方法与***、分级方法与***
CN117649683B (zh) * 2024-01-30 2024-04-09 深圳市宗匠科技有限公司 一种痤疮分级方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108597604A (zh) * 2018-05-11 2018-09-28 广西大学 一种基于云数据库的色素障碍性皮肤病分类专家***
CN113159227A (zh) * 2021-05-18 2021-07-23 中国医学科学院皮肤病医院(中国医学科学院皮肤病研究所) 一种基于神经网络的痤疮图像识别方法、***和装置
CN114972930A (zh) * 2022-08-02 2022-08-30 四川大学 面部图像的皮损标注方法、***、计算机设备和存储介质
CN115035068A (zh) * 2022-06-15 2022-09-09 杭州电子科技大学 一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107835692B (zh) * 2015-04-13 2022-08-02 普梭梅根公司 用于皮肤***状况的微生物组来源的表征、诊断和治疗的方法及***
US10052026B1 (en) * 2017-03-06 2018-08-21 Bao Tran Smart mirror
US20190292577A1 (en) * 2018-03-26 2019-09-26 Prodermiq, Inc. Compositions and method for the treatment of acne

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108597604A (zh) * 2018-05-11 2018-09-28 广西大学 一种基于云数据库的色素障碍性皮肤病分类专家***
CN113159227A (zh) * 2021-05-18 2021-07-23 中国医学科学院皮肤病医院(中国医学科学院皮肤病研究所) 一种基于神经网络的痤疮图像识别方法、***和装置
CN115035068A (zh) * 2022-06-15 2022-09-09 杭州电子科技大学 一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法
CN114972930A (zh) * 2022-08-02 2022-08-30 四川大学 面部图像的皮损标注方法、***、计算机设备和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Acne Detection with Deep Neural Networks;Kuladech Rashataprucksa 等;《2020 2nd International Conference on Image Processing and Machine Vision》;20201125;第53-56页 *
Joint Acne Image Grading and Counting via Label Distribution Learning;Xiaoping Wu 等;《2019 IEEE/CVF International Conference on Computer Vision》;20191001;第10642-10651页 *
人脸图像中毛孔的检测及定量评价研究;冯相辉;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20200215(第02期);第E075-4页 *
深度学*** 等;《中国医药》;20180408;第13卷(第4期);第606-608页 *
玫瑰痤疮发病机制和治疗的最新进展;杜丹 等;《中国美容医学》;20160615;第25卷(第6期);第112-115页 *

Also Published As

Publication number Publication date
CN115440346A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN115440346B (zh) 基于半监督学习的痤疮分级方法、***、设备及存储介质
CN113421652B (zh) 对医疗数据进行分析的方法、训练模型的方法及分析仪
CN110969626B (zh) 基于3d神经网络的人脑核磁共振影像的海马体提取方法
JP6725547B2 (ja) 人工ニューラルネットワークの関連性スコア割当て
CN110490239B (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
CN110490242B (zh) 图像分类网络的训练方法、眼底图像分类方法及相关设备
CN110660484B (zh) 骨龄预测方法、装置、介质及电子设备
CN102422324B (zh) 年龄估计设备和方法
CN113077434B (zh) 基于多模态信息的肺癌识别方法、装置及存储介质
CN113094509B (zh) 文本信息提取方法、***、设备及介质
CN111626994A (zh) 基于改进U-Net神经网络的设备故障缺陷诊断方法
Ghosh et al. Automated detection and classification of pavement distresses using 3D pavement surface images and deep learning
CN113094476A (zh) 基于自然语言处理风险预警方法、***、设备及介质
CN112150298A (zh) 数据处理方法、***、设备及可读介质
Zhang et al. QA-USTNet: yarn-dyed fabric defect detection via U-shaped swin transformer network based on quadtree attention
CN117036834B (zh) 基于人工智能的数据分类方法、装置及电子设备
Wang et al. Automatic measurement of fetal head circumference using a novel GCN-assisted deep convolutional network
Xu et al. A novel image edge smoothing method based on convolutional neural network
CN116228759B (zh) 肾细胞癌类型的计算机辅助诊断***及设备
CN113435469A (zh) 一种基于深度学习的肾肿瘤增强ct图像自动识别***及其训练方法
JP2020123329A (ja) 人工ニューラルネットワークの関連性スコア割当て
CN116433970A (zh) 甲状腺结节分类方法、***、智能终端及存储介质
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和***
Ji et al. Blog text quality assessment using a 3D CNN-based statistical framework
CN111582404B (zh) 内容分类方法、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant