CN116740714A - 一种基于无监督学习的髋关节疾病智能自标注方法及装置 - Google Patents

一种基于无监督学习的髋关节疾病智能自标注方法及装置 Download PDF

Info

Publication number
CN116740714A
CN116740714A CN202310693176.9A CN202310693176A CN116740714A CN 116740714 A CN116740714 A CN 116740714A CN 202310693176 A CN202310693176 A CN 202310693176A CN 116740714 A CN116740714 A CN 116740714A
Authority
CN
China
Prior art keywords
model
image set
feature extraction
hip joint
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310693176.9A
Other languages
English (en)
Other versions
CN116740714B (zh
Inventor
张逸凌
刘星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longwood Valley Medtech Co Ltd
Original Assignee
Longwood Valley Medtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longwood Valley Medtech Co Ltd filed Critical Longwood Valley Medtech Co Ltd
Priority to CN202310693176.9A priority Critical patent/CN116740714B/zh
Publication of CN116740714A publication Critical patent/CN116740714A/zh
Application granted granted Critical
Publication of CN116740714B publication Critical patent/CN116740714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于无监督学习的髋关节疾病智能自标注方法及装置，所述方法包括：将待标注图像集输入关节检测模型，得到所述关节检测模型输出的髋关节图像集；将所述髋关节图像集输入特征提取模型，得到图像特征信息集；将所述图像特征信息集输入分类模型，得到每个图像特征信息的类别并标注；所述关节检测模型、所述特征提取模型是基于所述第一样本图像集进行粗训练并基于第二样本图像集进行微调后得到的，所述分类模型是基于所述第二样本图像集进行微调后得到的。本申请中，通过使用相互结合的关节检测模型、特征提取模型和分类模型，实现了对于待标注图像的疾病种类进行自动化标注。

Description

一种基于无监督学习的髋关节疾病智能自标注方法及装置
技术领域
本申请涉及医疗器械技术领域，具体而言，涉及一种基于无监督学习的髋关节疾病智能自标注方法及装置。
背景技术
目前对于髋关节病变的发现方式主要是依靠X光的形式实现，即患者通过拍摄X光片，并由影像科医生进行阅片给出诊断的建议。但是随着中国老龄化程度的发展，以及影像科医生的缺乏，导致髋关节病变的人工诊断方式越来越难以满足需求。
目前越来越多的研究者开始使用深度学习的方法进行髋关节疾病的诊断，但是深度训练可以达到预期效果的前提是有好的标注，现有人工标注的方式很难满足对标注质量和标注速度的要求。
发明内容
本申请解决的问题是很难解决当前标注方式无法满足深度训练对髋关节疾病标注要求的问题。
为解决上述问题，本申请第一方面提供了一种基于无监督学习的髋关节疾病智能自标注方法，包括：
将待标注图像集输入关节检测模型，得到所述关节检测模型输出的髋关节图像集；
将所述髋关节图像集输入特征提取模型，得到图像特征信息集，所述特征提取模型由Swin Transformer模型构建；
将所述图像特征信息集输入分类模型，得到每个图像特征信息的类别并标注；
所述关节检测模型、所述特征提取模型是基于所述第一样本图像集进行粗训练并基于第二样本图像集进行微调后得到的，所述分类模型是基于所述第二样本图像集进行微调后得到的，所述第一样本图像集具有标注的髋关节区域信息和掩码信息，所述第二样本图像集具有标注的疾病种类信息。
进一步地，所述将待标注图像集输入关节检测模型，得到所述关节检测模型输出的髋关节图像集之前，还包括：
获取所述第一样本图像集，所述第一样本图像集包括多个第一样本图像，每个所述第一样本图像具有标注的髋关节区域和与该髋关节区域对应的掩码MASK；
根据所述第一样本图像集对所述关节检测模型进行训练，得到粗训练后的所述关节检测模型；
从所述第一样本图像集中截取所述第一样本图像标注髋关节区域；
根据截取的髋关节区域和对应的掩码MASK对所述特征提取模型进行粗训练，得到粗训练后的特征提取模型；
根据所述第二样本图像集对所述分类模型、粗训练后的所述关节检测模型和所述特征提取模型进行同步微调，得到微调后的所述关节检测模型、所述特征提取模型和所述分类模型。
进一步地，所述分类模型为K-均值模型，所述根据所述第二样本图像集对所述分类模型、粗训练后的所述关节检测模型和所述特征提取模型进行同步微调，得到微调后的所述关节检测模型、所述特征提取模型和所述分类模型，包括：
获取所述第二样本图像集，所述第二样本图像集包括多个第二样本图像，每个所述第二样本图像具有标注的疾病种类；
统计所述第二样本图像集标注的疾病种类，根据所述疾病种类确定所述分类模型的K值；
将所述第二样本图像集输入粗训练后的所述关节检测模型，得到与所述第二样本图像集对应的第二髋关节图像集；
将所述第二髋关节图像集输入粗训练后的所述特征提取模型，得到与所述第二髋关节图像集对应的第二图像特征信息集；
将所述第二图像特征信息集输入所述分类模型，基于所述K值将所述第二图像特征信息分为K个类别；
确定K个类别与标注的疾病种类的对应关系；
根据所述第二样本图像对应的类别以及标注的疾病种类，计算整体损失函数；
根据所述整体损失函数对所述分类模型的初始聚类中心、所述关节检测模型、所述特征提取模型进行迭代，直至所述整体损失函数收敛为止。
进一步地，所述分类模型为K-均值模型，所述根据所述第二样本图像集对所述分类模型、粗训练后的所述关节检测模型和所述特征提取模型进行同步微调，得到微调后的所述关节检测模型、所述特征提取模型和所述分类模型，还包括：
保存最后一次迭代后的初始聚类中心以及该初始聚类中心与疾病种类的对应关系，并将该初始聚类中心作为微调后的所述分类模型的初始聚类中心。
进一步地，所述确定K个类别与标注的疾病种类的对应关系，包括：
分别统计K个类别的所述第一样本图像标注的疾病种类的数量和在该类别中占据的疾病比例；
对同一疾病种类在K个类别的数量及占据的疾病比例分别进行排序；
若存在一个疾病种类在一个类别的数量排序和疾病比例排序均为第一，则建立该疾病种类与该类别的对应关系；
若存在一个疾病种类在一个类别的数量大于该疾病种类的总数量的第一阈值比例，则建立该疾病种类与该类别的对应关系，所述第一阈值比例大于50％；
若存在一个疾病种类在一个类别的疾病比例大于第二阈值比例，则建立该疾病种类与该类别的对应关系，所述第二阈值比例大于50％；
在K个类别未全部建立与不同疾病种类的一一对应关系的情况下，重新执行所述将所述第二图像特征信息集输入所述分类模型，基于所述K值将所述第二图像特征信息分为K个类别步骤；
在K个类别分别建立与不同疾病种类的一一对应关系的情况下，确认该对应关系。
进一步地，所述整体损失函数的计算公式为：
其中，xi为第二样本图像对应的类别值，yi为第二样本图像标注的疾病种类值，i为第二样本图像的序号，n为第二样本图像的总数量。
进一步地，所述特征提取模型包括线性嵌入层、第一重塑层、偶数个SwinTransformer模块和第二重塑层；
所述线性嵌入层改变输入的图像数据的维度；
所述第一重塑层改变所述图像数据的通道数；
多个所述Swin Transformer模块对所述图像数据进行特征提取，得到特征信息；
所述第二重塑层重新排列所述特征提取模型的输出，得到所述图像特征信息。
本申请第二方面提供了一种基于无监督学习的髋关节疾病智能自标注装置，其包括：
关节检测模块，其用于将待标注图像集输入关节检测模型，得到所述关节检测模型输出的髋关节图像集；
特征提取模块，其用于将所述髋关节图像集输入特征提取模型，得到图像特征信息集，所述特征提取模型由Swin Transformer模型构建；
类别标注模块，其用于将所述图像特征信息集输入分类模型，得到每个图像特征信息的类别并标注；
所述关节检测模型、所述特征提取模型是基于所述第一样本图像集进行粗训练并基于第二样本图像集进行微调后得到的，所述分类模型是基于所述第二样本图像集进行微调后得到的，所述第一样本图像集具有标注的髋关节区域信息和掩码信息，所述第二样本图像集具有标注的疾病种类信息。
本申请第三方面提供了一种电子设备，其包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
将待标注图像集输入关节检测模型，得到所述关节检测模型输出的髋关节图像集；
将所述髋关节图像集输入特征提取模型，得到图像特征信息集，所述特征提取模型由Swin Transformer模型构建；
将所述图像特征信息集输入分类模型，得到每个图像特征信息的类别并标注；
所述关节检测模型、所述特征提取模型是基于所述第一样本图像集进行粗训练并基于第二样本图像集进行微调后得到的，所述分类模型是基于所述第二样本图像集进行微调后得到的，所述第一样本图像集具有标注的髋关节区域信息和掩码信息，所述第二样本图像集具有标注的疾病种类信息。
本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述所述的基于无监督学习的髋关节疾病智能自标注方法。
本申请中，通过使用相互结合的关节检测模型、特征提取模型和分类模型，实现了对于待标注图像的疾病种类进行自动化标注。一方面，通过批量化标注大大提高了疾病种类标注的速度和数量，另一方面，通过批量标注统一了标注规则，从而避免了相同图像经由不同人工标注不同的情况。
本申请中，基于第一样本图像集对特征提取模型进行粗训练，从而使得特征提取模型“理解”第一样本图像集，以提高特征提取模型输出的图像特征信息与第一样本图像集实质上的对应性。
本申请中，通过相同的第一样本图像集分别对关节检测模型、特征提取模型进行粗训练，通过复用训练样本的方式，增加粗训练的关节检测模型、特征提取模型之间的同调性能和兼容性。
附图说明
图1为根据本申请实施例的髋关节疾病智能自标注方法的流程图；
图2为根据本申请实施例的髋关节疾病智能自标注方法的模型架构图；
图3为根据本申请实施例的髋关节疾病智能自标注方法模型训练的流程图；
图4为根据本申请实施例的髋关节疾病智能自标注方法模型微调的流程图；
图5为根据本申请实施例的髋关节疾病智能自标注方法连续Swin Transformer模块的架构图；
图6为根据本申请实施例的髋关节疾病智能自标注装置的结构框图；
图7为根据本申请实施例的电子设备的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
髋关节的疾病给病人带来了很多的烦恼，在髋关节疾病形成之前，在髋关节的位置通常会出现一些形态的变化，如果能够在疾病的早期发现这些病变，并作为疾病的早期信号对疾病进行早期的预防和干预，则可以为病人带来极大的益处。
目前对于髋关节病变的发现方式主要是依靠X光的形式实现，即患者通过拍摄X光片，并由影像科医生进行阅片给出诊断的建议。但是随着中国老龄化程度的发展，以及影像科医生的缺乏，导致影像科医生长期处于高强度的工作压力下。这种状态，一方面不利于影像科医生的健康；另一方面，由于疲劳状态下的工作，也容易产生错误诊断的情况。
基于此，越来越多的研究者开始使用深度学习的方法进行髋关节疾病的诊断，但是深度训练可以达到预期效果的前提是有好的标注，但是现有人工标注的方式很难满足对标注质量和标注速度的要求。
针对上述问题，本申请提供一种新的基于无监督学习的髋关节疾病智能自标注方案，能够将Swin Transformer模型与分类模型联动进行髋关节疾病的智能自标注，解决当前标注方式无法满足深度训练对髋关节疾病标注要求的问题。
为了便于理解，在此对下述可能使用的术语进行解释：
端到端学习：(End-To-End Learning)，也称端到端训练，是指在学习过程中不进行分模块或分阶段训练，直接优化任务的总体目标。
MSA模块：标准多头自注意力模块；
W-MSA：基于非重叠局部窗口的多头自注意力模块；
SW-MSA：基于移位窗口的多头自注意力模块。
K-均值：K-MEANS算法是一种聚类算法，同时也是一种无监督的算法，即在训练模型时并不需要标签，其主要目的是通过循环迭代，将样本数据分成K类。
YOLO模型：(You Only Look Once)YOLO是一种目标检测算法，它在单个神经网络中同时完成对象检测和分类的任务。
Retina模型：是一个One-Stage密集预测模型，由Backbone和两个执行特定任务的自网络构成的一个整体模型。
本申请实施例提供了一种基于无监督学习的髋关节疾病智能自标注方法，该方法的具体方案由图1-图7所示，该方法可以由基于无监督学习的髋关节疾病智能自标注装置来执行，该基于无监督学习的髋关节疾病智能自标注装置可以集成在电脑、服务器、计算机、服务器集群、数据中心等电子设备中。结合图1、图2所示，其为根据本申请一个实施例的基于无监督学习的髋关节疾病智能自标注方法的流程图；其中，所述基于无监督学习的髋关节疾病智能自标注方法，包括：
S201，将待标注图像集输入关节检测模型，得到所述关节检测模型输出的髋关节图像集；
本申请中，待标注图像集为多个待标注图像组成的集合；本步骤中将待标注图像集中的每个待标注图像独立输入关节检测模型，得到对应的髋关节图像，这些髋关节图像组成髋关节图像集。
本申请中，所述待标注图像为包含髋关节的医学图像，基于该医学图像可以判断出髋关节状态。医学图像例如包括：X线片、电子计算机断层扫描(Computed Tomography，CT)图像、磁共振(Magnetic Resonance Imaging，MRI)图像，或者上述多个图像的合成图像等。
本申请中，待标注图像集中的待标注图像与髋关节图像集中的髋关节图像数量相同，且具有一一对应关系。
S202，将所述髋关节图像集输入特征提取模型，得到图像特征信息集，所述特征提取模型由Swin Transformer模型构建；
本步骤中将髋关节图像集中的每个髋关节图像独立输入特征提取模型，得到对应的图像特征信息，这些图像特征信息组成图像特征信息集。
本申请中，髋关节图像集中的髋关节图像与图像特征信息集中的图像特征信息数量相同，且具有一一对应关系。
需要说明的是，本申请中，预训练/粗训练后的关节检测模型、特征提取模型和分类模型是一体化模型，其中待标注图像集中的每个待标注图像独立输入关节检测模型，髋关节图像集中的每个髋关节图像独立输入特征提取模型，但图像特征信息集中的所有图像特征信息为同时输入分类模型，以进行分类。
S203，将所述图像特征信息集输入分类模型，得到每个图像特征信息的类别并标注；
所述关节检测模型、所述特征提取模型是基于所述第一样本图像集进行粗训练并基于第二样本图像集进行微调后得到的，所述分类模型是基于所述第二样本图像集进行微调后得到的，所述第一样本图像集具有标注的髋关节区域信息和掩码信息，所述第二样本图像集具有标注的疾病种类信息。
本申请中，分类模型为无监督学习模型，从而可以基于图像本身的特征进行分类，避免人工干扰。
本申请中，第一样本图像集为多个第一样本图像组成的集合；第二样本图像集为多个第二样本图像组成的集合；所述第一样本图像和所述第二样本图像用于指示任意对象的髋关节部位。其中，对象用于指示患者，第一样本图像、第二样本图像可以是对患者进行扫描获取的医学图像。
本申请中，第一样本图像、第二样本图像、待标注图像为相同类型的图像，其具体可以是全身像、半身像、局部人体图像等，只要包含髋关节部位的图像即可；其中不同之处在于，第一样本图像具有对应圈出的髋关节区域以及该髋关节区域对应的掩码信息，从而作为样本对关节检测模型、所述特征提取模型进行粗训练，第二样本图像具有对应的疾病种类信息，从而作为样本微调关节检测模型、所述特征提取模型和分类模型。
本申请中，基于第一样本图像集对特征提取模型进行粗训练，从而使得特征提取模型“理解”第一样本图像集，以提高特征提取模型输出的图像特征信息与第一样本图像集实质上的对应性。
需要说明的是，人工标注的过程中，由于X-ray图像本身存在“同影异症”，“同症异影”以及标注人员水平差异的问题，导致标注的规则难以统一，容易出现相同图像但标注不同的情况，严重干扰了深度学习的准确性。
本申请中，通过使用相互结合的关节检测模型、特征提取模型和分类模型，实现了对于待标注图像的疾病种类进行自动化标注。一方面，通过批量化标注大大提高了疾病种类标注的速度和数量，另一方面，通过批量标注统一了标注规则，从而避免了相同图像经由不同人工标注不同的情况。
本申请中，通过将相互结合的关节检测模型、特征提取模型和分类模型设置为一体化模型进行同步微调，实现了端到端的训练，避免了分散训练造成的复杂度增加和兼容性问题；在降低模型复杂度的同时，也降低了模型的推理时间，并且可以自动进行智能标注。
结合图3所示，在一种实施方式中，所述S201，将待标注图像集输入关节检测模型，得到所述关节检测模型输出的髋关节图像集之前，还包括：
S101，获取所述第一样本图像集，所述第一样本图像集包括多个第一样本图像，每个所述第一样本图像具有标注的髋关节区域和与该髋关节区域对应的掩码MASK；
其中，所述第一样本图像及标注的髋关节区域用于训练关节检测模型，标注的髋关节区域为监督信号。
其中，第一样本图像上标注的髋关节区域和与该髋关节区域对应的掩码MASK用于训练特征提取模型，髋关节区域和对应的掩码MASK既作为输入数据，也作为监督信号。
需要说明的是，特征提取模型的训练数据仅需要是髋关节图像及对应的掩码MASK，并非限定为第一样本图像中截取的髋关节区域，本申请中使用第一样本图像中截取的髋关节区域，是为了达到复用样本的效果，以提高训练的协调性以及减少样本数据的搜集。
S102，根据所述第一样本图像集对所述关节检测模型进行训练，得到粗训练后的所述关节检测模型；
S103，从所述第一样本图像集中截取所述第一样本图像标注髋关节区域；
S104，根据截取的髋关节区域和对应的掩码MASK对所述特征提取模型进行粗训练，得到粗训练后的特征提取模型；
本申请中，复用第一样本图像，直接将第一样本图像作为样本独立对关节检测模型和特征提取模型进行粗训练，从而避免了联动粗训练造成的错误传播，误差递增的后果。
S105，根据所述第二样本图像集对所述分类模型、粗训练后的所述关节检测模型和所述特征提取模型进行同步微调，得到微调后的所述关节检测模型、所述特征提取模型和所述分类模型。
本申请中，对所述分类模型、关节检测模型和所述特征提取模型进行同步微调，即是将分类模型、关节检测模型和所述特征提取模型作为相互结合为一体的模型直接进行训练，由于关节检测模型和所述特征提取模型已经进行了粗训练，因此该训练只需要进行微调即可。该微调过程中，所述第二样本图像集中的第二样本图像作为输入数据，标注的疾病种类信息作为一体化模型的监督信号。
本申请中，通过相同的第一样本图像集分别对关节检测模型、特征提取模型进行粗训练，通过复用训练样本的方式，增加粗训练的关节检测模型、特征提取模型之间的同调性能和兼容性。
本申请中，通过独立粗训练后联动微调的方式，从而在实现髋关节图像标注的端到端训练和推理的基础上，限制了错误传播的范围，从而保证整体损失的顺利收敛。
在一种实施方式中，所述S104，根据截取的髋关节区域和对应的掩码MASK对所述特征提取模型进行粗训练，得到粗训练后的特征提取模型，包括：
对所述髋关节区域进行Patch分割；
根据分割后的所述髋关节区域和所述掩码MASK，确定掩码样本图像；
将所述掩码样本图像输入所述特征提取模型，得到掩码图像编码；
将分割后的所述髋关节区域输入所述特征提取模型，得到样本图像编码；
以所述掩码图像编码为查询向量，对应的所述样本图像编码为正样本向量，其余组的所述样本图像编码为负样本向量，计算所述特征提取模型的整体损失；
根据所述整体损失调整所述特征提取模型，直至所述整体损失收敛为止。
本申请中，可以将所述髋关节区域(髋关节图像)分成固定大小的Patch序列，利用多头注意力对Patch序列建模上下文关系。
本申请中，也可以以可变形的方式分割图像为Patch。通过这种方式(如Deformable Patch模块(DPT))，可以在一个Patch中更好地保留语义，减少固定Patch分割造成的语义破坏。
需要说明的是，掩码MASK是在Patch的基础上完成的，因此在进行固定大小或可变大小分割所述髋关节区域时，分割后的所述髋关节区域与掩码MASK仍然需要具有对应关系。
本申请中，所述掩码MASK用于将分割后的所述髋关节区域中的部分Patch遮挡，从而形成零输入的Patch。
其中，掩码样本图像即是根据掩码MASK将分割后的所述髋关节区域进行对应遮挡后的图像，该图像中被掩蔽的Patch扔保留对应位置，仅调整其对应的像素值。
其中，图像是具有大量空间冗余的自然信号，这与作为人类生成的具有高度语义和信息密集度的信号的语言存在很大的不同，直接通过具有Swin Transformer模型的特征提取模型进行图像编码，很难清晰获取图像中的精确语义信息。
本申请中，通过掩码MASK掩蔽图像中的部分内容后进行训练，从而使得特征提取模型可以从剩余图像中提取语义信息对掩蔽的信息进行补充，达到特征提取模型“理解”图像的效果。
在一种实施方式中，每组所述髋关节区域对应的掩码MASK各不相同。这样，通过打乱掩码MASK，提高粗训练的难度，从而避免特征提取模型提取的语义信息中与掩码MASK高度相关的内容，达到更好的训练效果。
需要说明的是，图像具有大量空间冗余，基于该性质可以从相邻的块中恢复丢失的块，但是这种恢复是基于相邻块进行的，无需对图像的语义信息进行理解；这使得训练后的特征提取模型对局部、对象和场景的高级理解很少。
在一种实施方式中，掩码MASK为随机生成，从而增加图像恢复的难度，使得特征提取模型无法基于相邻的块直接恢复，从而提高特征提取模型对图像的高级理解。
在一种实施方式中，所述掩码MASK的掩蔽率大于50％。
其中，所述掩蔽率是指掩码MASK中被掩蔽的Patch块占据图像总的Patch块的比例。掩码MASK的掩蔽率大于50％，即是分割后的所述髋关节区域的一半以上被掩蔽。
这样，通过高掩蔽率，使得特征提取模型无法基于相邻的块直接恢复，从而提高特征提取模型对图像的高级理解。另外，高掩蔽率一方面优化了特征提取模型对图像的理解，另一方面特征提取模型训练过程中无需提取掩蔽的Patch的特征，从而大大降低了需要处理的数据(只需处理未掩蔽的部分)，这可以使得粗训练的时间减少1倍或更多，且减少内存消耗，使得可以将特征提取模型应用或扩展到大型模型。
需要说明的是，掩码图像编码、样本图像编码为相同格式的编码。
在一种实施方式中，样本图像编码包含所述髋关节区域所有Patch的图像信息，掩码图像编码包含与所述髋关节区域所有Patch对应的图像信息。
其中，样本图像编码包含所述髋关节区域所有Patch的图像信息，是指样本图像编码由被划分后的完整的所述髋关节区域输入所述特征提取模型得到的；掩码图像编码包含与所述髋关节区域所有Patch对应的图像信息，是指掩码图像编码由被划分后的所述髋关节区域与掩码MASK结合后输入所述特征提取模型得到的，其中的被掩蔽Patch仍然被保留，而非删除。
本申请中，通过保留被掩蔽Patch，从而使得提取的特征与掩蔽图像和未掩蔽图像均具有对应关系，避免删除被掩蔽Patch造成的提取特征与掩蔽图像不对应的情况。
在一种实施方式中，所述特征提取模型的整体损失的计算公式为：
式中，q为查询向量，k为正样本向量，ki为负样本向量，sim(q,k)为查询向量与正样本向量的相似度，sim(q,ki)为查询向量与负样本向量的相似度，τ为温度参数。
其中，相似度的计算，温度参数的确定可以根据实际情况进行，在此不再赘述。
本申请中，将真正的所述髋关节区域作为正样本，将特征提取模型对被掩蔽的所述髋关节区域的输出作为查询样本，其他组的所述髋关节区域(也可以包括其他组的掩蔽的所述髋关节区域)作为负样本，通过训练拉近查询样本与正样本的距离，拉大与负样本的距离。
本申请中，通过粗训练对特征提取模型进行自监督学习，以使特征提取模型理解髋关节图像信息；然后将粗训练的特征提取模型与分类模型、关节检测模型进行微调，实现模型的一体化；一方面可以节省模型训练的时间占用和资源占用，另一方面还可以提高特征提取模型对髋关节图像信息的理解能力和解析能力，从而达到更好的训练效果。
本申请中，具有高掩蔽率的随机采样掩码MASK在很大程度上消除了冗余，从而创建无法通过从可见相邻补丁外推来轻松解决的任务，达到更好的特征提取模型的训练效果。
结合图4所示，在一种实施方式中，所述分类模型为K-均值模型，所述S105，根据所述第二样本图像集对所述分类模型、粗训练后的所述关节检测模型和所述特征提取模型进行同步微调，得到微调后的所述关节检测模型、所述特征提取模型和所述分类模型，包括：
S501，获取所述第二样本图像集，所述第二样本图像集包括多个第二样本图像，每个所述第二样本图像具有标注的疾病种类；
需要说明的是，为了达到更好的微调效果，第二样本图像应当包含所有种类的髋关节疾病，且每种疾病的第二样本图像均超出一定数量。
S502，统计所述第二样本图像集标注的疾病种类，根据所述疾病种类确定所述分类模型的K值；
本申请中，第二样本图像标注的疾病种类的分类等级相同，也即是任意两两疾病种类之间为相互独立的，不具有重叠关系，不具有包含及被包含关系。
其中，所述重叠关系即是同一样本图像即可以被确诊为疾病A，也可以被确认为疾病B；所述包含关系即为疾病A为上位疾病，包含疾病B和疾病C。
本步骤中，将疾病种类的数量作为分类模型的K值，从而达到一一对应关系。
S503，将所述第二样本图像集输入粗训练后的所述关节检测模型，得到与所述第二样本图像集对应的第二髋关节图像集；
其中，每个第二样本图像输入粗训练后的关节检测模型，得到对应的第二髋关节图像；这些第二髋关节图像组成第二髋关节图像集。
S504，将所述第二髋关节图像集输入粗训练后的所述特征提取模型，得到与所述第二髋关节图像集对应的第二图像特征信息集；
其中，每个第二髋关节图像输入粗训练后的所述特征提取模型，得到对应的第二图像特征信息，这些第二图像特征信息组成第二图像特征信息集。
需要说明的是，通过分类模型对图像进行分类，由于图像本身具有很高的冗余度，因此使得图像转换的编码信息维度过高，需要先进行降维再输入分类模型进行分类。一般采用PCA(主成分分析)算法(该算法用于将高维度的特征转换为低维度的特征)实现降维。但是在具体实践中，PCA算法降维后的编码信息与图像本身的对应性很差，干扰了分析模型的分类效果。
本申请中，设置特征提取模型，通过特征提取的方式实现在提取图像特征的同时进行降维，从而保留编码信息与图像的高度对应性，提高分类模型的分类的准确性。
本申请中，通过特征提取模型处理第二髋关节图像，具体可以是通过第二重塑层进行降维处理，也可以是通过添加全连接层的方式，将特征提取模型输出的编码信息降维后输入分类模型中。
具体执行过程中，第二样本图像、第一样本图像可以为512×512格式的图片，通过关节检测模型截取到64×64的髋关节图像，并通过特征提取模型(以及全连接层)提取到100×1维的图像特征信息，作为分类模型进行分类的输入数据。
S505，将所述第二图像特征信息集输入所述分类模型，基于所述K值将所述第二图像特征信息分为K个类别；
本申请中，所述分类模型为K-MEANS分类模型，在确定K值之后，通过分类模型将所述第二图像特征信息分为K个类别。
S506，确定K个类别与标注的疾病种类的对应关系；
其中，标注的疾病种类有K种，通过分类模型将第二图像特征信息集分为K个类别；本步骤中，确定K种疾病种类与K个类别的一一对应关系。
S507，根据所述第二样本图像对应的类别以及标注的疾病种类，计算整体损失函数；
在一种实施方式中，所述整体损失函数的计算公式为：
其中，xi为第二样本图像对应的类别值，yi为第二样本图像标注的疾病种类值，i为第二样本图像的序号，n为第二样本图像的总数量。
需要说明的是，该损失函数是将预测值与实际值之间的差异的绝对值作为损失值。它衡量的是预测值与实际值之间的绝对差距，即使是小的差异也会对损失产生影响，因此该损失函数对异常值相对不敏感。
本申请中，该损失函数对异常值不敏感的特性，降低异常的第二样本图像对分类过程的影响。
S508，根据所述整体损失函数对所述分类模型的初始聚类中心、所述关节检测模型、所述特征提取模型进行迭代，直至所述整体损失函数收敛为止。
在一种实施方式中，所述S105，根据所述第二样本图像集对所述分类模型、粗训练后的所述关节检测模型和所述特征提取模型进行同步微调，得到微调后的所述关节检测模型、所述特征提取模型和所述分类模型，还包括：
保存最后一次迭代后的初始聚类中心以及该初始聚类中心与疾病种类的对应关系，并将该初始聚类中心作为微调后的所述分类模型的初始聚类中心。
需要说明的是，分类模型为无监督学习模型，但是这种无监督学习模型可以通过迭代的方式得到局部最优解，但是该分类模型对初始聚类中心敏感，也即是分类模型对相同的第二样本图像集进行分类时，选取不同的初始聚类中心，其分类结果也不相同。
本申请中，保存最后一次迭代后的初始聚类中心作为微调后的所述分类模型的初始聚类中心，即是在实际使用过程(步骤S203)中，分类模型进行分类时使用保留的初始聚类中心，不再是随机选取初始聚类中心。
需要说明的是，分类模型对图像特征信息集进行分类的过程中，依然会对初始聚类中心进行迭代，但该迭代的时聚类中心，而并非初始聚类中心。
本申请中，保存初始聚类中心与疾病种类的对应关系，则通过初始聚类中心至聚类中心的迭代过程，确定分类后的K个类别与疾病种类的对应关系，从而在分类模型将图像特征信息集分成K个类别的同时确定每个类别的疾病种类，也即是得到每个图像特征信息的类别并标注(疾病类别)。
本申请中，将分类模型与关节检测模型、特征提取模型设置为一体化模型，通过微调的方式将第二样本图像的疾病类别作为监督，保留最后一次迭代的初始聚类中心；通过对初始聚类中心的固定，从而保留微调的效果，降低了一体化模型对初始聚类中心的敏感性，避免出现对相同图像的分类结果不同的情况。
在一种实施方式中，所述S506，确定K个类别与标注的疾病种类的对应关系，包括：
分别统计K个类别的所述第一样本图像标注的疾病种类的数量和在该类别中占据的疾病比例；
对同一疾病种类在K个类别的数量及占据的疾病比例分别进行排序；
若存在一个疾病种类在一个类别的数量排序和疾病比例排序均为第一，则建立该疾病种类与该类别的对应关系；
若存在一个疾病种类在一个类别的数量大于该疾病种类的总数量的第一阈值比例，则建立该疾病种类与该类别的对应关系，所述第一阈值比例大于50％；
若存在一个疾病种类在一个类别的疾病比例大于第二阈值比例，则建立该疾病种类与该类别的对应关系，所述第二阈值比例大于50％；
在K个类别未全部建立与不同疾病种类的一一对应关系的情况下，重新执行所述S505，将所述第二图像特征信息集输入所述分类模型，基于所述K值将所述第二图像特征信息分为K个类别步骤；
在K个类别分别建立与不同疾病种类的一一对应关系的情况下，确认该对应关系。
本申请中，分别统计K个类别的所述第一样本图像标注的疾病种类的数量和在该类别中占据的疾病比例，即是统计每个类别中的每个疾病类别的数量和每个疾病类别的疾病比例。
本申请中，一个疾病种类在一个类别的数量大于该疾病种类的总数量的第一阈值比例(第一阈值比例大于50％)，意味着该疾病种类大部分被划分至该类别，因此建立对应关系。
本申请中，一个疾病种类在一个类别的疾病比例大于第二阈值比例(第二阈值比例大于50％)，意味着该类别内的第一样本图像大部分标注为该疾病种类，因此建立对应关系。
例如，分类后类别K中包含100个第一样本图像，该第一样本图像标注的疾病种类共有5种，分别为疾病A，疾病B，疾病C，疾病D，疾病E；对应类别K中的每个疾病类别的数量分别为30，29，21，15，5，对应类别K中的每个疾病类别的疾病比例依次为30％，29％，21％，15％，5％；对疾病B在K个类别的数量及占据的疾病比例分别进行排序后发现：疾病B总数量32个，在类别K中的数量为29个，疾病比例为29％，在类别J中的数量为3个，疾病比例为4％，则疾病B与类别K建立对应关系；对疾病A在K个类别的数量及占据的疾病比例分别进行排序后发现：疾病A总数量300个，在类别K中的数量为30个，疾病比例为30％，在类别G中的数量为270个(疾病A总数量的90％，大于第一阈值比例)，疾病比例为25％，则疾病A与类别G建立对应关系；对疾病E在K个类别的数量及占据的疾病比例分别进行排序后发现：疾病E总数量30个，在类别K中的数量为5个，疾病比例为5％，在类别F中的数量为12个，疾病比例为89％，则疾病E与类别F建立对应关系。
这样，可以通过计算机实现类别与标注的疾病种类的自对应，从而达到智能自标注的效果。
在一种实施方式中，所述根据所述第一样本图像集对所述关节检测模型进行训练，得到粗训练后的所述关节检测模型中，所述关键检测模型可以为YOLO检测模型或者Retina检测模型，以检测图片中的髋关节区域。
YOLO模型的粗训练过程是基于交叉熵损失函数的反向传播。对于每个边界框，损失函数包括位置误差、置信度误差和类别误差。YOLO模型算法通过反向传播更新神经网络模型的参数，提高目标检测的准确率。
Retina模型的粗训练过程是基于焦点损失函数的反向传播。Retina模型主要为了解决前景背景类别不平衡问题，其通过焦点损失函数，降低简单样本的损失的权重，使网络关注困难样本的训练。
本申请中，YOLO模型的粗训练过程以及Retina模型的粗训练过程可以参考现有YOLO模型和Retina模型，本申请对其具体结构及具体粗训练过程不再赘述。
结合图2所示，在一种实施方式中，所述特征提取模型包括线性嵌入层、第一重塑层、偶数个Swin Transformer模块和第二重塑层；
所述线性嵌入层改变输入的图像数据的维度；
所述第一重塑层改变所述图像数据的通道数；
多个所述Swin Transformer模块对所述图像数据进行特征提取，得到特征信息；
所述第二重塑层重新排列所述特征提取模型的输出，得到所述图像特征信息。
本申请中，所述线性嵌入层为图2中Linear Embedding层，其将输入向量的维度转换成预设的维度值即Swin Transformer模块能够接收的维度值；所述第一重塑层为图2中Swin Transformer模块前的Reshape层，用于将指定的矩阵变换成特定维数的矩阵，且矩阵中元素个数不变，其可以重新调整矩阵的行数、列数、维数，本申请中用于调整输入向量的通道数，以将输入向量的通道数转换成预设的通道数即Swin Transformer模块能够接收的通道数；多个所述Swin Transformer模块为图2中Swin Transformer Block×N层，用于对输入的图像数据进行特征提取，已提取图像特性，得到特征信息/特征图；所述第二重塑层为图2中Swin Transformer模块后的Reshape层，用于重塑特征提取模型的输出，以得到图像特征信息，该图像特征信息为可以输入GPT模型的对应格式信息。
本申请中，Swin Transformer模块为偶数个，两个相邻的Swin Transformer模块的结构相似且构成组合，与其余的两个Swin Transformer模块的组合的结构完全相同。
结合图5所示，在一种实施方式中，所述Swin Transformer模块包括：MLP模块和基于位移窗口的MSA模块，所述MSA模块和所述MLP模块前均具有归一化层，且所述MSA模块和所述MLP模块后均具有残差连接。
其中，图5中为两个连续的Swin Transformer Block的架构图，可以看出，两个Swin Transformer Block的架构相似，但MSA模块并不相同，其中前一Swin TransformerBlock为W-MSA模块，后一Swin Transformer Block为SW-MSA模块，其余部分保持相同。
其中，MLP模块为接一个夹有Gelu非线性在中间的2层MLP模块，图中Layernorm(LN)层为所述归一化层。
本申请Swin Transformer模块中，W-MSA模块在非重叠的局部窗口中计算自注意力，取代全局自注意力；以不重叠的方式均匀地划分图像得到各个窗口，W-MSA模块具有线性复杂度，与具有二次复杂度的MSA模块相比，大大降低了计算复杂度。
基于窗口的自注意力模块(W-MSA)虽将计算复杂度从二次降为线性，但跨窗口之间交流与联系的匮乏将限制其建模表征能力；因此通过移位窗口引入夸窗口的联系，且同时保持非重叠窗口的计算效率；该引入在连续Swin Transformer Blocks中的两种分区配置间交替。
本申请中，通过循环向左上方移位，在这种移位后，批窗口可由特征图中不相邻的子窗口组成，因此使用屏蔽机制将(Masked MSA)自注意计算限制在每个子窗口内，具体为：先正常计算自注意力，再进行Mask操作将不需要的注意力图置0，从而将自注意力计算限制在各子窗口内。
本申请实施例提供了一种基于无监督学习的髋关节疾病智能自标注装置，用于执行本申请上述内容所述的基于无监督学习的髋关节疾病智能自标注方法，以下对所述基于无监督学习的髋关节疾病智能自标注装置进行详细描述。
如图6所示，所述基于无监督学习的髋关节疾病智能自标注装置，包括：
关节检测模块101，其用于将待标注图像集输入关节检测模型，得到所述关节检测模型输出的髋关节图像集；
特征提取模块102，其用于将所述髋关节图像集输入特征提取模型，得到图像特征信息集，所述特征提取模型由Swin Transformer模型构建；
类别标注模块103，其用于将所述图像特征信息集输入分类模型，得到每个图像特征信息的类别并标注；
所述关节检测模型、所述特征提取模型是基于所述第一样本图像集进行粗训练并基于第二样本图像集进行微调后得到的，所述分类模型是基于所述第二样本图像集进行微调后得到的，所述第一样本图像集具有标注的髋关节区域信息和掩码信息，所述第二样本图像集具有标注的疾病种类信息。
本申请的上述实施例提供的基于无监督学习的髋关节疾病智能自标注装置与本申请实施例提供的基于无监督学习的髋关节疾病智能自标注方法具有对应关系，因此该装置中的具体内容与髋关节疾病智能自标注方法具有对应关系，具体内容可以参照髋关节疾病智能自标注方法中的记录，本申请中对此不再赘述。
本申请的上述实施例提供的基于无监督学习的髋关节疾病智能自标注装置与本申请实施例提供的基于无监督学习的髋关节疾病智能自标注方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
以上描述了基于无监督学习的髋关节疾病智能自标注装置的内部功能和结构，如图7所示，实际中，该基于无监督学习的髋关节疾病智能自标注装置可实现为电子设备，包括：存储器301及处理器303。
存储器301，可被配置为存储程序。
另外，存储器301，还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器303，耦合至存储器301，用于执行存储器301中的程序，以用于：
将待标注图像集输入关节检测模型，得到所述关节检测模型输出的髋关节图像集；
将所述髋关节图像集输入特征提取模型，得到图像特征信息集，所述特征提取模型由Swin Transformer模型构建；
将所述图像特征信息集输入分类模型，得到每个图像特征信息的类别并标注；
所述关节检测模型、所述特征提取模型是基于所述第一样本图像集进行粗训练并基于第二样本图像集进行微调后得到的，所述分类模型是基于所述第二样本图像集进行微调后得到的，所述第一样本图像集具有标注的髋关节区域信息和掩码信息，所述第二样本图像集具有标注的疾病种类信息。
本申请中，处理器还具体用于执行上述基于无监督学习的髋关节疾病智能自标注方法的所有流程及步骤，具体内容可参照髋关节疾病智能自标注方法中的记录，本申请中对此不再赘述。
本申请中，图7中仅示意性给出部分组件，并不意味着电子设备只包括图7所示组件。
本实施例提供的电子设备，与本申请实施例提供的基于无监督学习的髋关节疾病智能自标注方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(Flash RAM)。内存是计算机可读介质的示例。
本申请还提供一种与前述实施方式所提供的基于无监督学习的髋关节疾病智能自标注方法对应的计算机可读存储介质，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于无监督学习的髋关节疾病智能自标注方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(Transitory Media)，如调制的数据信号和载波。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于无监督学习的髋关节疾病智能自标注方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是，在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于无监督学习的髋关节疾病智能自标注方法，其特征在于，包括：
将待标注图像集输入关节检测模型，得到所述关节检测模型输出的髋关节图像集；
将所述髋关节图像集输入特征提取模型，得到图像特征信息集，所述特征提取模型由Swin Transformer模型构建；
将所述图像特征信息集输入分类模型，得到每个图像特征信息的类别并标注；
所述关节检测模型、所述特征提取模型是基于所述第一样本图像集进行粗训练并基于第二样本图像集进行微调后得到的，所述分类模型是基于所述第二样本图像集进行微调后得到的，所述第一样本图像集具有标注的髋关节区域信息和掩码信息，所述第二样本图像集具有标注的疾病种类信息。
2.根据权利要求1所述的髋关节疾病智能自标注方法，其特征在于，所述将待标注图像集输入关节检测模型，得到所述关节检测模型输出的髋关节图像集之前，还包括：
获取所述第一样本图像集，所述第一样本图像集包括多个第一样本图像，每个所述第一样本图像具有标注的髋关节区域和与该髋关节区域对应的掩码MASK；
根据所述第一样本图像集对所述关节检测模型进行训练，得到粗训练后的所述关节检测模型；
从所述第一样本图像集中截取所述第一样本图像标注髋关节区域；
根据截取的髋关节区域和对应的掩码MASK对所述特征提取模型进行粗训练，得到粗训练后的特征提取模型；
根据所述第二样本图像集对所述分类模型、粗训练后的所述关节检测模型和所述特征提取模型进行同步微调，得到微调后的所述关节检测模型、所述特征提取模型和所述分类模型。
3.根据权利要求2所述的髋关节疾病智能自标注方法，其特征在于，所述分类模型为K-均值模型，所述根据所述第二样本图像集对所述分类模型、粗训练后的所述关节检测模型和所述特征提取模型进行同步微调，得到微调后的所述关节检测模型、所述特征提取模型和所述分类模型，包括：
获取所述第二样本图像集，所述第二样本图像集包括多个第二样本图像，每个所述第二样本图像具有标注的疾病种类；
统计所述第二样本图像集标注的疾病种类，根据所述疾病种类确定所述分类模型的K值；
将所述第二样本图像集输入粗训练后的所述关节检测模型，得到与所述第二样本图像集对应的第二髋关节图像集；
将所述第二髋关节图像集输入粗训练后的所述特征提取模型，得到与所述第二髋关节图像集对应的第二图像特征信息集；
将所述第二图像特征信息集输入所述分类模型，基于所述K值将所述第二图像特征信息分为K个类别；
确定K个类别与标注的疾病种类的对应关系；
根据所述第二样本图像对应的类别以及标注的疾病种类，计算整体损失函数；
根据所述整体损失函数对所述分类模型的初始聚类中心、所述关节检测模型、所述特征提取模型进行迭代，直至所述整体损失函数收敛为止。
4.根据权利要求3所述的髋关节疾病智能自标注方法，其特征在于，所述分类模型为K-均值模型，所述根据所述第二样本图像集对所述分类模型、粗训练后的所述关节检测模型和所述特征提取模型进行同步微调，得到微调后的所述关节检测模型、所述特征提取模型和所述分类模型，还包括：
保存最后一次迭代后的初始聚类中心以及该初始聚类中心与疾病种类的对应关系，并将该初始聚类中心作为微调后的所述分类模型的初始聚类中心。
5.根据权利要求3所述的髋关节疾病智能自标注方法，其特征在于，所述确定K个类别与标注的疾病种类的对应关系，包括：
分别统计K个类别的所述第一样本图像标注的疾病种类的数量和在该类别中占据的疾病比例；
对同一疾病种类在K个类别的数量及占据的疾病比例分别进行排序；
若存在一个疾病种类在一个类别的数量排序和疾病比例排序均为第一，则建立该疾病种类与该类别的对应关系；
若存在一个疾病种类在一个类别的数量大于该疾病种类的总数量的第一阈值比例，则建立该疾病种类与该类别的对应关系，所述第一阈值比例大于50％；
若存在一个疾病种类在一个类别的疾病比例大于第二阈值比例，则建立该疾病种类与该类别的对应关系，所述第二阈值比例大于50％；
在K个类别未全部建立与不同疾病种类的一一对应关系的情况下，重新执行所述将所述第二图像特征信息集输入所述分类模型，基于所述K值将所述第二图像特征信息分为K个类别步骤；
在K个类别分别建立与不同疾病种类的一一对应关系的情况下，确认该对应关系。
6.根据权利要求3所述的髋关节疾病智能自标注方法，其特征在于，所述整体损失函数的计算公式为：
其中，xi为第二样本图像对应的类别值，yi为第二样本图像标注的疾病种类值，i为第二样本图像的序号，n为第二样本图像的总数量。
7.根据权利要求1-3中任一项所述的髋关节疾病智能自标注方法，其特征在于，所述特征提取模型包括线性嵌入层、第一重塑层、偶数个Swin Transformer模块和第二重塑层；
所述线性嵌入层改变输入的图像数据的维度；
所述第一重塑层改变所述图像数据的通道数；
多个所述Swin Transformer模块对所述图像数据进行特征提取，得到特征信息；
所述第二重塑层重新排列所述特征提取模型的输出，得到所述图像特征信息。
8.一种基于无监督学习的髋关节疾病智能自标注装置，其特征在于，包括：
关节检测模块，其用于将待标注图像集输入关节检测模型，得到所述关节检测模型输出的髋关节图像集；
特征提取模块，其用于将所述髋关节图像集输入特征提取模型，得到图像特征信息集，所述特征提取模型由Swin Transformer模型构建；
类别标注模块，其用于将所述图像特征信息集输入分类模型，得到每个图像特征信息的类别并标注；
所述关节检测模型、所述特征提取模型是基于所述第一样本图像集进行粗训练并基于第二样本图像集进行微调后得到的，所述分类模型是基于所述第二样本图像集进行微调后得到的，所述第一样本图像集具有标注的髋关节区域信息和掩码信息，所述第二样本图像集具有标注的疾病种类信息。
9.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
将待标注图像集输入关节检测模型，得到所述关节检测模型输出的髋关节图像集；
将所述髋关节图像集输入特征提取模型，得到图像特征信息集，所述特征提取模型由Swin Transformer模型构建；
将所述图像特征信息集输入分类模型，得到每个图像特征信息的类别并标注；
所述关节检测模型、所述特征提取模型是基于所述第一样本图像集进行粗训练并基于第二样本图像集进行微调后得到的，所述分类模型是基于所述第二样本图像集进行微调后得到的，所述第一样本图像集具有标注的髋关节区域信息和掩码信息，所述第二样本图像集具有标注的疾病种类信息。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现权利要求1-7任一项所述的基于无监督学习的髋关节疾病智能自标注方法。
CN202310693176.9A 2023-06-12 2023-06-12 一种基于无监督学习的髋关节疾病智能自标注方法及装置 Active CN116740714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310693176.9A CN116740714B (zh) 2023-06-12 2023-06-12 一种基于无监督学习的髋关节疾病智能自标注方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310693176.9A CN116740714B (zh) 2023-06-12 2023-06-12 一种基于无监督学习的髋关节疾病智能自标注方法及装置

Publications (2)

Publication Number Publication Date
CN116740714A true CN116740714A (zh) 2023-09-12
CN116740714B CN116740714B (zh) 2024-02-09

Family

ID=87902349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310693176.9A Active CN116740714B (zh) 2023-06-12 2023-06-12 一种基于无监督学习的髋关节疾病智能自标注方法及装置

Country Status (1)

Country Link
CN (1) CN116740714B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894973A (zh) * 2023-07-06 2023-10-17 北京长木谷医疗科技股份有限公司 一种基于集成学习的髋关节病变智能自标注方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598164A (zh) * 2020-05-15 2020-08-28 北京百度网讯科技有限公司 识别目标对象的属性的方法、装置、电子设备和存储介质
CN112102237A (zh) * 2020-08-10 2020-12-18 清华大学 基于半监督学习的脑部肿瘤识别模型的训练方法及装置
CN113706491A (zh) * 2021-08-20 2021-11-26 西安电子科技大学 基于混合注意力弱监督迁移学习的半月板损伤分级方法
CN114842085A (zh) * 2022-07-05 2022-08-02 松立控股集团股份有限公司 一种全场景车辆姿态估计方法
CN115994558A (zh) * 2021-10-18 2023-04-21 广州视源电子科技股份有限公司 医学影像编码网络的预训练方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598164A (zh) * 2020-05-15 2020-08-28 北京百度网讯科技有限公司 识别目标对象的属性的方法、装置、电子设备和存储介质
CN112102237A (zh) * 2020-08-10 2020-12-18 清华大学 基于半监督学习的脑部肿瘤识别模型的训练方法及装置
CN113706491A (zh) * 2021-08-20 2021-11-26 西安电子科技大学 基于混合注意力弱监督迁移学习的半月板损伤分级方法
CN115994558A (zh) * 2021-10-18 2023-04-21 广州视源电子科技股份有限公司 医学影像编码网络的预训练方法、装置、设备及存储介质
CN114842085A (zh) * 2022-07-05 2022-08-02 松立控股集团股份有限公司 一种全场景车辆姿态估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈章宝;侯勇;: "基于DCNN特征融合的细粒度病鸡识别研究", 兰州文理学院学报(自然科学版), no. 02 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894973A (zh) * 2023-07-06 2023-10-17 北京长木谷医疗科技股份有限公司 一种基于集成学习的髋关节病变智能自标注方法及装置
CN116894973B (zh) * 2023-07-06 2024-05-03 北京长木谷医疗科技股份有限公司 一种基于集成学习的髋关节病变智能自标注方法及装置

Also Published As

Publication number Publication date
CN116740714B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
US10304193B1 (en) Image segmentation and object detection using fully convolutional neural network
CN112927240B (zh) 一种基于改进的AU-Net网络的CT图像分割方法
CN116740714B (zh) 一种基于无监督学习的髋关节疾病智能自标注方法及装置
CN114565770B (zh) 基于边缘辅助计算和掩模注意力的图像分割方法及***
CN116758341B (zh) 一种基于gpt的髋关节病变智能诊断方法、装置及设备
Purnama et al. Disease classification based on dermoscopic skin images using convolutional neural network in teledermatology system
Narayanan et al. A computationally efficient u-net architecture for lung segmentation in chest radiographs
WO2021139351A1 (zh) 图像分割方法、装置、介质及电子设备
CN114170232A (zh) 基于Transformer的X线胸片自动诊断与新冠感染区分割方法
Cao et al. Supervised contrastive pre-training formammographic triage screening models
CN116894973B (zh) 一种基于集成学习的髋关节病变智能自标注方法及装置
Khademi et al. Spatio-temporal hybrid fusion of cae and swin transformers for lung cancer malignancy prediction
CN114494230A (zh) 乳腺病灶分割装置、模型训练方法及电子设备
CN115994558A (zh) 医学影像编码网络的预训练方法、装置、设备及存储介质
CN116433654A (zh) 一种改进的U-Net网络实现脊柱整体分割方法
Soni et al. MRI segmentation for computer-aided diagnosis of brain tumor: a review
CN116563552A (zh) 一种多源遥感图像融合语义分割方法及***
CN117352120B (zh) 基于gpt的膝关节病变诊断智能自生成方法、装置及设备
CN116433679A (zh) 一种基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法
Kumar et al. Enhanced Alzheimer’s disease classification using multilayer deep convolutional neural network-based experimentations
Ren et al. Medical image super-resolution based on semantic perception transfer learning
Pande et al. Attention based convolution autoencoder for dimensionality reduction in hyperspectral images
CN114897075A (zh) 一种基于元模板知识库的异构图像匹配方法
Wang et al. Effect of data augmentation of renal lesion image by nine-layer convolutional neural network in kidney CT
Fallahpour et al. EHRMamba: Towards Generalizable and Scalable Foundation Models for Electronic Health Records

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant