CN113298065B - 基于自监督学习的眼部黑色素肿瘤识别方法 - Google Patents
基于自监督学习的眼部黑色素肿瘤识别方法 Download PDFInfo
- Publication number
- CN113298065B CN113298065B CN202110520891.3A CN202110520891A CN113298065B CN 113298065 B CN113298065 B CN 113298065B CN 202110520891 A CN202110520891 A CN 202110520891A CN 113298065 B CN113298065 B CN 113298065B
- Authority
- CN
- China
- Prior art keywords
- network
- data
- image
- training
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 title claims abstract description 48
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 239000002131 composite material Substances 0.000 claims abstract description 16
- 238000007637 random forest analysis Methods 0.000 claims abstract description 10
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims abstract description 3
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于自监督学习的眼部黑色素肿瘤识别方法。包括：医疗影像数据划分，将数据划分为标注数据和未标注数据两类；将所有未标注数据输入到自监督算法网络中，通过多次迭代不断训练网络参数；提取训练得到残差网络，在该网络的基础上叠加一个特征提取网络，形成复合网络结构，通过训练，得到可用于块级眼部黑色素肿瘤识别的复合网络模型；生成每张标注数据对应的热力图,并由此整合成图像级热力图；最后，提取每张热力图的特征，将特征数据输入到随机森林中进行训练，得到可用于图像级眼部黑色素肿瘤识别的随机森林模型。本发明通过设计肿瘤特征和区域判别的网络特征映射层，使得眼部黑色素肿瘤的识别准确率有了进一步的提升。
Description
技术领域
本发明涉及眼部医疗影像识别技术领域，具体涉及一种基于自监督学习(Self-Supervised Learning)的眼部医疗影像的黑色素肿瘤识别方法。
背景技术
医疗影像中的肿瘤识别是医疗智能化领域的主要研究内容之一。医疗影像的肿瘤识别技术将医疗影像与人工智能技术相结合，通过借助计算机来识别肿瘤区域，而非传统的依赖医学专家对医疗影像中的肿瘤区域进行标定。在本发明中，进行医疗影像肿瘤识别的执行个体是计算机。
深度学习是机器学习中一种基于对数据进行表征学习的算法，是当下人工智能领域的研究热点之一。深度学习技术的使用，提升了算法性能与工作效率，也使得人脸识别，自动驾驶以及智能翻译等技术的落地成为可能，被广泛应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域。
自监督学习算法(SSL)是一种新型的无监督学习算法，算法直接从无标签数据中自行学习数据特征，并将训练得到的模型运用于下游任务的训练当中。在图像识别领域，自监督学习算法已经取得超越传统监督学习算法的性能和效果。
基于深度学习的智能化技术需要大量标签数据用于模型的训练工作，然而，由于医学领域的特殊性，有标注的医疗影像数据仅能通过相关医学专家的手动标注实现，受制于高昂的数据标注成本以及参差不齐的数据标注质量，有效且能够用于模型训练的有标注的医疗影像数据量很小，从而使得传统深度学习方法在该领域训练效果差，鲁棒性也不好，最终导致对医疗影像中的肿瘤识别能力较弱。
发明内容
本发明主要针对传统眼部医疗影像黑色素肿瘤识别方法缺陷，提出一种基于自监督学习的眼部黑色素肿瘤识别方法。自监督学习算法充分利用大量存在的无标注数据，有效提升了数据利用率，然而，在其传统应用中，一个图像中仅有一个主体，而在医疗影像的图像识别中，一张图像中的对象个数能够达几十甚至上百个，为适应医疗影像的图像识别的特殊性，通过额外增加神经网络特征映射层，提升了整体算法在多目标下的综合判断能力，从而能够更好地对影像中的肿瘤特征和区域进行判断。无论是与传统仅使用有标注数据和残差网络的传统方法，还是跟基本自监督学习方法相比，本发明在眼部医疗影像中黑色素肿瘤的识别上都有显著的性能提升。
为实现上述目的，本发明包括以下步骤：
1)医疗影像数据划分，根据眼部医疗影像上的黑色素肿瘤区域是否经过相关医学专家标注，将数据划分为标注数据和未标注数据两类,并以滑动窗口的方法将标注数据和未标注数据切分成块级图像，对所有块级图像进行图像预处理和数据增强。
2)将步骤1)中的所有未标注数据进行输入到以残差网络为基础的自监督算法网络中，通过多次的迭代不断训练网络参数。
3)提取步骤2)中训练得到的残差网络，在该残差网络的基础上叠加一个特征提取网络，形成复合网络，并将步骤1)中的所有标注数据经预处理后输入到复合网络中，通过训练，得到可用于块级眼部黑色素肿瘤识别的复合网络。
4)使用步骤3)中训练得到的复合网络，计算每张块级标注数据中含有肿瘤的概率，生成每张标注数据对应的热力图，并由此整合成图像级热力图。
5)提取步骤4)中获得的每张热力图的特征，将特征数据输入到随机森林中进行训练，得到可用于图像级眼部黑色素肿瘤识别的随机森林模型。
6)通过使用步骤5)中训练得到的随机森林模型，实现针对眼部医疗影像上是否含有黑色素肿瘤的图像级识别。
本发明相对于现有技术所具有的效果：
本发明使用了自监督学习算法，在充分利用大量存在的未经相关医学专家标注的医疗影像数据的基础上，为适应医疗影像识别与传统图像识别的差异性，通过额外设计能够更好进行肿瘤特征和区域判别的网络特征映射层，使得计算机对眼部医疗影像数据中眼部黑色素肿瘤的识别准确率在传统仅使用标注数据的基础上有了进一步的提升，更加符合当下医学影像数据多但有标注数据稀少的实际。
本发明结合了无监督学习方法和传统深度学习方法，提出了一种新的可以用于块级以及图像级眼部黑色素肿瘤识别的整体算法流程架构。在提升眼部黑色素肿瘤识别性能的基础上，通过肿瘤区域发生概率可视化的方式，为医学专家提供了辅助诊断手段，有较大的实际意义。
附图说明
图1为本发明架构图；
图2为颜色一致性技术处理流程图；
图3为热力图生成流程图；
图4为本发明方法流程图。
具体实施方式
本发明包括以下步骤：
1)根据眼部医疗影像是否经过医学专家进行黑色素肿瘤区域标注，将数据划分为有标注数据和无标注数据，对有标注数据进行进一步的训练、验证、测试集划分，见图1。设定256×256像素的滑动窗口大小，以滑动的方式从原始医疗影像中切分出块级图像。对于每张块级图像x，首先经过包括伽马变换gamma和灰度变换g的颜色一致性处理
x′＝g(gamma(x))
，如图2所示。其次，预处理后的图像x′经过旋转、对比度变换、归一化等数据增强方式Aug
x″＝Aug(x′)
进行数据增强，得到增强后图像x″。
2)将无标注数据中的增强后图像x″输入到以残差网络为基础的自监督网络中，图像x″首先经过两个不同数据增强方法
v＝t(x″)
v′＝t′(x″)
得到两个不同的增强图像v，v′，再被输入到由主网络和副网络两个分支构成的孪生网络中，主网络和副网络分别基于增强图像v，v′进行计算，得到
再根据损失函数
计算损失值随后在反向传播过程计算梯度/>并根据梯度更新主网络权重参数θ，并以此更新副网络权重参数ξ，具体过程如下所示：
ξ←τξ+(1-τ)θ
3)在残差网络fθ的基础上增加一个特征映射网络hθ，以此复合网络Fθ
Fθ＝hθ(fθ(x))
作为训练过程的使用模型。并用步骤2)中孪生网络中主网络的残差网络参数θ作为复合网络F中残差网络f的参数初始值，其他部分网络则正常初始化。
4)将有标注数据中的增强后图像x″用于复合网络训练，根据验证结果选择出最好的模型，并在测试数据上对模型性能进行验证。在进行图像级眼部黑色素肿瘤识别时，使用训练好的复合网络对增强后图像x″进行肿瘤概率预测(0-1)，并将来自同一眼部医疗影像的数据结果进行拼接，得到图像级热力图，热力图生成流程如图3所示。
5)针对热力图设置0.9和0.5两个不同阈值，从每张图像级热力图中提取包括肿瘤区域数量特征、肿瘤区域所占比例特征在内的多种特征。基于图像级特征数据训练随机森林模型，得到可用于眼部医疗影像整体评估的机器学习模型。
6)最后，眼部医疗影像数据在通过该算法流程(如图4)后，会由训练得到的机器学习模型判断出其影像上是否含有黑色素肿瘤。
以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。
Claims (5)
1.基于自监督学习的眼部黑色素肿瘤识别方法，其特征在于，该方法包括如下步骤：
1)医疗影像数据划分，根据眼部医疗影像上的黑色素肿瘤区域是否经过相关医学专家标注，将数据划分为标注数据和未标注数据两类,并以滑动窗口的方法将标注数据和未标注数据切分成块级图像，对所有块级图像进行图像预处理和数据增强；
2)将步骤1)中的所有未标注数据输入到以残差网络为基础的自监督算法网络中，通过多次的迭代不断训练网络参数；
3)提取步骤2)中训练得到的残差网络，在该残差网络的基础上叠加一个特征提取网络，形成复合网络，并将步骤1)中的所有标注数据输入到复合网络中，通过训练，得到用于块级眼部黑色素肿瘤识别的复合网络；
4)使用步骤3)中训练得到的复合网络，计算每张块级标注数据中含有肿瘤的概率，生成每张标注数据对应的热力图，并由此整合成图像级热力图；
5)提取步骤4)中获得的每张热力图的特征，将特征数据输入到随机森林中进行训练，得到用于图像级眼部黑色素肿瘤识别的随机森林模型；
6)通过使用步骤5)中训练得到的随机森林模型，实现针对眼部医疗影像上是否含有黑色素肿瘤的图像级识别。
2.根据权利要求1所述的方法，其特征在于，在步骤1)中，块级图像x，首先经过包括伽马变换gamma和灰度变换g的颜色一致性处理
x′＝g(gamma(x))
其次，预处理后的图像x′经过旋转、对比度变换、归一化的增强方式Aug进行数据增强，得到增强后图像x″
x″＝Aug(x′)。
3.根据权利要求1所述的方法，其特征在于，在步骤2)中，所使用的自监督学习算法以孪生网络框架为基础，以增强后图像x″作为网络输入，经过两种不同的图像增强方法后，得到两个不同的增强图像v，v′，
v＝t(x″)
v′＝t′(x″)
并将其分别输入到由主网络和副网络两个分支构成的孪生网络中；其中，主网络由一个残差网络fθ和两个多层感知机gθ,qθ组成，分别作为主网络的表征模块yθ＝fθ(v)、投影模块zθ＝gθ(y)以及预测模块qθ(z)，θ代表主网络参数；副网络则以一个相同结构的残差网络fξ和一个多层感知机gξ组成，分别作为副网络的表征模块y′ξ＝fξ(v′)和投影模块z′ξ＝gξ(y′)，ξ代表副网络参数；再分别对主网络的预测结果qθ以及副网络的投影结果z′ξ进行L2正则化
并由此得到孪生网络的损失函数
最后，在不断迭代中，通过计算得到的孪生网络的损失值和梯度/>来更新主网络参数θ，副网络参数ξ则基于当前主网络参数得到
ξ←τξ+(1-τ)θ
其中，η是孪生网络的学习率，τ是副网络的参数复制衰竭率。
4.根据权利要求1所述的方法，其特征在于，在步骤3)中，所构成的复合网络Fθ由残差网络fθ和特征映射网络hθ组成
Fθ＝hθ(fθ(x))
并用孪生网络中主网络的残差网络参数θ作为复合网络F中残差网络f的参数初始值。
5.根据权利要求1所述的方法，其特征在于，在步骤5)中，通过设置两个不同的阈值a1,a2，从图像级热力图中提取包括肿瘤区域数量特征、肿瘤区域所占比例特征在内的多种特征，用于后续基于随机森林模型的训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110520891.3A CN113298065B (zh) | 2021-05-13 | 2021-05-13 | 基于自监督学习的眼部黑色素肿瘤识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110520891.3A CN113298065B (zh) | 2021-05-13 | 2021-05-13 | 基于自监督学习的眼部黑色素肿瘤识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113298065A CN113298065A (zh) | 2021-08-24 |
| CN113298065B true CN113298065B (zh) | 2024-06-11 |
Family
ID=77321878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110520891.3A Active CN113298065B (zh) | 2021-05-13 | 2021-05-13 | 基于自监督学习的眼部黑色素肿瘤识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113298065B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047594A (zh) * | 2019-11-06 | 2020-04-21 | 安徽医科大学 | 肿瘤mri弱监督学习分析建模方法及其模型 |
| CN112102237A (zh) * | 2020-08-10 | 2020-12-18 | 清华大学 | 基于半监督学习的脑部肿瘤识别模型的训练方法及装置 |
-
2021
- 2021-05-13 CN CN202110520891.3A patent/CN113298065B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047594A (zh) * | 2019-11-06 | 2020-04-21 | 安徽医科大学 | 肿瘤mri弱监督学习分析建模方法及其模型 |
| CN112102237A (zh) * | 2020-08-10 | 2020-12-18 | 清华大学 | 基于半监督学习的脑部肿瘤识别模型的训练方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113298065A (zh) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255364B (zh) | 一种基于深度卷积生成对抗网络的场景识别方法 | |
| CN110163069B (zh) | 用于辅助驾驶的车道线检测方法 | |
| CN105095833A (zh) | 用于人脸识别的网络构建方法、识别方法及*** | |
| CN110827260B (zh) | 一种基于lbp特征与卷积神经网络的布匹缺陷分类方法 | |
| CN108537168B (zh) | 基于迁移学习技术的面部表情识别方法 | |
| CN109033107A (zh) | 图像检索方法和装置、计算机设备和存储介质 | |
| CN111476749B (zh) | 基于人脸关键点引导式生成对抗网络的人脸修复方法 | |
| CN110175248B (zh) | 一种基于深度学习和哈希编码的人脸图像检索方法和装置 | |
| CN113344933B (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
| CN111368909A (zh) | 一种基于卷积神经网络深度特征的车标识别方法 | |
| CN114898472B (zh) | 基于孪生视觉Transformer网络的签名鉴定方法和*** | |
| CN115272196A (zh) | 组织病理图像中病灶区域预测方法 | |
| CN111126155A (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| CN114581789A (zh) | 一种高光谱图像分类方法及*** | |
| CN117218457B (zh) | 一种基于双层二维归一化流的自监督工业异常检测方法 | |
| CN112800979B (zh) | 一种基于表征流嵌入网络的动态表情识别方法及*** | |
| CN114170659A (zh) | 一种基于注意力机制的面部情感识别方法 | |
| CN113298065B (zh) | 基于自监督学习的眼部黑色素肿瘤识别方法 | |
| CN116341666A (zh) | 一种基于量子线路的量子卷积神经网络的设计方法及*** | |
| CN112784800B (zh) | 一种基于神经网络和形状约束的人脸关键点检测方法 | |
| CN112800959B (zh) | 一种用于人脸识别中数据拟合估计的困难样本发掘方法 | |
| CN109255794A (zh) | 一种标准件深度全卷积特征边缘检测方法 | |
| CN111882495B (zh) | 一种基于自定义模糊逻辑与gan的图像高光处理方法 | |
| CN114913368A (zh) | 基于自步双向对抗学习的融合遥感图像分类方法 | |
| CN115147303A (zh) | 一种基于掩膜引导的二维超声医学图像修复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |