CN113159223A - 一种基于自监督学习的颈动脉超声图像识别方法 - Google Patents
一种基于自监督学习的颈动脉超声图像识别方法 Download PDFInfo
- Publication number
- CN113159223A CN113159223A CN202110532794.6A CN202110532794A CN113159223A CN 113159223 A CN113159223 A CN 113159223A CN 202110532794 A CN202110532794 A CN 202110532794A CN 113159223 A CN113159223 A CN 113159223A
- Authority
- CN
- China
- Prior art keywords
- carotid artery
- ultrasound image
- data set
- category
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001715 carotid artery Anatomy 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000003902 lesion Effects 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000002604 ultrasonography Methods 0.000 claims description 133
- 230000003190 augmentative effect Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims description 2
- 238000002203 pretreatment Methods 0.000 claims description 2
- 230000008521 reorganization Effects 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000013100 final test Methods 0.000 abstract 1
- 238000004445 quantitative analysis Methods 0.000 abstract 1
- 239000000523 sample Substances 0.000 description 36
- 238000013135 deep learning Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010054107 Nodule Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自监督学习的颈动脉超声图像识别方法。所述方法包括以下步骤：(1)采集颈动脉超声图像并预处理；(2)根据预处理后所得的超声图像数据集使用自监督学习的辅助任务函数扩充数据集和生成对应的伪标签；(3)将从步骤(2)所得的新的超声图像数据集载入神经网络中训练，保存学习到的最优网络权重参数；(4)将网络权重参数迁移到目标神经网络中，对步骤(1)所得的预处理后的超声图像数据集进行学习，得到目标神经网络的最优网络模型，再对测试集进行测试获得最终测试精度。本方法将自监督学习方法应用于颈动脉超声图像提取特征的表面变化和内部特性，为病变区域的预测提供了一种定量的分析方法。
Description
技术领域
本发明属于计算机技术与医学图像的交叉领域，尤其涉及超声图像分类识别的方法。
背景技术
超声影像学起源于20世纪，由于其图像生成实时、无电离辐射、无创无痛等优势，在医学诊断中具有难以取代的作用。医学超声检查利用声波从不同组织间的界面反射回探头的回声，通过超声主机处理成数字图像，以供临床医师判别。在临床实践中，超声心动图、乳腺超声、腹部超声、颈动脉超声等医学超声已经被广泛应用专项检查中。超声影像作为最常用的成像手段之一，已经被公认为是临床医生和放射科医生普遍而有效的筛查诊断工具。
超声图像分类识别是医学图像分析领域中最为重要的基础任务之一。目前传统的超声诊断主要采用人工判别，对医生的临床经验具有很强的依赖性。随着医疗影像应用的推广，有越来越多的医学图像需要医生解读，而临床医生数量的增长远不及影像数据量的增长，医生处理影像数据的压力日渐增长。此外，超声图像中良、恶性结节的图像表现存在重叠，超声图像自身也存在噪声大、分辨率低的缺点，这些因素都容易导致诊断时误判漏判。随着多学科交叉的应用发展，计算机辅助诊断开始进入医疗影像行业，通过自动超声图像分析使得诊断评估及引导治疗更为客观、准确和智能，然而传统CAD软件主要依靠专家手工编写判定规则，由于其操作复杂、需大量人机交互、诊断效果不明显，并未得到医疗行业的认可。
近年来机器学习和人工智能技术发展迅速，在计算机辅助诊断、图像引导治疗等医学领域中发挥了重要作用。与传统方法相比，深度学习方法减少人工操作的目标检测、目标分割、特征提取等步骤，直接以输入图像和图像标签的方式，学习具有复杂参数的高级模型，从而对新输入的图像进行判断。虽然深度学习技术加快了医学图像分析的脚步，但是超声影像成像质量差，图像分辨率和对比度低，存在严重的斑点噪声、伪影，病变区域形状复杂多变等特点，给分类诊断增加了难度。此外，目前尚缺乏公开的大型标注超声图像数据集，也给分类算法的研究带来了一定的困难。深度学习在计算机视觉任务中的发展很大程度依赖于海量的训练样本，导致基于深度学习的有监督学习算法在小样本数据集上的识别准确率依然很低。而由于医疗超声影像的特殊性及其隐私性，目前的超声图像数据集大多是私人的，非公开的，已公开的数据集规模仅在200-500张左右，且缺乏用于深度学习训练的无噪声的注释数据，这正是当前深度学习在小样本医学超声图像领域应用中的瓶颈挑战。
针对小样本超声数据集，为了节约收集和注释大规模数据集的成本，采用自监督学习方法来解决此问题。自监督学习属于无监督学习方法的一种。自监督学习方法可以从未标记的数据中学习到有效的特征表示而无需任何人工标注的标签信息。为了从未标记的数据中学习视觉特征，一种解决方案是提出各种代理任务让网络解决，这样网络可以通过学习代理任务的目标函数来训练，从而在这一过程中学习特征。研究者们已经提出了各种自监督学习的代理任务，包括为灰度图像着色，图像修补，拼图游戏等。这些代理任务具有两个共同的特性：卷积层需要捕获图像或视频的视觉特征来解决代理任务和代理任务的伪标签可以根据图像或视频的属性自动生成。通过这些自监督学习方法可以对原始超声数据集进行数据扩充并打上伪标签，增加数据量后会使得神经网络的训练效果变得更好。
发明内容
本发明针对现有技术的不足，提供一种基于自监督学习的颈动脉超声图像识别方法。
本发明的技术方案为一种基于自监督学习的颈动脉超声图像识别方法，包含以下步骤：
步骤1：采集颈动脉超声图像数据，对此进行预处理获得预处理后的颈动脉超声图像数据集和对应的标签集；
步骤2：根据步骤1所得的预处理后的颈动脉超声图像数据集使用自监督学习的辅助任务来对数据集的每张超声图像进行高度方向和宽度方向上的a*b的分块，再将分块后的超声图像样本块顺序打乱，将打乱后的超声图像样本块进行重组成新的超声图像，将重组后的超声图像数据集与未打乱顺序的超声图像数据集合并为新的扩充后的数据集并打上对应的标签集；
步骤3：对步骤2得到的扩充后的颈动脉超声图像数据集，将其加载到ResNeXt网络中，对颈动脉超声图像数据集进行判断为正确或错误的二分类任务训练，经过多次迭代训练，不断地更新损失函数的损失值，多次训练后得到最佳的ResNeXt网络权重参数并保存；
步骤4：将步骤3所得的最佳网络权重参数进行迁移学习，迁移到目标神经网络ResNeXt网络中，初始化目标神经网络的权重，对步骤1所得的预处理后的颈动脉超声图像数据集进行训练，在训练中不断更新目标神经网络损失函数的损失值，保存多次训练后最佳的目标神经网络ResNeXt网络的权重参数，加载保存后的权重参数对测试超声图像样本进行分类识别，得到最终的超声图像识别结果。
技术效果：在少量样本情况下，通过自监督学习方法能使得样本数量增多以及打上伪标签，再经过神经网络的训练后能更好的学习颈动脉超声图像的特征信息。与现有技术相比，本发明提出的基于自监督学习的颈动脉超声图像识别方法，可有效提升在少量标签样本情况下颈动脉超声图像识别的准确性。
附图说明
图1是本发明实施例的基于自监督学习的颈动脉超声图像识别方法的流程图。
图2是本发明实施例的对颈动脉超声图像数据集的测试精度的对比图。
具体实施方式
本发明主要基于自监督学习方法，考虑小样本超声图像数据集的数据量少和人工标记的成本问题，提出的一种基于自监督学习的颈动脉超声图像识别方法。本方法充分考虑了超声图像数据量太少的问题，通过自监督学习方法使得超声图像数据集的数量扩充一倍，并生成对应的伪标签，再以神经网络对此进行训练获得图像识别的精度。通过本发明获得的结果更加科学，更加精确。
本发明提供的方法能够用计算机软件技术实现流程。参见图1，实施例以颈动脉超声图像为例对本发明的流程进行一个具体的阐述，如下：
步骤1，获取原始的颈动脉超声图像，通过预处理得到预处理后的颈动脉超声图像数据集以及对应的标签集；
实施例的具体实施过程说明如下：
步骤1所述的原始颈动脉超声图像数据集为：
X＝[x1，…，xl,…,xm,…,xn]
其中，X表示原始颈动脉超声图像数据集，前l个为第一个类别(钙化性硬斑)的超声样本，m-l个为第二个类别(软斑块)的超声样本，后n-m个为第三个类别(混合型斑块)的超声样本，n为颈动脉超声图像数据集的总个数；
步骤1所述的原始颈动脉超声图像的标签集为：
Y＝[y1,…,yl,…,ym，…,yn]
yi＝{0,1,2}
i∈[1,n]
其中，Y表示原始颈动脉超声图像数据集对应的标签集，前l个代表第一个类别(钙化性硬斑)的标签，m-l个为第二个类别(软斑块)的标签，后n-m个为第三个类别(混合型斑块)的标签，yi表示第i个颈动脉超声图像样本的标签，yi＝0表示第一个类别(钙化性硬斑)标签，yi＝1表示第二个类别(软斑块)标签，yi＝2表示第三个类别(混合型斑块)标签，n为颈动脉超声图像标签集的总个数；
步骤1所述预处理方法为：对原始颈动脉超声图像的ROI(感兴趣区域)进行切割并保存，保存后的图像即为表示颈动脉病变区域的超声图像；
步骤1所述预处理后的颈动脉超声图像数据集为：
X′＝[x′1,…,x′l,…,x′m,…,x′n]
其中，X′为经过预处理后的病变区域的颈动脉超声图像数据集，前l个为第一个类别(钙化性硬斑)的预处理后的病变区域超声样本，m-l个为第二个类别(软斑块)的预处理后的病变区域超声样本，后n-m个为第三个类别(混合型斑块)的预处理后的病变区域超声样本，n为颈动脉超声图像数据集的总个数。
步骤2，通过自监督学习的辅助任务对步骤1获取的预处理后的颈动脉超声图像数据集进行处理，处理步骤为：对每个颈动脉超声图像从高度和宽度方向上进行a*b的分块，分成多个小的颈动脉超声图像样本块，再将多块小超声图像样本块的原始顺序打乱，再重组成新的颈动脉超声图像样本，从而扩充数据集并生成对应的伪标签；
实施例的具体实施过程说明如下：
步骤2所述的分块后的颈动脉超声图像样本块表示为：
zi(α,β)＝x′i(α,β)＝x′i(hα,wβ)
其中，x′i为步骤1预处理后的第i个病变区域的颈动脉超声样本，height为该超声样本的高度，width为该超声样本的宽度，a为高度方向上分块个数，b为宽度方向上分块个数，hα表示x′i该超声样本高度方向上第α块小样本块的索引段，wβ表示x′i该超声样本宽度方向上第β块小样本块的索引段，Zi(α，β)表示预处理后的第i个病变区域的颈动脉超声样本的高度方向上第α块宽度方向上第β块的小超声图像样本块，即第i个病变区域的颈动脉超声样本第α-1行β-1列的样本块；
步骤2所述的将分块后的超声图像样本块的原始顺序打乱：
α∈random([1，a])
β∈random([1，b])
其中，random函数表示将传入的列表里的元素随机打乱；
步骤2所述的每个乱序重组后的新的颈动脉超声图像样本为：
r′i＝{zi(α，β)}，α∈[1，a]，β∈[1，b]
其中，r′i为重组后的第i个病变区域的颈动脉超声样本；
由x′i和r′i组成新的扩充数据集：
X″＝[x′1，…，x′l，…，x′m，…，x′n，r′1，…，r′l，…，r′m，…，r′n]
其中，X″为步骤2中扩充后的颈动脉超声图像数据集，[x′1，…，x′l，…，x′m，…，x′n]表示扩充数据集中的正确的超声图像样本，前l个为正确的超声图像样本中第一个类别(钙化性硬斑)的超声样本，m-l个为正确的超声图像样本中第二个类别(软斑块)的超声样本，n-m个为正确的超声图像样本中第三个类别(混合型斑块)的超声样本，[r′1，…，r′l，…，r′m，…，r′n]表示扩充数据集中的错误的超声图像样本，前l个为错误的超声图像样本中第一个类别(钙化性硬斑)的超声样本，m-l个为错误的超声图像样本中第二个类别(软斑块)的超声样本，n-m个为错误的超声图像样本中第三个类别(混合型斑块)的超声样本；
将预处理后的代表正确的颈动脉超声图像样本的标签设置为1，将乱序重组后代表错误的颈动脉超声图像样本的标签设置为0，构成扩充数据集的标签集：
其中，Y″表示扩充数据集的标签集，
表示正确的超声图像样本的标签，
表示错误的超声图像样本的标签。
步骤3，对步骤2得到的扩充后的颈动脉超声图像数据集，将其加载到ResNeXt101网络中进行训练得到颈动脉超声图像是否为正确的二分类结果，根据对应的标签集构建ResNeXt101网络的损失函数，经过多次迭代训练，不断地更新ResNeXt101网络的最佳权重参数，得到最佳的ResNeXt101网络权重参数并保存；
实施例的具体实施过程说明如下：
步骤3所述的自监督学习的辅助任务中ResNeXt101神经网络使用的数据集为扩充后的颈动脉超声图像数据集，对应的标签设为0和1：
X″＝[x′1，…，x′l，…，x′m，…，x′n，r′1，…，r′l，…，r′m，…，r′n]
步骤3所述的ResNeXt101神经网络的损失函数为交叉熵损失函数：
其中，
为卷积计算函数，表示经过多次卷积层运算后得到输入全连接层前的样本数据，W为全连接层的权重参数，B为全连接层的偏置参数，
为正确超声图像样本的标签，
为错误超声图像样本的标签；
步骤3中网络的具体参数为：扩充数据集按8∶2的比例分为训练集和测试集，网络为ResNeXt101层神经网络，优化器为Adam优化器，学习率(learn_rate)设为0.0001，训练集的批量(batch_size)设为32，训练的次数(epoch)设为30，经过多次迭代训练后获得最佳的网络权重参数，即为自监督学习的辅助任务学习的最优权重参数。
步骤4，将自监督学习的辅助任务学习后的最优权重参数进行迁移学习，迁移到目标神经网络ResNeXt101网络中，初始化目标神经网络ResNeXt101网络的权重，根据步骤1所得的预处理后的颈动脉超声图像数据集对应的标签集构建目标神经网络ResNeXt101网络的损失函数，对步骤1所得的预处理后的颈动脉超声图像数据集进行训练，在训练中不断更新目标神经网络损失函数的损失值，保存多次训练后最佳的目标神经网络ResNeXt101网络的权重参数，加载保存后的权重参数对测试超声图像样本进行分类识别，得到最终的超声图像识别结果。
实施例的具体实施过程说明如下：
步骤4所述的目标神经网络ResNeXt101网络中载入的步骤1所得的预处理后的颈动脉超声图像数据集为
X′＝[x′1，…，x′l，…，x′m，…，x′n]
其中，X′为经过预处理后的病变区域的颈动脉超声图像数据集，前l个为第一个类别(钙化性硬斑)的预处理后的病变区域超声样本，m-l个为第二个类别(软斑块)的预处理后的病变区域超声样本，后n-m个为第三个类别(混合型斑块)的预处理后的病变区域超声样本，n为颈动脉超声图像数据集的总个数；
步骤4所述的预处理后的颈动脉超声图像的对应的标签集为：
Y＝[y1，…，yl，…，ym，…，yn]
yi＝{0，1，2}
i∈[1，n]
其中，Y表示原始颈动脉超声图像数据集对应的标签集，前l个代表第一个类别(钙化性硬斑)的标签，m-l个为第二个类别(软斑块)的标签，后n-m个为第三个类别(混合型斑块)的标签，yi表示第i个颈动脉超声图像样本的标签，yi＝0表示第一个类别(钙化性硬斑)标签，yi＝1表示第二个类别(软斑块)标签，yi＝2表示第三个类别(混合型斑块)标签，n为颈动脉超声图像标签集的总个数；
步骤4中网络具体参数为：将步骤1所得的预处理后的颈动脉超声数据集按6∶2∶2的比例划分为训练集，验证集和测试集，目标神经网络为ResNeXt101层分类网络，优化器为Adam优化器，学习率(learn_rate)设为0.0001，训练集的批量(batch_size)设为16，训练的次数(epoch)设为100；
步骤4所述的目标神经网络使用的损失函数为交叉熵损失函数：
其中，
为卷积计算函数，表示经过多次卷积层运算后得到的输入全连接层前的样本数据，W为全连接层的权重参数，B为全连接层的偏置参数，yi为预处理后表示病变区域的颈动脉超声图像数据集对应的标签集；
步骤4所述的目标神经网络ResNeXt101层分类网络使用的优化器为Adam优化器来更新参数，多次迭代训练后获得目标神经网络的最优网络权重参数，对测试集载入优化后的网络权重参数来进行分类测试，获取最终的颈动脉超声图像的分类准确率，参见图2，实施例以颈动脉超声图像为例对本发明的测试结果进行一个具体的展示。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (5)
1.一种基于自监督学习的颈动脉超声图像识别方法，其特征在于，包含以下步骤：
步骤1：采集颈动脉超声图像数据，对此进行预处理获得预处理后的颈动脉超声图像数据集和对应的标签集；
步骤2：根据步骤1所得的预处理后的颈动脉超声图像数据集使用自监督学习的辅助任务来对数据集的每张超声图像进行高度方向和宽度方向上的a*b的分块，再将分块后的超声图像样本块顺序打乱，将打乱后的超声图像样本块进行重组成新的超声图像，将重组后的超声图像数据集与未打乱顺序的超声图像数据集合并为新的扩充后的数据集并打上对应的标签集；
步骤3：对步骤2得到的扩充后的颈动脉超声图像数据集，将其加载到ResNeXt网络中，对颈动脉超声图像数据集进行判断为正确或错误的二分类任务训练，经过多次迭代训练，不断地更新损失函数的损失值，多次训练后得到最佳的ResNeXt网络权重参数并保存；
步骤4：将步骤3所得的最佳网络权重参数进行迁移学习，迁移到目标神经网络ResNeXt网络中，初始化目标神经网络的权重，对步骤1所得的预处理后的颈动脉超声图像数据集进行训练，在训练中不断更新目标神经网络损失函数的损失值，保存多次训练后最佳的目标神经网络ResNeXt网络的权重参数，加载保存后的权重参数对测试超声图像样本进行分类识别，得到最终的超声图像识别结果。
2.根据权利要求书1所述的基于自监督学习的超声图像特征识别方法，其特征在于，步骤1所述的原始颈动脉超声图像数据集为：
X＝[x1，…,xl，…，xm,…,xn]
其中，X表示原始颈动脉超声图像数据集，前l个为第一个类别(钙化性硬斑)的超声样本，m-l个为第二个类别(软斑块)的超声样本，后n-m个为第三个类别(混合型斑块)的超声样本，n为颈动脉超声图像数据集的总个数；
步骤1所述的原始颈动脉超声图像的标签集为：
Y＝[y1,…,yl,…,ym,…,yn]
yi＝{0,1,2}
i∈[1,n]
其中，Y表示原始颈动脉超声图像数据集对应的标签集，前l个代表第一个类别(钙化性硬斑)的标签，m-l个为第二个类别(软斑块)的标签，后n-m个为第三个类别(混合型斑块)的标签，yi表示第i个颈动脉超声图像样本的标签，yi＝0表示第一个类别(钙化性硬斑)标签，yi＝1表示第二个类别(软斑块)标签，yi＝2表示第三个类别(混合型斑块)标签，n为颈动脉超声图像标签集的总个数；
步骤1所述预处理方法为：对原始颈动脉超声图像的ROI(感兴趣区域)进行切割并保存，保存后的图像即为表示颈动脉病变区域的超声图像；
步骤1所述预处理后的颈动脉超声图像数据集为：
X′＝[x′1,…,x′l,…,x′m,…,x′n]
其中，X′为经过预处理后的病变区域的颈动脉超声图像数据集，前l个为第一个类别(钙化性硬斑)的预处理后的病变区域超声样本，m-l个为第二个类别(软斑块)的预处理后的病变区域超声样本，后n-m个为第三个类别(混合型斑块)的预处理后的病变区域超声样本，n为颈动脉超声图像数据集的总个数。
3.根据权利要求书1所述的基于自监督学习的超声图像特征识别方法，其特征在于，步骤2所述的颈动脉超声图像样本块表示为：
zi(α，β)＝x′i(α,β)＝x′i(hα，wβ)
其中，x′i为步骤1预处理后的第i个病变区域的颈动脉超声样本，height为该超声样本的高度，width为该超声样本的宽度，a为高度方向上分块个数，b为宽度方向上分块个数，hα表示x′i该超声样本高度方向上第α块小样本块的索引段，wβ表示x′i该超声样本宽度方向上第β块小样本块的索引段，Zi(α,β)表示预处理后的第i个病变区域的颈动脉超声样本的高度方向上第α块宽度方向上第β块的小超声图像样本块，即第i个病变区域的颈动脉超声样本第α-1行β-1列的样本块；
步骤2所述的将分块后的超声图像样本块的原始顺序打乱：
α∈random([1,a])
β∈random([1,b])
其中，random函数表示将传入的列表里的元素随机打乱；
步骤2所述的每个乱序重组后的新的颈动脉超声图像样本为：
r′i＝{zi(α,β)}，α∈[1,a]，β∈[1,b]
其中，r′i为重组后的第i个病变区域的颈动脉超声样本；
由x′i和r′i组成新的扩充数据集：
X″＝[x′1,…,x′l,…,x′m,…,x′n,r′1,…,r′l，…，r′m,…，r′n]
其中，X″为步骤2中扩充后的颈动脉超声图像数据集，[x′1,…,x′l,…,x′m,…,x′n]表示扩充数据集中的正确的超声图像样本，前l个为正确的超声图像样本中第一个类别(钙化性硬斑)的超声样本，m-l个为正确的超声图像样本中第二个类别(软斑块)的超声样本，n-m个为正确的超声图像样本中第三个类别(混合型斑块)的超声样本，[r′1，…，r′l，…，r′m,…,r′n]表示扩充数据集中的错误的超声图像样本，前l个为错误的超声图像样本中第一个类别(钙化性硬斑)的超声样本，m-l个为错误的超声图像样本中第二个类别(软斑块)的超声样本，n-m个为错误的超声图像样本中第三个类别(混合型斑块)的超声样本；
将预处理后的代表正确的颈动脉超声图像样本的标签设置为1，将乱序重组后代表错误的颈动脉超声图像样本的标签设置为0，构成扩充数据集的标签集：
其中，Y″表示扩充数据集的标签集，
表示正确的超声图像样本的标签，
表示错误的超声图像样本的标签。
4.根据权利要求书1所述的基于自监督学习的超声图像特征识别方法，其特征在于，步骤3所述的自监督学习的辅助任务中ResNeXt神经网络使用的数据集为扩充后的数据集，标签设为0和1：
X″＝[x′1,…,x′l,…,x′m,…,x′n,r′1,…,r′l,…,r′m,…,r′n]
步骤3所述的ResNeXt101神经网络的损失函数为交叉熵损失函数：
其中，
为卷积计算函数，表示经过多次卷积层运算后得到输入全连接层前的样本数据，W为全连接层的权重参数，B为全连接层的偏置参数，
为正确超声图像样本的标签，
为错误超声图像样本的标签；
步骤3中网络的具体参数为：将扩充数据集按8：2的比例划分为训练集和测试集，网络为ResNeXt101层神经网络，优化器为Adam优化器，学习率(learn_rate)设为0.0001，训练集的批量(batch_size)设为32，训练的次数(epoch)设为30，经过多次迭代训练后获得最佳的网络权重参数，即为自监督学习的辅助任务学习的最优权重参数。
5.根据权利要求书1所述的基于自监督学习的超声图像特征识别方法，其特征在于，步骤4所述的目标任务网络中载入的病变区域的颈动脉超声图像数据集为
X′＝[x′1,…,x′l,…,x′m,…,x′n]
其中，X′为经过预处理后的病变区域的颈动脉超声图像数据集，前l个为第一个类别(钙化性硬斑)的预处理后的病变区域超声样本，m-l个为第二个类别(软斑块)的预处理后的病变区域超声样本，后n-m个为第三个类别(混合型斑块)的预处理后的病变区域超声样本，n为颈动脉超声图像数据集的总个数；
步骤4所述的预处理后的颈动脉超声图像的对应的标签集为：
Y＝[y1,…,yl,…,ym,…，yn]
yi＝{0，1，2}
i∈[1,n]
其中，Y表示原始颈动脉超声图像数据集对应的标签集，前l个代表第一个类别(钙化性硬斑)的标签，m-l个为第二个类别(软斑块)的标签，后n-m个为第三个类别(混合型斑块)的标签，yi表示第i个颈动脉超声图像样本的标签，yi＝0表示第一个类别(钙化性硬斑)标签，yi＝1表示第二个类别(软斑块)标签，yi＝2表示第三个类别(混合型斑块)标签，n为颈动脉超声图像标签集的总个数；
步骤4中网络具体参数为：将步骤1所得的预处理后的颈动脉超声数据集按6：2：2的比例划分为训练集，验证集和测试集，目标神经网络为ResNeXt101层分类网络，优化器为Adam优化器，学习率(learn_rate)设为0.0001，训练集的批量(batch_size)设为16，训练的次数(epoch)设为100；
步骤4所述的目标神经网络使用的损失函数为交叉熵损失函数：
其中，
为卷积计算函数，表示经过多次卷积层运算后得到的输入全连接层前的样本数据，W为全连接层的权重参数，B为全连接层的偏置参数，yi为预处理后表示病变区域的颈动脉超声图像数据集对应的标签集；
步骤4所述的目标神经网络ResNeXt101层分类网络使用的优化器为Adam优化器来更新参数，多次迭代训练后获得目标神经网络的最优网络权重参数，对测试集载入优化后的网络权重参数来进行分类测试，获取最终的颈动脉超声图像的分类准确率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110532794.6A CN113159223A (zh) | 2021-05-17 | 2021-05-17 | 一种基于自监督学习的颈动脉超声图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110532794.6A CN113159223A (zh) | 2021-05-17 | 2021-05-17 | 一种基于自监督学习的颈动脉超声图像识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113159223A true CN113159223A (zh) | 2021-07-23 |
Family
ID=76876384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110532794.6A Pending CN113159223A (zh) | 2021-05-17 | 2021-05-17 | 一种基于自监督学习的颈动脉超声图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113159223A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113962995A (zh) * | 2021-12-21 | 2022-01-21 | 北京鹰瞳科技发展股份有限公司 | 一种白内障模型的训练方法及白内障识别方法 |
| CN114882301A (zh) * | 2022-07-11 | 2022-08-09 | 四川大学 | 基于感兴趣区域的自监督学习医学图像识别方法及装置 |
| WO2023061104A1 (zh) * | 2021-10-13 | 2023-04-20 | 山东大学 | 一种基于多模态信息的颈动脉超声报告生成*** |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647741A (zh) * | 2018-05-18 | 2018-10-12 | 湖北工业大学 | 一种基于迁移学习的图像分类方法和*** |
| CN109086836A (zh) * | 2018-09-03 | 2018-12-25 | 淮阴工学院 | 一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法 |
| CN109858563A (zh) * | 2019-02-22 | 2019-06-07 | 清华大学 | 基于变换识别的自监督表征学习方法及装置 |
| CN110852350A (zh) * | 2019-10-21 | 2020-02-28 | 北京航空航天大学 | 一种基于多尺度迁移学习的肺结节良恶性分类方法和*** |
| CN111401320A (zh) * | 2020-04-15 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 保护隐私的生物特征图像处理方法及装置 |
| CN111898696A (zh) * | 2020-08-10 | 2020-11-06 | 腾讯云计算(长沙)有限责任公司 | 伪标签及标签预测模型的生成方法、装置、介质及设备 |
| CN112613502A (zh) * | 2020-12-28 | 2021-04-06 | 深圳壹账通智能科技有限公司 | 文字识别方法及装置、存储介质、计算机设备 |
| CN112651916A (zh) * | 2020-12-25 | 2021-04-13 | 上海交通大学 | 自监督模型预训练方法、***及介质 |
-
2021
- 2021-05-17 CN CN202110532794.6A patent/CN113159223A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647741A (zh) * | 2018-05-18 | 2018-10-12 | 湖北工业大学 | 一种基于迁移学习的图像分类方法和*** |
| CN109086836A (zh) * | 2018-09-03 | 2018-12-25 | 淮阴工学院 | 一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法 |
| CN109858563A (zh) * | 2019-02-22 | 2019-06-07 | 清华大学 | 基于变换识别的自监督表征学习方法及装置 |
| CN110852350A (zh) * | 2019-10-21 | 2020-02-28 | 北京航空航天大学 | 一种基于多尺度迁移学习的肺结节良恶性分类方法和*** |
| CN111401320A (zh) * | 2020-04-15 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 保护隐私的生物特征图像处理方法及装置 |
| CN111898696A (zh) * | 2020-08-10 | 2020-11-06 | 腾讯云计算(长沙)有限责任公司 | 伪标签及标签预测模型的生成方法、装置、介质及设备 |
| CN112651916A (zh) * | 2020-12-25 | 2021-04-13 | 上海交通大学 | 自监督模型预训练方法、***及介质 |
| CN112613502A (zh) * | 2020-12-28 | 2021-04-06 | 深圳壹账通智能科技有限公司 | 文字识别方法及装置、存储介质、计算机设备 |
Non-Patent Citations (2)
| Title |
|---|
| WEI MA 等: "Plaque Recognition of Carotid Ultrasound Images Based on Deep Residual Network", 《2019 IEEE 8TH JOINT INTERNATIONAL INFORMATION TECHNOLOGY AND ARTIFICIAL INTELLIGENCE CONFERENCE (ITAIC)》 * |
| 赵媛等: "一种基于深度学习的颈动脉斑块超声图像识别方法", 《中国医疗器械信息》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023061104A1 (zh) * | 2021-10-13 | 2023-04-20 | 山东大学 | 一种基于多模态信息的颈动脉超声报告生成*** |
| CN113962995A (zh) * | 2021-12-21 | 2022-01-21 | 北京鹰瞳科技发展股份有限公司 | 一种白内障模型的训练方法及白内障识别方法 |
| CN113962995B (zh) * | 2021-12-21 | 2022-04-19 | 北京鹰瞳科技发展股份有限公司 | 一种白内障模型的训练方法及白内障识别方法 |
| CN114882301A (zh) * | 2022-07-11 | 2022-08-09 | 四川大学 | 基于感兴趣区域的自监督学习医学图像识别方法及装置 |
| CN114882301B (zh) * | 2022-07-11 | 2022-09-13 | 四川大学 | 基于感兴趣区域的自监督学习医学图像识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11101033B2 (en) | Medical image aided diagnosis method and system combining image recognition and report editing | |
| CN109166133B (zh) | 基于关键点检测和深度学习的软组织器官图像分割方法 | |
| CN113159223A (zh) | 一种基于自监督学习的颈动脉超声图像识别方法 | |
| CN107993221B (zh) | 心血管光学相干断层oct图像易损斑块自动识别方法 | |
| CN113902761B (zh) | 基于知识蒸馏的肺部疾病病灶无监督分割方法 | |
| Li et al. | Automatic lumbar spinal MRI image segmentation with a multi-scale attention network | |
| CN1934589A (zh) | 为医学成像提供自动决策支持的***和方法 | |
| CN105760874A (zh) | 面向尘肺的ct图像处理***及其ct图像处理方法 | |
| CN106529188A (zh) | 应用于手术导航的图像处理方法 | |
| CN112820399A (zh) | 自动诊断甲状腺结节良恶性的方法及装置 | |
| CN114494215A (zh) | 基于Transformer的甲状腺结节检测方法 | |
| Du et al. | Boosting dermatoscopic lesion segmentation via diffusion models with visual and textual prompts | |
| CN114519705A (zh) | 一种用于医学选拔与鉴定的超声标准数据处理方法及*** | |
| CN112686932B (zh) | 用于医学影像的图像配准方法及图像处理方法、介质 | |
| Yu et al. | Convolutional neural network design for breast cancer medical image classification | |
| Wulaning Ayu et al. | Pixel Classification Based on Local Gray Level Rectangle Window Sampling for Amniotic Fluid Segmentation. | |
| CN116681667A (zh) | 一种基于自监督学习的小样本医学图像分割方法、***、设备及介质 | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| CN113837273A (zh) | 基于内积度量样本间关系的深度半监督胸部x光图像分类方法 | |
| CN113255794A (zh) | 一种基于GoogLeNet网络的医学图像分类方法 | |
| Song et al. | Abdominal multi-organ segmentation using multi-scale and context-aware neural networks | |
| CN116385814B (zh) | 一种检测目标的超声筛查方法、***、装置及介质 | |
| CN116309593B (zh) | 基于数学模型的肝脏穿刺活检b超图像处理方法及*** | |
| CN118015021B (zh) | 基于滑动窗口的主动域自适应跨模态医学图像分割方法 | |
| CN114708236B (zh) | 一种基于tsn和ssn在超声图像中的甲状腺结节良恶性分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210723 |
|
| RJ01 | Rejection of invention patent application after publication |