CN112086197A - 基于超声医学的乳腺结节检测方法及*** - Google Patents
基于超声医学的乳腺结节检测方法及*** Download PDFInfo
- Publication number
- CN112086197A CN112086197A CN202010924386.0A CN202010924386A CN112086197A CN 112086197 A CN112086197 A CN 112086197A CN 202010924386 A CN202010924386 A CN 202010924386A CN 112086197 A CN112086197 A CN 112086197A
- Authority
- CN
- China
- Prior art keywords
- video
- breast
- classification
- ultrasonic
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 239000003814 drug Substances 0.000 title claims abstract description 19
- 206010006272 Breast mass Diseases 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 26
- 210000000481 breast Anatomy 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000013526 transfer learning Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 35
- 238000000605 extraction Methods 0.000 claims description 27
- 238000002604 ultrasonography Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012285 ultrasound imaging Methods 0.000 claims description 3
- 206010006187 Breast cancer Diseases 0.000 abstract description 10
- 208000026310 Breast neoplasm Diseases 0.000 abstract description 9
- 238000003745 diagnosis Methods 0.000 abstract description 9
- 201000007295 breast benign neoplasm Diseases 0.000 abstract description 4
- 238000007689 inspection Methods 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000005075 mammary gland Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010028813 Nausea Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 208000030270 breast disease Diseases 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了基于超声医学的乳腺结节检测方法及***，包括以下步骤,获取乳腺超声视频数据，并进行预处理,将预处理数据通过迁移学习的方法训练，建立乳腺结节检测模型，将待测试的视频数据输入所述乳腺结节检测模型，得出结果。本发明提供基于超声医学的乳腺结节检测方法及***，以超声乳腺视频图像检查为主要手段，旨在建立乳腺肿瘤良恶性判断及病理分型的精准方法，解决乳腺肿瘤动态识别及鉴别困难的疑难临床问题。高度精准的乳腺肿瘤定性***的建立，对乳腺肿瘤患者的诊治具有重大临床意义。
Description
技术领域
本发明涉及视频图像处理技术领域，具体涉及基于超声医学的乳腺结节检测方法及***。
背景技术
超声计算机辅助计算机辅助诊断(Computer Aided Diagnosis，CAD)可检测出人眼无法获取的肿瘤内部信息，如纹理信息、边缘信息等，为医生提供可靠的辅助诊断意见，不仅利于缓解医生的工作负荷，减少因医生经验不足或视觉疲劳等原因引起的误诊，还为病人降低了活检率，减轻痛苦。研究使用的乳腺超声人工智能实时检测模块，在超声探查过程中可自动帮助医师发现结节，对于减少漏诊具有重要意义，并且能帮助医师进行超声诊断能力的自我训练。乳腺超声人工智能设备与远程医疗设备结合，有望获得远程超声专家的支持。对于提升基层医院超声医师技术水平，实现优质医疗资源再分配具有十分重要的社会价值。
本发明主要是开发一种基于超声医学视频图像的深度学习的乳腺BI-RADS 4、5类疾病恶性的检测方法及***，结合临床专家经验及临床病理诊断，研究影像表现与乳腺肿瘤良恶性及不同病理分型之间的关系，构建出准确性高且结果可解释的乳腺结节智能诊断模型，对在日常超声检测过程中，实时发现结节，并且诊断结节，为患者提供病情诊断及治疗方面的指导。
发明内容
本发明提出基于超声医学的乳腺结节检测方法及***，以超声乳腺视频图像检查为主要手段，旨在建立乳腺肿瘤良恶性判断及病理分型的精准方法，解决乳腺肿瘤动态识别及鉴别困难的疑难临床问题。高度精准的乳腺肿瘤定性***的建立，对乳腺肿瘤患者的诊治具有重大临床意义。
为实现上述目的，本发明采用以下技术方案：
基于超声医学的乳腺结节检测方法，包括以下步骤：
S1、获取乳腺超声视频数据，并进行预处理；
S2、将预处理数据通过迁移学习的方法训练，建立乳腺结节检测模型；
S21、特征提取：将预处理后的视频数据经过特征提取网络ResNet得到视频特征向量；
S22、线性分类：将所述视频特征向量通过线性分类网络检测视频各帧的分类概率；
S23、注意力选择：将所述视频特征向量通过注意力选择网络得到视频各帧权重；
S24、视频检测：结合线性分类给出的分类概率和注意力选择模块提供的各帧权重，得到乳腺结节检测模型；
S3、将待测试的视频数据输入所述乳腺结节检测模型，得出结果。
优选地，所述特征提取网络ResNet为网络深度18层的ResNet18，所述ResNet18的网络结构可以分为五个阶段，在首层中采用卷积核大小为7×7的卷积层捕获较大的感受野，随后经过一个步长为2的最大池化层，在后四层中，采用卷积核大小为3×3的卷积层进行特征提取。
优选地，所述步骤S21中特征提取具体为：将预处理后的视频数据V＝{ft|t∈[1，T]，t∈N^*}，其中ft表示视频第t帧图像，T表示视频长度，经过所述特征提取网络ResNet对视频各帧信息进行编码，可以得到视频特征向量序列F＝{st|t∈[1，T]，t∈N^*}，其中st表示视频第t帧图像对应的特征向量。
优选地，所述步骤S22中线性分类具体为：线性分类网络包括了一个全连接层和softmax函数层，所述全连接层在提取的特征向量的每个维度上执行特征融合，通过权重形式使分类专注于有效特征，忽略无用特征，所述softmax函数层对输出进行归一化，为分类提供有效概率，给定提取后的视频特征向量F，学习权重Wp∈R，视频的分类概率P＝softmax(WpF+b)，其中b是常数。
优选地，所述步骤S23中注意力选择具体为：注意力选择网络包括一个全连接层和softmax函数层，所述全连接层在提取的特征向量的每个维度上执行特征融合，通过权重形式使分类专注于有效特征，忽略无用特征，所述softmax函数层对输出进行归一化，为分类提供有效概率，给定提取后的视频特征向量F，学习权重Wa∈R，视频的注意力选择权重A＝softmax(WaF+b)，其中b是常数。
优选地，所述步骤S24中注意力选择具体为：所述乳腺结节检测模型的检测结果为
其中，
为检测概率。
优选地，所述步骤S2还包括步骤S25、损失函数：采用常用的交叉熵损失函数和中心损失函数来对模型的各个模块进行优化，根据各个视频的检测概率
和真实值y，分别计算交叉熵损失函数
和中心损失函数
其中，N表示训练数据集的大小，xi表示全连接层之前的特征，cyi表示第yi个类别的特征中心，λ控制二者之间的比重。
优选地，所述步骤S1的预处理步骤包括：
S11、将乳腺超声原始视频数据在超声成像部位截取最大矩形，并统一缩放大小至256×256，其中，在视频中间部位等距稀疏采样20帧；
S12、数字图像处理，对截取的超声视频图像进行分类，选择包含完整结节区域且较为清晰的图像片层，删除不含感兴趣区域的冗余图像；
S13、数据增强，采用随机裁剪的方式将分类好的超声视频图像随机裁剪成224×224像素，可将1份超声视频图像增强几百倍，采用空间几何变换类，对超声视频图像进行仿射变换，通过插值法填充，使超声视频图像大小保持一致。
基于超声医学的乳腺结节检测***，其特征在于，包括特征提取模块、线性分类模块、注意力选择模块、视频检测模块及损失函数模块，其中：
特征提取模块：将预处理后的视频数据经过特征提取网络ResNet得到视频特征向量；
线性分类模块：将所述视频特征向量通过线性分类网络检测视频各帧的分类概率；
注意力选择模块：将所述视频特征向量通过注意力选择网络得到视频各帧权重；
视频检测模块：结合线性分类给出的分类概率和注意力选择模块提供的各帧权重，得到乳腺结节检测模型；
损失函数模块：采用常用的交叉熵损失函数和中心损失函数来对模型的各个模块进行优化。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
1、本发明提供基于超声医学的乳腺结节检测方法及***，以超声乳腺视频图像检查为主要手段，旨在建立乳腺肿瘤良恶性判断及病理分型的精准方法，解决乳腺肿瘤动态识别及鉴别困难的疑难临床问题。高度精准的乳腺肿瘤定性***的建立，对乳腺肿瘤患者的诊治具有重大临床意义。
2、本发明提供基于超声医学的乳腺结节检测方法及***，采用特征提取网络ResNet18，有效地缓解了深层网络在反向传播时的梯度消失问题并解决了深层网络难以优化导致的退化问题，可以在数据集小的同时利用大型数据集上的预训练权重进行迁移学习。预训练权重为网络提供了较好的初始值，使得网络前期训练更加稳定，且利好于网络提取相关特征信息。
附图说明
图1为本发明构建方法步骤示意图；
图2为本发明乳腺结节检测模型实验流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明中需要说明的是，术语“上”“下”“左”“右”“竖直”“水平”“内”“外”等均为基于附图所示的方位或位置关系，仅仅是为了便于描述本发明和简化描述，而不是指示或暗示本发明的装置或元件必须具有特定的方位，因此不能理解为对本发明的限制。
实施例1
配合图1所示，本发明公开了基于超声医学的乳腺结节检测方法，包括以下步骤：
S1、获取乳腺超声视频数据，并进行预处理；
S11、将乳腺超声原始视频数据在超声成像部位截取最大矩形，并统一缩放大小至256×256，其中，在视频中间部位等距稀疏采样20帧；
S12、数字图像处理，对截取的超声视频图像进行分类，选择包含完整结节区域且较为清晰的图像片层，删除不含感兴趣区域的冗余图像；
S13、数据增强，采用随机裁剪的方式将分类好的超声视频图像随机裁剪成224×224像素，可将1份超声视频图像增强几百倍，采用空间几何变换类，对超声视频图像进行仿射变换，通过插值法填充，使超声视频图像大小保持一致。
S2、将预处理数据通过迁移学习的方法训练，建立乳腺结节检测模型；
S21、特征提取：将预处理后的视频数据经过特征提取网络ResNet得到视频特征向量；
特征提取网络ResNet为网络深度18层的ResNet18，ResNet18的网络结构可以分为五个阶段，每经历一个阶段，特征图的分辨率缩小一倍，在首层中采用卷积核大小为7×7的卷积层捕获较大的感受野，随后经过一个步长为2的最大池化层，在后四层中，采用卷积核大小为3×3的卷积层进行特征提取，随着每一层的递进，特征图的分辨率不断减小一半，特征通道数量增加一倍。
将预处理后的视频数据V＝{ft|t∈[1，T]，t∈N^*}，其中ft表示视频第t帧图像，T表示视频长度，经过所述特征提取网络ResNet对视频各帧信息进行编码，可以得到视频特征向量序列F＝{st|t∈[1，T]，t∈N^*}，其中st表示视频第t帧图像对应的特征向量。
S22、线性分类：将所述视频特征向量通过线性分类网络检测视频各帧的分类概率；
线性分类网络包括了一个全连接层和softmax函数层，所述全连接层在提取的特征向量的每个维度上执行特征融合，通过权重形式使分类专注于有效特征，忽略无用特征，所述softmax函数层对输出进行归一化，为分类提供有效概率，给定提取后的视频特征向量F，学习权重Wp∈R，视频的分类概率P＝softmax(WpF+b)，其中b是常数。
S23、注意力选择：将所述视频特征向量通过注意力选择网络得到视频各帧权重；
注意力选择网络包括一个全连接层和softmax函数层，所述全连接层在提取的特征向量的每个维度上执行特征融合，通过权重形式使分类专注于有效特征，忽略无用特征，所述softmax函数层对输出进行归一化，为分类提供有效概率，给定提取后的视频特征向量F，学习权重Wa∈R，视频的注意力选择权重A＝softmax(WaF+b)，其中b是常数。
S24、视频检测：结合线性分类给出的分类概率和注意力选择模块提供的各帧权重，得到乳腺结节检测模型；
所述乳腺结节检测模型的检测结果为
其中，
为检测概率。
步骤S25、损失函数：采用常用的交叉熵损失函数和中心损失函数来对模型的各个模块进行优化，根据各个视频的检测概率
和真实值y，分别计算交叉熵损失函数
和中心损失函数
其中，N表示训练数据集的大小，xi表示全连接层之前的特征，cyi表示第yi个类别的特征中心，λ控制二者之间的比重。
S3、将待测试的视频数据输入所述乳腺结节检测模型，得出结果，即该视频数据的患者是否患有乳腺结节，若有乳腺结节，其乳腺结节为良性还是恶心。
本实施例采用上述方法后，通过十折交叉验证，对网络模型进行评估，评估结果如下表1所述。具体的评估指标有准确率、精确率、召回率、F1值、平均精度、AUC等。
表一本实例方法的评估结果
超声视频图像采用标准为：观察病灶位置重点肿块的边缘形态、周围声晕、内部回声、后方衰减等，收集标准彩色血流图像、不加标注的原始图像供计算机分析,所有图像数据均包含任何患者相关病例信息，同一病人多次检查，取早期检查资料，最能表现乳腺部疾病特征的图像无测量标记(测量标记影响训练，回顾性的数据可以有测量标记，前瞻性数据需要无标记)格式：从超声机或者“云端”导出的无压缩DICOM格式(前瞻性数据要求DICOM)动态视频图像清晰：视频符合乳腺超造影指南，视频体现完整病灶造影过程。在人工分类标注的过程中定性诊断由一名主治医师完成，当遇到特殊病例，请求主任医师诊断，如果意见不一致时，共同回放观察动态图像，协商达成一致。
实施例2
本发明基于超声医学的乳腺结节检测***，其特征在于，包括特征提取模块、线性分类模块、注意力选择模块、视频检测模块及损失函数模块，其中：
特征提取模块：将预处理后的视频数据经过特征提取网络ResNet得到视频特征向量；
线性分类模块：将所述视频特征向量通过线性分类网络检测视频各帧的分类概率；
注意力选择模块：将所述视频特征向量通过注意力选择网络得到视频各帧权重；
视频检测模块：结合线性分类给出的分类概率和注意力选择模块提供的各帧权重，得到乳腺结节检测模型；
损失函数模块：采用常用的交叉熵损失函数和中心损失函数来对模型的各个模块进行优化。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (9)
1.基于超声医学的乳腺结节检测方法，其特征在于，包括以下步骤：
S1、获取乳腺超声视频数据，并进行预处理；
S2、将预处理数据通过迁移学习的方法训练，建立乳腺结节检测模型；
S21、特征提取：将预处理后的视频数据经过特征提取网络ResNet得到视频特征向量；
S22、线性分类：将所述视频特征向量通过线性分类网络检测视频各帧的分类概率；
S23、注意力选择：将所述视频特征向量通过注意力选择网络得到视频各帧权重；
S24、视频检测：结合线性分类给出的分类概率和注意力选择模块提供的各帧权重，得到乳腺结节检测模型；
S3、将待测试的视频数据输入所述乳腺结节检测模型，得出结果。
2.如权利要求1所述的基于超声医学的乳腺结节检测方法，其特征在于：所述特征提取网络ResNet为网络深度18层的ResNet18，所述ResNet18的网络结构可以分为五个阶段，在首层中采用卷积核大小为7×7的卷积层捕获较大的感受野，随后经过一个步长为2的最大池化层，在后四层中，采用卷积核大小为3×3的卷积层进行特征提取。
3.如权利要求1所述的基于超声医学的乳腺结节检测方法，其特征在于，所述步骤S21中特征提取具体为：将预处理后的视频数据V＝{ft|t∈[1，T]，t∈N^*}，其中ft表示视频第t帧图像，T表示视频长度，经过所述特征提取网络ResNet对视频各帧信息进行编码，可以得到视频特征向量序列F＝{st|t∈[1，T]，t∈N^*}，其中st表示视频第t帧图像对应的特征向量。
4.如权利要求3所述的基于超声医学的乳腺结节检测方法，其特征在于，所述步骤S22中线性分类具体为：线性分类网络包括了一个全连接层和softmax函数层，所述全连接层在提取的特征向量的每个维度上执行特征融合，通过权重形式使分类专注于有效特征，忽略无用特征，所述softmax函数层对输出进行归一化，为分类提供有效概率，给定提取后的视频特征向量F，学习权重Wp∈R，视频的分类概率P＝softmax(Wp F+b)，其中b是常数。
5.如权利要求4所述的基于超声医学的乳腺结节检测方法，其特征在于，所述步骤S23中注意力选择具体为：注意力选择网络包括一个全连接层和softmax函数层，所述全连接层在提取的特征向量的每个维度上执行特征融合，通过权重形式使分类专注于有效特征，忽略无用特征，所述softmax函数层对输出进行归一化，为分类提供有效概率，给定提取后的视频特征向量F，学习权重Wa∈R，视频的注意力选择权重A＝softmax(WaF+b)，其中b是常数。
6.如权利要求5所述的基于超声医学的乳腺结节检测方法，其特征在于，所述步骤S24中注意力选择具体为：所述乳腺结节检测模型的检测结果为
其中，
为检测概率。
7.如权利要求6所述的基于超声医学的乳腺结节检测方法，其特征在于，所述步骤S2还包括步骤S25、损失函数：采用常用的交叉熵损失函数和中心损失函数来对模型的各个模块进行优化，根据各个视频的检测概率
和真实值y，分别计算交叉熵损失函数
和中心损失函数
其中，N表示训练数据集的大小，xi表示全连接层之前的特征，cyi表示第yi个类别的特征中心，λ控制二者之间的比重。
8.如权利要求1所述的基于超声医学的乳腺结节检测方法，其特征在于，所述步骤S1的预处理步骤包括：
S11、将乳腺超声原始视频数据在超声成像部位截取最大矩形，并统一缩放大小至256×256，其中，在视频中间部位等距稀疏采样20帧；
S12、数字图像处理，对截取的超声视频图像进行分类，选择包含完整结节区域且较为清晰的图像片层，删除不含感兴趣区域的冗余图像；
S13、数据增强，采用随机裁剪的方式将分类好的超声视频图像随机裁剪成224×224像素，可将1份超声视频图像增强几百倍，采用空间几何变换类，对超声视频图像进行仿射变换，通过插值法填充，使超声视频图像大小保持一致。
9.基于超声医学的乳腺结节检测***，其特征在于，包括特征提取模块、线性分类模块、注意力选择模块、视频检测模块及损失函数模块，其中：
特征提取模块：将预处理后的视频数据经过特征提取网络ResNet得到视频特征向量；
线性分类模块：将所述视频特征向量通过线性分类网络检测视频各帧的分类概率；
注意力选择模块：将所述视频特征向量通过注意力选择网络得到视频各帧权重；
视频检测模块：结合线性分类给出的分类概率和注意力选择模块提供的各帧权重，得到乳腺结节检测模型；
损失函数模块：采用常用的交叉熵损失函数和中心损失函数来对模型的各个模块进行优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010924386.0A CN112086197B (zh) | 2020-09-04 | 2020-09-04 | 基于超声医学的乳腺结节检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010924386.0A CN112086197B (zh) | 2020-09-04 | 2020-09-04 | 基于超声医学的乳腺结节检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112086197A true CN112086197A (zh) | 2020-12-15 |
| CN112086197B CN112086197B (zh) | 2022-05-10 |
Family
ID=73731488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010924386.0A Active CN112086197B (zh) | 2020-09-04 | 2020-09-04 | 基于超声医学的乳腺结节检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112086197B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884707A (zh) * | 2021-01-15 | 2021-06-01 | 复旦大学附属妇产科医院 | 基于***镜的***前病变检测***、设备及介质 |
| CN113053523A (zh) * | 2021-04-23 | 2021-06-29 | 广州易睿智影科技有限公司 | 一种持续自我学习多模型融合超声乳腺肿块精准鉴别*** |
| CN113065533A (zh) * | 2021-06-01 | 2021-07-02 | 北京达佳互联信息技术有限公司 | 一种特征提取模型生成方法、装置、电子设备和存储介质 |
| CN113256605A (zh) * | 2021-06-15 | 2021-08-13 | 四川大学 | 一种基于深度神经网络的乳腺癌图像识别分类方法 |
| CN114360695A (zh) * | 2021-12-24 | 2022-04-15 | 上海杏脉信息科技有限公司 | 乳腺超声扫查分析辅助***、介质及设备 |
| CN114842238A (zh) * | 2022-04-01 | 2022-08-02 | 苏州视尚医疗科技有限公司 | 一种嵌入式乳腺超声影像的识别方法 |
| CN116416381A (zh) * | 2023-03-31 | 2023-07-11 | 脉得智能科技(无锡)有限公司 | 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质 |
| CN116563216A (zh) * | 2023-03-31 | 2023-08-08 | 河北大学 | 基于标准站点智能识别的内镜超声扫查控制优化***及方法 |
| CN116705252A (zh) * | 2023-06-16 | 2023-09-05 | 脉得智能科技(无锡)有限公司 | ***癌诊断模型的构建方法、图像分类方法、设备、介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040086161A1 (en) * | 2002-11-05 | 2004-05-06 | Radhika Sivaramakrishna | Automated detection of lung nodules from multi-slice CT image data |
| US20050171409A1 (en) * | 2004-01-30 | 2005-08-04 | University Of Chicago | Automated method and system for the detection of lung nodules in low-dose CT image for lung-cancer screening |
| CN108596195A (zh) * | 2018-05-09 | 2018-09-28 | 福建亿榕信息技术有限公司 | 一种基于稀疏编码特征提取的场景识别方法 |
| CN110391022A (zh) * | 2019-07-25 | 2019-10-29 | 东北大学 | 一种基于多阶段迁移的深度学习乳腺癌病理图像细分诊断方法 |
| CN111243730A (zh) * | 2020-01-17 | 2020-06-05 | 视隼智能科技(上海)有限公司 | 一种基于乳腺超声影像的乳腺病灶智能分析方法及*** |
-
2020
- 2020-09-04 CN CN202010924386.0A patent/CN112086197B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040086161A1 (en) * | 2002-11-05 | 2004-05-06 | Radhika Sivaramakrishna | Automated detection of lung nodules from multi-slice CT image data |
| US20050171409A1 (en) * | 2004-01-30 | 2005-08-04 | University Of Chicago | Automated method and system for the detection of lung nodules in low-dose CT image for lung-cancer screening |
| CN108596195A (zh) * | 2018-05-09 | 2018-09-28 | 福建亿榕信息技术有限公司 | 一种基于稀疏编码特征提取的场景识别方法 |
| CN110391022A (zh) * | 2019-07-25 | 2019-10-29 | 东北大学 | 一种基于多阶段迁移的深度学习乳腺癌病理图像细分诊断方法 |
| CN111243730A (zh) * | 2020-01-17 | 2020-06-05 | 视隼智能科技(上海)有限公司 | 一种基于乳腺超声影像的乳腺病灶智能分析方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 邓迪: "基于自匹配注意力机制的命名实体关系识别模型", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884707A (zh) * | 2021-01-15 | 2021-06-01 | 复旦大学附属妇产科医院 | 基于***镜的***前病变检测***、设备及介质 |
| CN113053523A (zh) * | 2021-04-23 | 2021-06-29 | 广州易睿智影科技有限公司 | 一种持续自我学习多模型融合超声乳腺肿块精准鉴别*** |
| CN113065533A (zh) * | 2021-06-01 | 2021-07-02 | 北京达佳互联信息技术有限公司 | 一种特征提取模型生成方法、装置、电子设备和存储介质 |
| CN113256605A (zh) * | 2021-06-15 | 2021-08-13 | 四川大学 | 一种基于深度神经网络的乳腺癌图像识别分类方法 |
| CN113256605B (zh) * | 2021-06-15 | 2021-11-02 | 四川大学 | 一种基于深度神经网络的乳腺癌图像识别分类方法 |
| CN114360695A (zh) * | 2021-12-24 | 2022-04-15 | 上海杏脉信息科技有限公司 | 乳腺超声扫查分析辅助***、介质及设备 |
| CN114842238A (zh) * | 2022-04-01 | 2022-08-02 | 苏州视尚医疗科技有限公司 | 一种嵌入式乳腺超声影像的识别方法 |
| CN114842238B (zh) * | 2022-04-01 | 2024-04-16 | 苏州视尚医疗科技有限公司 | 一种嵌入式乳腺超声影像的识别方法 |
| CN116416381A (zh) * | 2023-03-31 | 2023-07-11 | 脉得智能科技(无锡)有限公司 | 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质 |
| CN116563216A (zh) * | 2023-03-31 | 2023-08-08 | 河北大学 | 基于标准站点智能识别的内镜超声扫查控制优化***及方法 |
| CN116416381B (zh) * | 2023-03-31 | 2023-09-29 | 脉得智能科技(无锡)有限公司 | 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质 |
| CN116563216B (zh) * | 2023-03-31 | 2024-02-20 | 河北大学 | 基于标准站点智能识别的内镜超声扫查控制优化***及方法 |
| CN116705252A (zh) * | 2023-06-16 | 2023-09-05 | 脉得智能科技(无锡)有限公司 | ***癌诊断模型的构建方法、图像分类方法、设备、介质 |
| CN116705252B (zh) * | 2023-06-16 | 2024-05-31 | 脉得智能科技(无锡)有限公司 | ***癌诊断模型的构建方法、图像分类方法、设备、介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112086197B (zh) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112086197B (zh) | 基于超声医学的乳腺结节检测方法及*** | |
| US11101033B2 (en) | Medical image aided diagnosis method and system combining image recognition and report editing | |
| CN106372390B (zh) | 一种基于深度卷积神经网络的预防肺癌自助健康云服务*** | |
| CN113781440B (zh) | 超声视频病灶检测方法及装置 | |
| CN111429474B (zh) | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 | |
| CN111227864A (zh) | 使用超声图像利用计算机视觉进行病灶检测的方法与装置 | |
| TW202032577A (zh) | 醫學圖像分割方法、裝置、系統及圖像分割方法 | |
| CN112529834A (zh) | 病理图像模式在3d图像数据中的空间分布 | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断*** | |
| US20170262584A1 (en) | Method for automatically generating representations of imaging data and interactive visual imaging reports (ivir) | |
| CN107767362A (zh) | 一种基于深度学习的肺癌早筛装置 | |
| CN112071418B (zh) | 基于增强ct影像组学的胃癌腹膜转移的预测***及方法 | |
| JPWO2020027228A1 (ja) | 診断支援システム及び診断支援方法 | |
| CN112508884A (zh) | 一种癌变区域综合检测装置及方法 | |
| CN110738633B (zh) | 一种机体组织的三维图像处理方法及相关设备 | |
| Cheng et al. | Dr. Pecker: A Deep Learning-Based Computer-Aided Diagnosis System in Medical Imaging | |
| CN112967254A (zh) | 基于胸部ct影像肺部疾病识别和检测方法 | |
| CN113539476A (zh) | 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和*** | |
| CN108960305A (zh) | 一种内镜影像判定***及方法 | |
| CN112002407A (zh) | 一种基于超声视频的乳腺癌诊断装置及其方法 | |
| CN117275677A (zh) | 一种有效识别乳腺超声影像肿块良恶性方法 | |
| CN110827275A (zh) | 基于树莓派和深度学习的肝脏核磁动脉期影像质量分级方法 | |
| CN114359194A (zh) | 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法 | |
| CN116415649B (zh) | 基于多模态超声影像自监督学习的乳腺微小癌分析方法 | |
| US20220409181A1 (en) | Method and system for identifying a tendon in ultrasound imaging data and verifying such identity in live deployment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |