CN117422927A - 一种乳腺超声图像分类方法、***、电子设备及介质 - Google Patents
一种乳腺超声图像分类方法、***、电子设备及介质 Download PDFInfo
- Publication number
- CN117422927A CN117422927A CN202311490395.3A CN202311490395A CN117422927A CN 117422927 A CN117422927 A CN 117422927A CN 202311490395 A CN202311490395 A CN 202311490395A CN 117422927 A CN117422927 A CN 117422927A
- Authority
- CN
- China
- Prior art keywords
- classification
- network
- mbconv6
- classification result
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 210000005075 mammary gland Anatomy 0.000 title claims description 9
- 210000000481 breast Anatomy 0.000 claims abstract description 119
- 238000002604 ultrasonography Methods 0.000 claims abstract description 62
- 230000008859 change Effects 0.000 claims abstract description 21
- 238000013145 classification model Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 50
- 230000009466 transformation Effects 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000013138 pruning Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 12
- 206010006272 Breast mass Diseases 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种乳腺超声图像分类方法、***、电子设备及介质，涉及图像处理领域，该方法包括：获取待分类的乳腺超声图像；将待分类的乳腺超声图像输入至图像分类模型，得到最终分类结果；其中，最终分类结果为后方回声增强、后方回声无变化、后方回声衰减‑锐利或者后方回声衰减‑模糊。本发明能够提高乳腺超声图像分类的准确度和效率。
Description
技术领域
本发明涉及图像处理领域，特别是涉及一种乳腺超声图像分类方法、***、电子设备及介质。
背景技术
乳腺结节的快速准确定位是乳腺超声影像检查的关键。超声医师可以根据结节切面超声图像判断结节的性质和发展预期，并制定相应的诊疗方案。
后方回声是乳腺结节超声特征中的重要指标之一，常用于结节的良恶性评估。后方回声通常指结节下方的声波回声表现。结节质地不同，声波信号穿透结节区域时的衰减程度也不同。质地致密的结节区域会产生较大的声波衰减，在结节区域下方形成回声的衰减征象，可能提示恶性。质地通透的结节区域则不容易产生衰减，可能在结节区域下方形成回声的增强征象，可能提示良性。
但是，由于超声图像本身的分辨率有限且存在固有的散斑噪音，肉眼观察很难敏感地捕捉后方回声征象的变化，并且往往受到主观倾向的影响。亟需一种乳腺超声图像分类方法，来提高乳腺超声图像分类的准确度和效率。
发明内容
本发明的目的是提供一种乳腺超声图像分类方法、***、电子设备及介质，能够提高乳腺超声图像分类的准确度和效率。
为实现上述目的，本发明提供了如下方案：
一种乳腺超声图像分类方法，所述分类方法包括：
获取待分类的乳腺超声图像；
将所述待分类的乳腺超声图像输入至图像分类模型，得到最终分类结果；其中，所述最终分类结果为后方回声增强、后方回声无变化、后方回声衰减-锐利或者后方回声衰减-模糊；所述图像分类模型包括一级分类网络和二级分类网络；所述一级分类网络是通过应用一级训练集对所述一级网络进行训练得到的；所述二级分类网络是通过应用二级训练集对所述二级网络进行训练得到的；所述一级网络和所述二级网络均为深度神经网络；所述一级训练集包括乳腺超声图像和对应的一级分类结果；所述对应的一级分类结果为后方回声增强、后方回声无变化或者后方回声衰减；所述二级训练集包括一级分类结果为后方回声衰减的乳腺超声图像和对应的二级分类结果；所述二级分类结果为后方回声衰减-锐利或者后方回声衰减-模糊；所述待分类的乳腺超声图像输入所述一级分类网络，得到一级分类结果；当所述一级分类结果为所述后方回声增强或者所述后方回声无变化时，所述一级分类结果为最终分类结果；当所述一级分类结果为后方回声衰减时，将所述待分类的乳腺超声图像输入至所述二级分类网络，得到二级分类结果，并将所述二级分类结果作为最终分类结果。
可选地，所述图像分类模型的构建过程具体包括：
获取多张原始乳腺超声图像和各所述原始乳腺超声图像的感兴趣区域；多张所述原始乳腺超声图像包括后方回声增强图像、后方回声无变化图像、后方回声衰减-锐利图像和后方回声衰减-不锐利图像；
确定各所述原始乳腺超声图像的感兴趣区域的外接矩阵，并根据所述外接矩阵确定后方回声预测区域，得到标注后的乳腺超声图像；
对所述标注后的乳腺超声图像进行预处理，得到预处理后的乳腺超声图像；所述预处理至少包括翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动和旋转变换中的两个操作；
以所述预处理后的乳腺超声图像为输入，以所述一级分类结果为输出，对所述一级网络进行训练，得到一级分类网络；
以分类后的乳腺超声图像为输入，以所述二级分类结果为输出，对所述二级网络进行训练，得到二级分类网络；所述分类后的乳腺超声图像为一级分类结果为后方回声衰减对应的中间乳腺超声图像；所述中间乳腺超声图像为预处理后的乳腺超声图像。
可选地，对所述标注后的乳腺超声图像进行预处理，执行之前还包括：
对标注后的乳腺超声图像应用插值算法缩放至预设像素。
可选地，所述插值算法为Lanczos插值算法。
可选地，所述一级网络的结构包括输入层、Conv1层、Fused-MBConv1、第一Fused-MBConv4、第二Fused-MBConv4、MBConv4、第一MBConv6、第二MBConv6、Conv2层、GAP层和Softmax；
所述输入层连接所述Conv1层；所述Conv1层连接所述Fused-MBConv1；所述Fused-MBConv1连接所述第一Fused-MBConv4；所述第一Fused-MBConv4连接所述第二Fused-MBConv4；所述第二Fused-MBConv4连接MBConv4；所述MBConv4连接所述第一MBConv6；所述第一MBConv6连接所述第二MBConv6；所述第二MBConv6连接所述Conv2层；所述Conv2层连接所述GAP层；所述所述GAP层连接Softmax。
可选地，所述二级网络的结构包括输入层、所述Conv1层、MBConv1、第一MBConv6、第二MBConv6、第三MBConv6、第四MBConv6、第五MBConv6、第六MBConv6、Conv2层、GAP层和Sigmoid；
所述输入层连接Conv1层；所述Conv1层连接MBConv1；所述MBConv1连接所述第一MBConv6；所述第一MBConv6连接所述第二MBConv6；所述第二MBConv6连接所述第三MBConv6；所述第三MBConv6连接所述第四MBConv6；所述第四MBConv6连接所述第五MBConv6；所述第五MBConv6连接所述第六MBConv6；所述第六MBConv6连接所述Conv2层；所述Conv2层连接所述GAP层；所述GAP层连接Sigmoid。
一种乳腺超声图像分类***，应用上述的乳腺超声图像分类方法，所述分类***包括：
获取模块，用于获取待分类的乳腺超声图像；
分类模块，用于将所述待分类的乳腺超声图像输入至图像分类模型，得到最终分类结果；其中，所述最终分类结果为后方回声增强、后方回声无变化、后方回声衰减-锐利或者后方回声衰减-模糊；所述图像分类模型包括一级分类网络和二级分类网络；所述一级分类网络是通过应用一级训练集对所述一级网络进行训练得到的；所述二级分类网络是通过应用二级训练集对所述二级网络进行训练得到的；所述一级网络和所述二级网络均为深度神经网络；所述一级训练集包括乳腺超声图像和对应的一级分类结果；所述对应的一级分类结果为后方回声增强、后方回声无变化或者后方回声衰减；所述二级训练集包括一级分类结果为后方回声衰减的乳腺超声图像和对应的二级分类结果；所述二级分类结果为后方回声衰减-锐利或者后方回声衰减-模糊；所述待分类的乳腺超声图像输入所述一级分类网络，得到一级分类结果；当所述一级分类结果为所述后方回声增强或者所述后方回声无变化时，所述一级分类结果为最终分类结果；当所述一级分类结果为后方回声衰减时，将所述待分类的乳腺超声图像输入至所述二级分类网络，得到二级分类结果，并将所述二级分类结果作为最终分类结果。
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的乳腺超声图像分类方法。
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的乳腺超声图像分类方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明应用图像分类模型对待分类的乳腺超声图像进行分类，得到的最终分类结果为后方回声增强、后方回声无变化、后方回声衰减-锐利或者后方回声衰减-模糊；而图像分类模型包括一级分类网络和二级分类网络；将待分类的乳腺超声图像输入一级分类网络，得到一级分类结果；当所述一级分类结果为所述后方回声增强或者所述后方回声无变化时，所述一级分类结果为最终分类结果；当所述一级分类结果为后方回声衰减时，将所述待分类的乳腺超声图像输入至所述二级分类网络，得到二级分类结果，并将所述二级分类结果作为最终分类结果。本发明通过图像分类模型直接得到最终分类结果，提高了乳腺超声图像分类的效率，通过采用一级分类网络和二级分类网络的结构，提高了乳腺超声图像分类的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的超声后方回声示意图，其中，图1中的a为后方回声增强示意图，图1中的b为后方回声无变化示意图，图1中的c为后方回声衰减-不锐利示意图，图1中的d为后方回声衰减-锐利示意图；
图2为本发明的超声乳腺结节后方回声检测方法实际应用流程图；
图3为本发明的后方回声及参考区域矩形示意图；
图4为本发明的后方回声预测区域示意图；
图5为本发明的一级网络结构示意图；
图6为本发明的二级网络结构示意图；
图7为本发明的乳腺超声图像分类方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种乳腺超声图像分类方法、***、电子设备及介质，能够提高乳腺超声图像分类的准确度和效率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图2和图7所示，本发明提供了一种乳腺超声图像分类方法，所述分类方法包括：
步骤S1：获取待分类的乳腺超声图像。
步骤S2：将所述待分类的乳腺超声图像输入至图像分类模型，得到最终分类结果；其中，所述最终分类结果为后方回声增强、后方回声无变化、后方回声衰减-锐利或者后方回声衰减-模糊；所述图像分类模型包括一级分类网络和二级分类网络；所述一级分类网络是通过应用一级训练集对所述一级网络进行训练得到的；所述二级分类网络是通过应用二级训练集对所述二级网络进行训练得到的；所述一级网络和所述二级网络均为深度神经网络；所述一级训练集包括乳腺超声图像和对应的一级分类结果；所述对应的一级分类结果为后方回声增强、后方回声无变化或者后方回声衰减；所述二级训练集包括一级分类结果为后方回声衰减的乳腺超声图像和对应的二级分类结果；所述二级分类结果为后方回声衰减-锐利或者后方回声衰减-模糊；所述待分类的乳腺超声图像输入所述一级分类网络，得到一级分类结果；当所述一级分类结果为所述后方回声增强或者所述后方回声无变化时，所述一级分类结果为最终分类结果；当所述一级分类结果为后方回声衰减时，将所述待分类的乳腺超声图像输入至所述二级分类网络，得到二级分类结果，并将所述二级分类结果作为最终分类结果。
进一步地，所述一级网络为BrEff1-net。所述二级网络为BrEff2-net。
作为一个具体地实施方式，所述图像分类模型的构建过程具体包括：
步骤S101：获取多张原始乳腺超声图像和各所述原始乳腺超声图像的感兴趣区域；多张所述原始乳腺超声图像包括后方回声增强图像、后方回声无变化图像、后方回声衰减-锐利图像和后方回声衰减-不锐利图像。
在实际应用中，如图1所示。首先获取包含乳腺结节的乳腺超声图片。图1中的a为后方回声增强示意图，图1中的b为后方回声无变化示意图，图1中的c为后方回声衰减-不锐利示意图，图1中的d为后方回声衰减-锐利示意图，本发明一共使用2561张包含乳腺结节的乳腺超声图片，其中后方回声增强602张，后方回声无变化1760张，后方回声衰减-锐利106张，后方回声衰减-不锐利93张。
由专业超声医师通过打点的方式标注结节边界轮廓。对于任意结节P，共包含不少于十个勾勒点，将这些点连接成的结节边缘轮廓记作图像的感兴趣区域。所有勾勒点构成的集合为(xi，yi)∈P，(i≥10)。
步骤S102：确定各所述原始乳腺超声图像的感兴趣区域的外接矩阵，并根据所述外接矩阵确定后方回声预测区域，得到标注后的乳腺超声图像。标注后的乳腺超声图像为后方回声预测区域的图像。
步骤S103：对标注后的乳腺超声图像应用插值算法缩放至预设像素。具体地，所述插值算法为Lanczos插值算法。
在实际应用中，首先取结节最小外接矩形区域RectROI，使其满足：
其中RectRoI(x，y，w，h)为该图片中结节的外接矩形，x、y分别为外接矩形的左上角横、纵坐标，w、h为外接矩形的宽度和高度，Px为所有勾勒点的横坐标集合，Py为所有勾勒点的纵坐标集合。最小外接矩形区域RectROI对应图3中的1区域；
得到感兴趣区域的最小外接矩形后，获取后方回声区域Rectback，其计算公式如下：
后方回声区域Rectback对应图3中的2区域；
后方回声参照区域Rectc1，Rectc2计算公式如下：
后方回声参照区域Rectc1，Rectc2对应图3中的3区域；
后方回声预测区域构建步骤如下，首先根据上述公式从原图中截取后方回声区域和后方回声参照区域得三张图像，然后按照后方回声区域在中间，后方回声参照区域在两边得顺序将三张图像拼接成一张图像得到后方回声预测区域，最后将拼接好的图像使用Lanczos插值算法统一缩放至224x224像素，步骤如图4所示。
步骤S104：在步骤S103的基础上，对所述标注后的乳腺超声图像进行预处理，得到预处理后的乳腺超声图像；所述预处理至少包括翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动和旋转变换中的两个操作。
在实际应用中，在深度学习网络训练前中，为了丰富图像训练集，更好的提取图像特征，防止模型过拟合，从下述八个图片增强方法中随机选取二至四个方法在训练过程中对图片进行增强：
1.翻转变换：水平或垂直翻转图像。
2.随机修剪：对图片随机0.6～1.0比率大小的区域进行裁剪。
3.色彩抖动：在训练集像素值的RGB每个颜色通道进行主成分分析，得到RGB空间的3个主方向向量，选择保留最重要的主成分(特征向量)生成新的色彩变化过的图像样本。
4.平移变换：将图像向上、下、左、右四个方向随机其中一个方向移动0-20个像素，多余部分使用0强度像素补充。
5.尺度变换：对图像按照指定的缩放比例，进行放大或缩小；或者利用指定的尺度大小对图像滤波构造尺度空间.改变图像内容的大小或模糊程度，最终将图像分辨率变为原图的0.8、0.9、1.1、1.2等倍数，作为新图像。
6.对比度变换：首先获取待处理的输入图像。计算图像的平均灰度值，用于后续处理。对图像进行对比度变换，通过调整图像像素的亮度值和分布来增强图像的对比度。根据预先设定的对比度增强参数，对图像的对比度进行调整，以获得不同程度的对比度增强效果。
7.噪声扰动：接收一个原始图像作为输入，生成一个与原始图像大小相同的椒盐噪声图像；生成一个与原始图像大小相同的高斯噪声图像；将生成的噪声图像与原始图像进行融合，输出融合后的图像作为扰动后的图像。融合后的图像具有增加的随机性和复杂性，并且保留了原始图像的主要特征。通过对扰动后的图像进行处理，能够提高图像处理算法的鲁棒性和饱和度。
8.旋转变换：将图像向顺时针或逆时针两个方向随机其中一个方向随机旋转0-15度，多余部分使用0强度像素补充。
步骤S105：以所述预处理后的乳腺超声图像为输入，以所述一级分类结果为输出，对所述一级网络进行训练，得到一级分类网络。
步骤S106：以分类后的乳腺超声图像为输入，以所述二级分类结果为输出，对所述二级网络进行训练，得到二级分类网络；所述分类后的乳腺超声图像为一级分类结果为后方回声衰减对应的中间乳腺超声图像；所述中间乳腺超声图像为预处理后的乳腺超声图像。
在实际应用中，本发明构建了两级网络对乳腺后方回声进行分类，两级网络如图5和图6所示。一级网络为BrEff1-net，二级网络为BrEff2-net。一级网络和二级网络在训练时输入的都是后方回声预测区域经过步骤103和步骤104处理后得到的图像。BrEff1-net是BreastEfficientStage1Net，是基于现有网络EfficientNetv2s改进而成；BrEff2-net是BreastEfficientStage2Net，是基于现有网络EfficientNetb0改进而成。
本发明中首先使用BrEff1-net作为的深度神经网络将输入图片分为三类：后方回声增强、后方回声衰减和后方回声无变化。一级网络使用EfficientNetV2-s构架作为基本骨架。
BrEff1-net包含一个输入层，输入尺寸为(w，h，c)，其中w＝224，h＝224，c＝3，输入层连接至骨架网络EfficientNetV2-s，由一系列重复的MBConv-Blocks和Fused-MBConv-Block组成。MBConv模块是EfficientNet系列中的核心模块，主要由一系列深度可分离卷积、扩张卷积和Squeeze-and-Excitation(SE)模块组成，用于在不同层次上提取图像特征。Fused-MBConv-Block结合了Depthwise Separable Convolution(深度可分离卷积)和Squeeze-and-Excitation(压缩和激励)两种操作来提高网络的效率和性能。在所有卷积层之后，使用全局平均池化层将卷积输出展开，之后连接0.5去除概率的(dropout layer)，最后连接至使用softmax激活函数的输出层。中间层使用leaky ReLU作为激活函数，训练过程中使用Adam优化器进行参数反向传播。输出结果为三类，分别是后方回声增强、后方回声衰减和后方回声无变化。如果一级网络输出为后方回声增强和后方回声无变化那么为最终的输出结果，如果一级网络输出为后方回声衰减，那么则将输入的原图输入进二级网络继续判断。
具体地，一级网络的结构包括输入层、Conv1层、Fused-MBConv1、第一Fused-MBConv4、第二Fused-MBConv4、MBConv4、第一MBConv6、第二MBConv6、Conv2层、GAP层和Softmax。
所述输入层连接所述Conv1层；所述Conv1层连接所述Fused-MBConv1；所述Fused-MBConv1连接所述第一Fused-MBConv4；所述第一Fused-MBConv4连接所述第二Fused-MBConv4；所述第二Fused-MBConv4连接MBConv4；所述MBConv4连接所述第一MBConv6；所述第一MBConv6连接所述第二MBConv6；所述第二MBConv6连接所述Conv2层；所述Conv2层连接所述GAP层；所述所述GAP层连接Softmax。
进一步地，BrEff1-net包含一个输入层，输入尺寸为(w，h，c)，其中w＝224，h＝224，c＝3，输入层连接一层Conv1层，尺寸为K3×3，然后Conv1层连接两层Fused-MBConv1，尺寸为K3×3，两层Fused-MBConv1接下来连接四层Fused-MBConv4，尺寸为K3×3，四层Fused-MBConv4接下来连接四层Fused-MBConv4，尺寸为K3×3，四层Fused-MBConv4接下来连接六层MBConv4，尺寸为K3×3，六层MBConv4接下来连接九层MBConv6，尺寸为K3×3，九层MBConv6接下来连接十五层MBConv6，尺寸为K3×3，十五层MBConv6接下来连接一层Conv2层，尺寸为K1×1，一层Conv2层接下来连接GAP层，GAP层接下来连接Softmax。
本发明中使用BrEff2-net作为二级网络，将分类结果为后方回声衰减的图像进一步分为两个子类：后方回声衰减-锐利和后方回声衰减-模糊。
二级网络使用EfficientNet-b0构架作为基本骨架。BrEff2-net包含一个输入层，输入尺寸为(w，h，c)，其中w＝224，h＝224，c＝3，输入层连接至骨架网络EfficientNetV2-b0，同样由一系列重复的Blocks组成。每个Block由多个MBConv模块和一个卷积层组成。在所有卷积层之后，使用全局平均池化层将卷积输出展开，之后连接0.5去除概率的(dropoutlayer)，最后连接至使用sigmoid激活函数的输出层。中间层使用leaky ReLU作为激活函数，训练过程中使用Adam优化器进行参数反向传播。输出结果为二类，分别是后方回声衰减-锐利和后方回声衰减-模糊。
具体地，二级网络的结构包括输入层、所述Conv1层、MBConv1、第一MBConv6、第二MBConv6、第三MBConv6、第四MBConv6、第五MBConv6、第六MBConv6、Conv2层、GAP层和Sigmoid。
所述输入层连接Conv1层；所述Conv1层连接MBConv1；所述MBConv1连接所述第一MBConv6；所述第一MBConv6连接所述第二MBConv6；所述第二MBConv6连接所述第三MBConv6；所述第三MBConv6连接所述第四MBConv6；所述第四MBConv6连接所述第五MBConv6；所述第五MBConv6连接所述第六MBConv6；所述第六MBConv6连接所述Conv2层；所述Conv2层连接所述GAP层；所述GAP层连接Sigmoid。
进一步地，二级网络包含一个输入层，输入尺寸为(w，h，c)，其中w＝224，h＝224，c＝3，输入层连接一层Conv1层，尺寸为K3×3，然后Conv1层连接一层MBConv1，尺寸为K3×3，一层MBConv1接下来连接两层MBConv6，尺寸为K3×3，两层MBConv6接下来连接两层MBConv6，尺寸为K5×5，两层MBConv6接下来连接三层MBConv6，尺寸为K3×3，三层MBConv6接下来连接三层MBConv6，尺寸为K5×5，三层MBConv6接下来连接四层MBConv6，尺寸为K5×5，四层MBConv6接下来连接一层MBConv6，尺寸为K3×3，一层MBConv6接下来连接一层Conv2层，尺寸为K1×1，一层Conv2层接下来连接GAP层，GAP层接下来连接Sigmoid。
本发明中最终输出结果为一级网络和二级网络的输出结果。分别为一级网络输出的后方回声增强、后方回声无变化、二级网络输出的后方回声衰减-锐利或者后方回声衰减-模糊。
本发明具有以下优势：
1)相较于传统的单一的图像处理阈值测量方法，本方法使用BrEff-net深度网络提取与结节后方回声相关的多项深度特征，因此较前述方法有更高的准确率。此外，本方法通过图像数据增强的方法适配不同质量和来源超声图像，且对人为设定的阈值依赖程度小，具有更广泛的适用性。
2)本方法使用二阶段深度学习网络对后方回声衰减进行进一步细分，切合临床需求。二级网络采用轻量级网络来减少计算量。与传统深度学习算法相比，计算效率和准确率能够进一步提升。较其他基于机器学习的方法，本方法训练使用的图像数量大且覆盖的结节种类多，也保证了本方法能够在不同类别的结节上做出准确的测量。
实施例二
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种乳腺超声图像分类***，所述分类***包括：
获取模块，用于获取待分类的乳腺超声图像。
分类模块，用于将所述待分类的乳腺超声图像输入至图像分类模型，得到最终分类结果；其中，所述最终分类结果为后方回声增强、后方回声无变化、后方回声衰减-锐利或者后方回声衰减-模糊；所述图像分类模型包括一级分类网络和二级分类网络；所述一级分类网络是通过应用一级训练集对所述一级网络进行训练得到的；所述二级分类网络是通过应用二级训练集对所述二级网络进行训练得到的；所述一级网络和所述二级网络均为深度神经网络；所述一级训练集包括乳腺超声图像和对应的一级分类结果；所述对应的一级分类结果为后方回声增强、后方回声无变化或者后方回声衰减；所述二级训练集包括一级分类结果为后方回声衰减的乳腺超声图像和对应的二级分类结果；所述二级分类结果为后方回声衰减-锐利或者后方回声衰减-模糊；所述待分类的乳腺超声图像输入所述一级分类网络，得到一级分类结果；当所述一级分类结果为所述后方回声增强或者所述后方回声无变化时，所述一级分类结果为最终分类结果；当所述一级分类结果为后方回声衰减时，将所述待分类的乳腺超声图像输入至所述二级分类网络，得到二级分类结果，并将所述二级分类结果作为最终分类结果。
实施例三
本发明实施例提供一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行计算机程序以使电子设备执行实施例一的乳腺超声图像分类方法。
可选地，上述电子设备可以是服务器。
另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的乳腺超声图像分类方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种乳腺超声图像分类方法，其特征在于，所述分类方法包括：
获取待分类的乳腺超声图像；
将所述待分类的乳腺超声图像输入至图像分类模型，得到最终分类结果；其中，所述最终分类结果为后方回声增强、后方回声无变化、后方回声衰减-锐利或者后方回声衰减-模糊；所述图像分类模型包括一级分类网络和二级分类网络；所述一级分类网络是通过应用一级训练集对所述一级网络进行训练得到的；所述二级分类网络是通过应用二级训练集对所述二级网络进行训练得到的；所述一级网络和所述二级网络均为深度神经网络；所述一级训练集包括乳腺超声图像和对应的一级分类结果；所述对应的一级分类结果为后方回声增强、后方回声无变化或者后方回声衰减；所述二级训练集包括一级分类结果为后方回声衰减的乳腺超声图像和对应的二级分类结果；所述二级分类结果为后方回声衰减-锐利或者后方回声衰减-模糊；所述待分类的乳腺超声图像输入所述一级分类网络，得到一级分类结果；当所述一级分类结果为所述后方回声增强或者所述后方回声无变化时，所述一级分类结果为最终分类结果；当所述一级分类结果为后方回声衰减时，将所述待分类的乳腺超声图像输入至所述二级分类网络，得到二级分类结果，并将所述二级分类结果作为最终分类结果。
2.根据权利要求1所述的乳腺超声图像分类方法，其特征在于，所述图像分类模型的构建过程具体包括：
获取多张原始乳腺超声图像和各所述原始乳腺超声图像的感兴趣区域；多张所述原始乳腺超声图像包括后方回声增强图像、后方回声无变化图像、后方回声衰减-锐利图像和后方回声衰减-不锐利图像；
确定各所述原始乳腺超声图像的感兴趣区域的外接矩阵，并根据所述外接矩阵确定后方回声预测区域，得到标注后的乳腺超声图像；
对所述标注后的乳腺超声图像进行预处理，得到预处理后的乳腺超声图像；所述预处理至少包括翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动和旋转变换中的两个操作；
以所述预处理后的乳腺超声图像为输入，以所述一级分类结果为输出，对所述一级网络进行训练，得到一级分类网络；
以分类后的乳腺超声图像为输入，以所述二级分类结果为输出，对所述二级网络进行训练，得到二级分类网络；所述分类后的乳腺超声图像为一级分类结果为后方回声衰减对应的中间乳腺超声图像；所述中间乳腺超声图像为预处理后的乳腺超声图像。
3.根据权利要求2所述的乳腺超声图像分类方法，其特征在于，对所述标注后的乳腺超声图像进行预处理，执行之前还包括：
对标注后的乳腺超声图像应用插值算法缩放至预设像素。
4.根据权利要求3所述的乳腺超声图像分类方法，其特征在于，所述插值算法为Lanczos插值算法。
5.根据权利要求1所述的乳腺超声图像分类方法，其特征在于，所述一级网络的结构包括输入层、Conv1层、Fused-MBConv1、第一Fused-MBConv4、第二Fused-MBConv4、MBConv4、第一MBConv6、第二MBConv6、Conv2层、GAP层和Softmax；
所述输入层连接所述Conv1层；所述Conv1层连接所述Fused-MBConv1；所述Fused-MBConv1连接所述第一Fused-MBConv4；所述第一Fused-MBConv4连接所述第二Fused-MBConv4；所述第二Fused-MBConv4连接MBConv4；所述MBConv4连接所述第一MBConv6；所述第一MBConv6连接所述第二MBConv6；所述第二MBConv6连接所述Conv2层；所述Conv2层连接所述GAP层；所述所述GAP层连接Softmax。
6.根据权利要求1所述的乳腺超声图像分类方法，其特征在于，所述二级网络的结构包括输入层、所述Conv1层、MBConv1、第一MBConv6、第二MBConv6、第三MBConv6、第四MBConv6、第五MBConv6、第六MBConv6、Conv2层、GAP层和Sigmoid；
所述输入层连接Conv1层；所述Conv1层连接MBConv1；所述MBConv1连接所述第一MBConv6；所述第一MBConv6连接所述第二MBConv6；所述第二MBConv6连接所述第三MBConv6；所述第三MBConv6连接所述第四MBConv6；所述第四MBConv6连接所述第五MBConv6；所述第五MBConv6连接所述第六MBConv6；所述第六MBConv6连接所述Conv2层；所述Conv2层连接所述GAP层；所述GAP层连接Sigmoid。
7.一种乳腺超声图像分类***，其特征在于，所述分类***包括：
获取模块，用于获取待分类的乳腺超声图像；
分类模块，用于将所述待分类的乳腺超声图像输入至图像分类模型，得到最终分类结果；其中，所述最终分类结果为后方回声增强、后方回声无变化、后方回声衰减-锐利或者后方回声衰减-模糊；所述图像分类模型包括一级分类网络和二级分类网络；所述一级分类网络是通过应用一级训练集对所述一级网络进行训练得到的；所述二级分类网络是通过应用二级训练集对所述二级网络进行训练得到的；所述一级网络和所述二级网络均为深度神经网络；所述一级训练集包括乳腺超声图像和对应的一级分类结果；所述对应的一级分类结果为后方回声增强、后方回声无变化或者后方回声衰减；所述二级训练集包括一级分类结果为后方回声衰减的乳腺超声图像和对应的二级分类结果；所述二级分类结果为后方回声衰减-锐利或者后方回声衰减-模糊；所述待分类的乳腺超声图像输入所述一级分类网络，得到一级分类结果；当所述一级分类结果为所述后方回声增强或者所述后方回声无变化时，所述一级分类结果为最终分类结果；当所述一级分类结果为后方回声衰减时，将所述待分类的乳腺超声图像输入至所述二级分类网络，得到二级分类结果，并将所述二级分类结果作为最终分类结果。
8.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至6中任一项所述的乳腺超声图像分类方法。
9.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的乳腺超声图像分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311490395.3A CN117422927A (zh) | 2023-11-09 | 2023-11-09 | 一种乳腺超声图像分类方法、***、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311490395.3A CN117422927A (zh) | 2023-11-09 | 2023-11-09 | 一种乳腺超声图像分类方法、***、电子设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117422927A true CN117422927A (zh) | 2024-01-19 |
Family
ID=89528277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311490395.3A Pending CN117422927A (zh) | 2023-11-09 | 2023-11-09 | 一种乳腺超声图像分类方法、***、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117422927A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614993A (zh) * | 2018-11-26 | 2019-04-12 | 深圳先进技术研究院 | 乳腺医学超声图像的自动化分类方法及装置 |
| CN110728674A (zh) * | 2019-10-21 | 2020-01-24 | 清华大学 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| AU2020101122A4 (en) * | 2020-06-25 | 2020-07-30 | A, Tamilselvi MS | Cnn model based approach towards breast cancer features detection from ultra sound images |
| CN112862808A (zh) * | 2021-03-02 | 2021-05-28 | 王建 | 一种基于深度学习的乳腺癌超声图像的可解释性识别方法 |
| CN113344864A (zh) * | 2021-05-21 | 2021-09-03 | 江苏乾君坤君智能网络科技有限公司 | 一种基于深度学习的超声甲状腺结节良恶性预测方法 |
| CN114219807A (zh) * | 2022-02-22 | 2022-03-22 | 成都爱迦飞诗特科技有限公司 | 乳腺超声检查图像分级方法、装置、设备和存储介质 |
| CN114842238A (zh) * | 2022-04-01 | 2022-08-02 | 苏州视尚医疗科技有限公司 | 一种嵌入式乳腺超声影像的识别方法 |
| CN115018761A (zh) * | 2022-04-20 | 2022-09-06 | 什维新智医疗科技(上海)有限公司 | 一种乳腺结节后方回声分类装置 |
| CN116433586A (zh) * | 2023-02-22 | 2023-07-14 | 华中科技大学 | 一种乳腺超声断层图像分割模型建立方法及分割方法 |
| CN116630680A (zh) * | 2023-04-06 | 2023-08-22 | 南方医科大学南方医院 | 一种x线摄影联合超声的双模态影像分类方法及*** |
-
2023
- 2023-11-09 CN CN202311490395.3A patent/CN117422927A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614993A (zh) * | 2018-11-26 | 2019-04-12 | 深圳先进技术研究院 | 乳腺医学超声图像的自动化分类方法及装置 |
| CN110728674A (zh) * | 2019-10-21 | 2020-01-24 | 清华大学 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| AU2020101122A4 (en) * | 2020-06-25 | 2020-07-30 | A, Tamilselvi MS | Cnn model based approach towards breast cancer features detection from ultra sound images |
| CN112862808A (zh) * | 2021-03-02 | 2021-05-28 | 王建 | 一种基于深度学习的乳腺癌超声图像的可解释性识别方法 |
| CN113344864A (zh) * | 2021-05-21 | 2021-09-03 | 江苏乾君坤君智能网络科技有限公司 | 一种基于深度学习的超声甲状腺结节良恶性预测方法 |
| CN114219807A (zh) * | 2022-02-22 | 2022-03-22 | 成都爱迦飞诗特科技有限公司 | 乳腺超声检查图像分级方法、装置、设备和存储介质 |
| CN114842238A (zh) * | 2022-04-01 | 2022-08-02 | 苏州视尚医疗科技有限公司 | 一种嵌入式乳腺超声影像的识别方法 |
| CN115018761A (zh) * | 2022-04-20 | 2022-09-06 | 什维新智医疗科技(上海)有限公司 | 一种乳腺结节后方回声分类装置 |
| CN116433586A (zh) * | 2023-02-22 | 2023-07-14 | 华中科技大学 | 一种乳腺超声断层图像分割模型建立方法及分割方法 |
| CN116630680A (zh) * | 2023-04-06 | 2023-08-22 | 南方医科大学南方医院 | 一种x线摄影联合超声的双模态影像分类方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| PRABHAKAR T: "Convolutional Neural Network Based Classification of Benign and Malignant Tumors from Breast Ultrasound Images", 《LONGDOM PUBLISHING SL》, 31 December 2020 (2020-12-31), pages 1 - 4 * |
| 杜章锦;龚勋;罗俊;章哲敏;杨菲;: "乳腺超声图像中易混淆困难样本的分类方法", 中国图象图形学报, no. 07, 16 July 2020 (2020-07-16), pages 212 - 222 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | PDR-Net: Perception-inspired single image dehazing network with refinement | |
| Wang et al. | An experimental-based review of image enhancement and image restoration methods for underwater imaging | |
| CN110046673B (zh) | 基于多特征融合的无参考色调映射图像质量评价方法 | |
| Li et al. | An underwater image enhancement benchmark dataset and beyond | |
| Kundu et al. | No-reference quality assessment of tone-mapped HDR pictures | |
| Jiang et al. | Unsupervised decomposition and correction network for low-light image enhancement | |
| Yin et al. | Color transferred convolutional neural networks for image dehazing | |
| US9922443B2 (en) | Texturing a three-dimensional scanned model with localized patch colors | |
| CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| CN111192226B (zh) | 一种图像融合去噪方法及装置、*** | |
| Ou et al. | A novel rank learning based no-reference image quality assessment method | |
| Shi et al. | Low-light image enhancement algorithm based on retinex and generative adversarial network | |
| CN113822830B (zh) | 基于深度感知增强的多曝光图像融合方法 | |
| Wang et al. | Low-light image enhancement based on virtual exposure | |
| Yan et al. | Ghost removal via channel attention in exposure fusion | |
| KR20200132682A (ko) | 이미지 최적화 방법, 장치, 디바이스 및 저장 매체 | |
| Zhong et al. | Deep attentional guided image filtering | |
| Wang et al. | Multiscale supervision-guided context aggregation network for single image dehazing | |
| An et al. | Image super-resolution reconstruction algorithm based on significant network connection-collaborative migration structure | |
| Huang et al. | Underwater image enhancement based on color restoration and dual image wavelet fusion | |
| Tan et al. | High dynamic range imaging for dynamic scenes with large-scale motions and severe saturation | |
| Wu et al. | Towards robust text-prompted semantic criterion for in-the-wild video quality assessment | |
| CN116228753B (zh) | 肿瘤预后评估方法、装置、计算机设备和存储介质 | |
| CN116563189A (zh) | 一种基于深度学习的医学图像跨对比度合成方法及*** | |
| Siddiqui et al. | Hierarchical color correction for camera cell phone images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |