CN113870194A - 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置 - Google Patents
深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置 Download PDFInfo
- Publication number
- CN113870194A CN113870194A CN202111045957.4A CN202111045957A CN113870194A CN 113870194 A CN113870194 A CN 113870194A CN 202111045957 A CN202111045957 A CN 202111045957A CN 113870194 A CN113870194 A CN 113870194A
- Authority
- CN
- China
- Prior art keywords
- image
- features
- lbp
- unit
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000026310 Breast neoplasm Diseases 0.000 title claims abstract description 38
- 206010006187 Breast cancer Diseases 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 title claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 12
- 230000003211 malignant effect Effects 0.000 claims description 11
- 238000002604 ultrasonography Methods 0.000 claims description 9
- 238000013526 transfer learning Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 description 8
- 210000000481 breast Anatomy 0.000 description 6
- 230000003902 lesion Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 206010054107 Nodule Diseases 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000002308 calcification Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 206010006272 Breast mass Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置，其包括图像数据库建立单元、图像预处理单元、兴趣区域提取单元、深层特征提取单元、浅层LBP特征提取提取单元、特征融合单元以及分类单元。图像数据库建立单元、图像预处理单元、兴趣区域提取单元、深层特征提取单元、浅层LBP特征提取提取单元、特征融合单元以及分类单元相互通讯连接。本发明基于深度学习网络对图像的深度特征提取可以描述肿瘤图像的高层复杂特征，基于旋转不变局部二值模式的特征提取可以描述肿瘤图像的低层简单特征，特征融合可以组合这些信息以获得更多区分特征，能够有效提高分类性能。
Description
技术领域
本发明涉及图像处理识别领域，具体地涉及一种深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置。
背景技术
乳腺肿瘤疾病是女性最常见的恶性肿瘤之一，因此，乳腺病变的早期诊断和恶性病变与良性病变的鉴别对患者的预后极为重要。与其他乳腺肿瘤成像方法(包括数字***X线摄影(DM)，磁共振(MR)和计算机断层扫描(CT))相比，超声检查(US)具有实时动态，低成本，无辐射和高可重复性的优势。它已成为临床医学检查的重要组成部分。它为临床可疑的乳腺肿瘤检查提供了必要的影像学信息，并成为早期乳腺癌的主要筛查办法。目前对于乳腺超声图像的分析诊断工作主要由影像医师进行，并根据***成像报告和数据***(BI-RADS)标准化用于描述和分类乳腺病变。然而，乳腺良恶性结节的鉴别主要取决于超声特征，如回声性，成分，形状，边缘和钙化。不同的特征与恶性肿瘤有不同的相关性，良性和恶性病变的形态学特征基本重叠。此外，图像的诊断在很大程度上取决于放射科医生的经验，因此，观察者之间可能会发生很大的变异。随着乳腺癌筛查的普及，乳腺期患者的数量逐年增加。提高筛查效率已成为放射科医生的主要问题。计算机辅助诊断(CAD)技术的出现使解决这些问题成为可能。
随着机器学习深度学习的不断发展，计算机辅助诊断在医学图像处理领域得到广泛的应用，此前的研究集中于人工手动提取超声图像的特征，如回声性，成分，形状，边缘，钙化等，然后进行特征选择算法对提取的特征进行优选得到最优的特征组合，最后利用支持向量机(SVM)、随机森林(RF)等分类器进行分类。传统的机器学习方法依赖于人工设计复杂的特征提取和特征选择方法，提取到的特征维度较高，工作量大且效率较低。最近一些经典的卷积神经网络被应用于乳腺肿瘤超声图像特征的自动提取，但是由于医学影像有着数据量小、病变区域不明显和噪声大的缺陷，而现有的卷积神经网络模型都是基于大规模二维图像数据所提出的，无法适应医学影像数据，因此一般的网络对乳腺肿瘤图像的特征不敏感，很难用于提取出具有代表性的特征。
发明内容
为了克服上述现有技术的不足，提出一种基于深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置。该装置采用基于特征融合的策略，利用改进的ResNet50模型提取的深度特征和浅层LBP特征对乳腺肿瘤结节进行良恶性分类。该装置能有效修复肿瘤图像边缘不清和噪声等质量问题，并提取乳腺肿瘤结节的具有代表性的特征。
具体地，本发明提供一种深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置，其包括图像数据库建立单元、图像预处理单元、兴趣区域提取单元、深层特征提取单元、浅层LBP特征提取提取单元、特征融合单元以及分类单元；
所述图像数据库建立单元用于建立乳腺肿瘤超声图像数据库，获取乳腺肿瘤结节图像和诊断结果；
所述图像预处理单元用于对超声图像进行数据增强，同时对肿瘤图像分别进行直方均衡化增强和Sobel算子边缘提取，将原始肿瘤图像、直方均衡化图像、边缘提取图像融合；
图像预处理单元进行图像预处理操作包括如下步骤：
S11、对原始超声图像进行直方图均衡化以增强动态范围偏小的图像的对比度；
S12、对原始超声图像进行Sobel算子运算图像亮度函数的灰度之近似值以提供精确的边缘方向信息，Sobel算子用来检测图像边缘，Sobel算子提取计算公式为：
其中，A为原始图像，GX为x方向上的卷积，GY为y方向上的卷积；
S13、将原始超声图像、直方均衡化图像和边缘提取图像融合；
所述兴趣区域提取单元用于提取感兴趣区域，得到图像分析所关注的重点，具体包括以下步骤：
采用最大类间阈值分割(Otsu)和形态学处理的方法进行感兴趣区域的提取；
提取超声图像的颜色信息并转换到lab空间的a分量；
采用Otsu算法实现图像的自动阈值分割，按照图像的灰度特性，将图像分为背景和目标两部分；
将灰度图像转换为二值图像，运用形态学处理的方法得到图像的边界轮廓曲线和感兴趣区域；
所述深层特征提取单元用于训练预训练的卷积神经网络模型，自动提取不同兴趣度和不同尺度的图像深度特征；
所述浅层LBP特征提取单元用于提取的旋转不变性局部二值模式(LBP)特征作为图像的浅层纹理特征；
所述特征融合单元用于将深度特征和浅层特征融合得到最终的特征向量；
所述分类单元用于将最终获得的特征输入SVM实现乳腺肿瘤超声图像的良恶性分类。
优选地，所述深层特征提取单元进行图像深度特征提取具体包括以下步骤：
S21、搭建基础模型ResNet50，利用迁移学习，加载ImageNet预训练的权重，并去除顶层全连接层；
S22、添加全局平均池化层、Batch Normalization(BN代表批量归一化))、全连接层；
S23、采用Dropout正则化方法防治过拟合。
优选地，浅层LBP特征提取单元进行浅层LBP特征提取具体包括以下步骤：
S31、将LBP特征图像进行分块，将检测窗口划分为16*16的小区域；
S32、对于每个区域中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较能产生8位二进制数，即得到该窗口中心像素点的LBP值。LBP的计算公式如下：
其中，p表示3*3窗口中除中心像素点之外的第p个像素点，I(c)表示中心像素点的灰度值，I(p)表示第p个像素点的灰度值，s(x)的计算公式如下：
S33、计算每块区域特征图像的直方图，将直方图进行归一化；
S34、将每块区域的直方图按空间顺序依次排列成一行，形成LBP特征向量。
优选地，特征融合单元进行特征融合具体包括以下步骤：
S41、采用早融合的策略，先融合多层的特征，然后在融合后的特征上训练分类器；
S42、将经过迁移学习的ResNet50提取的深度特征和浅层LBP特征分别进行BN层的参数归一化，然后进行concat操作。对于单通道的输出，若两路输入的通道分别为X1,X2,...,XC和Y1,Y2,...,YC，则concat的单个输出通道为：
优选地，分类单元进行分类的具体步骤如下：
S51、将S42提取的融合特征作为SVM的输入；
S52、对数据进行简单的缩放操作，并选择核函数；
S53、采用五倍交叉验证，选择最佳参数C和g；
S54、用得到的最佳参数对乳腺肿瘤超声图像进行良恶性分类。
与现有技术相比，本发明具有以下有益效果：
(1)本发明基于通道融合的预处理，利用直方均衡化提高超声图像的对比度，Sobel算子提取超声图像的边缘信息，原始图像、直方均衡化和Sobel边缘提取可以改善超声图像边缘模糊、噪声大等图像质量问题，有助于深度特征提取器对乳腺肿瘤超声图像特征的敏感提取，提高图像提取的精度和准确度。
(2)本发明基于深度学习网络对图像的深度特征提取能够描述肿瘤图像的高层复杂特征，基于旋转不变局部二值模式的特征提取能够描述肿瘤图像的低层简单特征，特征融合可以组合这些信息以获得更多区分特征，从而能够有效的提高分类性能。
(3)本发明采用端到端的流程，未使用传统图像识别中的大量手工特征，使得对图像的处理相比较传统的基于特征的训练方法更加快捷。另外本发明的装置的处理方法操作简单，直接输入乳腺肿瘤超声图像就能获得分类后的处理结果，图像处理快速且精度高，节约了大量的人力物力的付出。
附图说明
图1是本发明的结构示意框图；
图2是本发明方法的流程示意图；
图3a是实施例2中的原始图像；
图3b是实施例2中对原始图像进行Sobel算子边缘提取的图像；
图3c是实施例2中对原始图像直方均衡化后的图像；
图3d是实施例2中的融合图像；
图4是实施例3的残差结构示意图；
图5是实施例5的特征提取和融合流程图。
具体实施方式
以下将参考附图详细说明本发明的示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
具体地，本发明提供一种深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置，其包括图像数据库建立单元1、图像预处理单元2、兴趣区域提取单元3、深层特征提取单元4、浅层LBP特征提取提取单元5、特征融合单元6以及分类单元7。
图像数据库建立单元1用于建立乳腺肿瘤超声图像数据库，获取乳腺肿瘤结节图像和诊断结果；
图像预处理单元2用于对超声图像进行数据增强，同时对肿瘤图像分别进行直方均衡化增强和Sobel算子边缘提取，将原始肿瘤图像、直方均衡化图像、边缘提取图像融合；
兴趣区域提取单元3用于提取感兴趣区域，得到图像分析所关注的重点；
深层特征提取单元4用于训练预训练的卷积神经网络模型，自动提取不同感受和不同尺度的图像深度特征；
浅层LBP特征提取单元5用于提取的旋转不变性局部二值模式(LBP)特征作为图像的浅层纹理特征；
特征融合单元6用于将深度特征和浅层特征融合得到最终的特征向量；
分类单元7用于将最终获得的特征输入SVM实现乳腺肿瘤超声图像的良恶性分类。
优选地，图像预处理单元进行图像预处理操作包括如下步骤：
S11、对原始超声图像进行直方图均衡化以增强动态范围偏小的图像的对比度；
S12、对原始超声图像进行Sobel算子运算图像亮度函数的灰度之近似值以提供精确的边缘方向信息。Sobel算子用来检测图像边缘，Sobel算子提取计算公式为：
其中，A为原始图像，GX为x方向上的卷积，GY为y方向上的卷积。
S13、将原始超声图像、直方均衡化图像和边缘提取图像融合。
优选地，深层特征提取单元进行图像深度特征提取具体包括以下步骤：
S21、搭建基础模型ResNet50，利用迁移学习，加载ImageNet预训练的权重，并去除顶层全连接层；
S22、添加全局平均池化层、Batch Normalization(BN)、全连接层；
S23、采用Dropout正则化方法防治过拟合。
优选地，浅层LBP特征提取单元进行浅层LBP特征提取具体包括以下步骤：
S31、将LBP特征图像进行分块，将检测窗口划分为16*16的小区域；
S32、对于每个区域中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值。LBP的计算公式如下：
其中，p表示3*3窗口中除中心像素点之外的第p个像素点，I(c)表示中心像素点的灰度值，I(p)表示第p个像素点的灰度值，s(x)的计算公式如下：
S33、计算每块区域特征图像的直方图，将直方图进行归一化；
S34、将每块区域的直方图按空间顺序依次排列成一行，形成LBP特征向量。
优选地，特征融合单元进行特征融合具体包括以下步骤：
S41、采用早融合的策略，先融合多层的特征，然后在融合后的特征上训练分类器；
S42、将经过迁移学习的ResNet50提取的深度特征和浅层LBP特征分别进行BN层的参数归一化，然后进行concat操作。对于单通道的输出，若两路输入的通道分别为X1,X2,...,XC和Y1,Y2,...,YC，则concat的单个输出通道为：
优选地，分类单元进行分类的具体步骤如下：
S51、将S42提取的融合特征作为SVM的输入；
S52、对数据进行简单的缩放操作，并选择核函数；
S53、采用五倍交叉验证，选择最佳参数C和g；
S54、用得到的最佳参数对乳腺肿瘤超声图像进行良恶性分类。
实施例
建立乳腺肿瘤超声图像数据库，获取乳腺肿瘤结节图像和诊断结果
原始数据集由河北医科大学第二医院从乳腺结节患者处采集，所有的样本均由有经验的放射科医生进行标记和分类。整个数据集共2422张原始图像，包括1907张恶性肿瘤图像和515张良性肿瘤图像。
数据预处理：
针对超声图像对比度低、存在噪声、伪影等质量问题，本发明采用基于三通道融合的方法，分别将原始图像、直方均衡化图像、Sobel算子边缘提取图像融合。以图像为例，图3a为原始超声图像，图3b为Sobel算子边缘提取图像，图3c为直方均衡化图像，图3d为融合图像。
深度特征提取：
(1)残差结构
残差元的主要设计有两个，远挑连接和恒等映射，远跳使得残差变得可能，而恒等映射使得网络变深图4为残差结构示意图。
当输入为x时其学习到的特征记为H(x)，理想能学习到残差，原始的学习特征是F(x)+x。当残差为0时，此时堆积层只做了恒等映射，至少网络性能不会下降，实际上残差不会为0，这也会使得堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能。
(2)训练ResNet50模型
本专利利用迁移学***均池化层、Batch Normalization(BN)、全连接层；
在添加的全连接层后采用Dropout正则化方法防治过拟合。设置Dropout比例为0.5，首先随机(临时)删掉网络中一半的隐藏神经元，输入输出神经元保持不变，然后把输入x通过修改后的网络前向传播，然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度下降法更新对应的参数。
浅层LBP特征提取：
浅层LBP特征提取的具体步骤如下：
将LBP特征图像进行分块，将检测窗口划分为16*16的小区域；
对于每个区域中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值；
计算每块区域特征图像的直方图，将直方图进行归一化；
将每块区域的直方图按空间顺序依次排列成一行，形成LBP特征向量；
特征融合：
将经过迁移学习的ResNet50提取的深度特征和LBP提取的浅层纹理特征进行融合，具体地，先将两部分特征通过池化操作进行归一化，再将其级联(concat)可得到融合的特征。
SVM分类：
将实施例5提取的融合特征作为SVM的输入；对数据进行简单的缩放操作，并选择核函数；采用五倍交叉验证，选择最佳参数C和g；用得到的最佳参数对乳腺肿瘤超声图像进行良恶性分类。
最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置，其特征在于：其包括图像数据库建立单元、图像预处理单元、兴趣区域提取单元、深层特征提取单元、浅层LBP特征提取提取单元、特征融合单元以及分类单元；
所述图像数据库建立单元用于建立乳腺肿瘤超声图像数据库，获取乳腺肿瘤结节图像；
所述图像预处理单元用于对超声图像进行数据增强处理，同时对肿瘤图像分别进行直方均衡化增强和sobel算子边缘提取，将原始肿瘤图像、直方均衡化图像以及边缘提取图像进行融合；
所述图像预处理单元进行图像预处理操作具体包括如下步骤：
S11、对原始超声图像进行直方图均衡化以增强动态范围偏小的图像的对比度；
S12、对原始超声图像进行Sobel算子运算，得到图像亮度函数的灰度之近似值以提供精确的边缘方向信息,Sobel算子用来检测图像边缘，Sobel算子提取计算公式为：
其中，A为原始图像，GX为x方向上的卷积，GY为y方向上的卷积；
S13、将原始超声图像、直方均衡化图像和边缘提取图像进行融合；
所述感兴趣区域提取单元用于提取图像的感兴趣区域，得到图像分析关注的重点，具体包括以下步骤：
采用最大类间阈值分割算法和形态学处理的方法进行感兴趣区域的提取；
提取超声图像的颜色信息并转换到lab空间的a分量；
采用最大类间阈值分割算法实现图像的自动阈值分割，按照图像的灰度特性，将图像分为背景和目标两部分；
将灰度图像转换为二值图像，运用形态学处理的方法得到图像的边界轮廓曲线和感兴趣区域；
所述深层特征提取单元用于训练预训练的卷积神经网络模型，自动提取不同兴趣度和不同尺度的图像深度特征；
所述浅层LBP特征提取单元用于提取旋转不变性局部二值模式特征作为图像的浅层纹理特征，其具体步骤为首先将LBP特征图像进行分块，将检测窗口划分为16*16的多个区域；
其次将每个区域中的一个像素作为中心像素，将相邻的8个像素的灰度值与中心像素进行比较，若周围像素的灰度值大于中心像素的灰度值，则该中心像素的位置被标记为1，否则记为0，每个3*3邻域内的8个像素点经比较产生8位二进制数，即得到每一个16*16区域窗口中心像素点的LBP值；
计算每块区域特征图像的直方图，并将直方图进行归一化；最后，将每块区域的直方图按空间顺序依次排列成一行，形成LBP特征向量；
所述特征融合单元用于将深度特征和浅层特征融合得到最终的特征向量；
所述分类单元用于将最终获得的特征输入SVM实现乳腺肿瘤超声图像的良性和恶性分类。
2.根据权利要求1所述的深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置，其特征在于：所述深层特征提取单元进行图像深度特征提取具体包括以下步骤：
S21、搭建基础模型ResNet50，利用迁移学习，加载ImageNet预训练的权重，并去除顶层全连接层；
S22、添加全局平均池化层、BN层以及全连接层；
S23、采用Dropout正则化方法防治过度拟合。
3.根据权利要求2所述的深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置，其特征在于：浅层LBP特征提取单元进行浅层LBP特征提取具体包括以下步骤：
S31、将LBP特征图像进行分块，将检测窗口划分为16*16的小区域；
S32、对于每个区域中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，这样，3*3邻域内的8个点经比较能产生8位二进制数，即得到该窗口中心像素点的LBP值，其中，LBP的计算公式如下：
其中，p表示3*3窗口中除中心像素点之外的第p个像素点，I(c)表示中心像素点的灰度值，I(p)表示第p个像素点的灰度值，s(x)的计算公式如下：
S33、计算每块区域特征图像的直方图，将直方图进行归一化；
S34、将每块区域的直方图按空间顺序依次排列成一行，形成LBP特征向量。
4.根据权利要求3所述的深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置，其特征在于：所述特征融合单元进行特征融合具体包括以下步骤：
S41、采用早融合的策略，先融合多层的特征，然后在融合后的特征上训练分类器；
S42、将经过迁移学习的ResNet50提取的深度特征和浅层LBP特征分别进行BN层的参数归一化，然后进行concat操作，对于单通道的输出，若两路输入的通道分别为X1,X2,...,XC和Y1,Y2,...,YC，则concat的单个输出通道为：
其中，Zconcat为concat的单个输出通道，K为第i个卷积核。
5.根据权利要求4所述的深层特征和浅层LBP特征融合的乳腺肿瘤超声图像处理装置，其特征在于：所述分类单元进行分类的具体步骤如下：
S51、将步骤S42提取的融合特征作为SVM的输入；
S52、对数据进行简单的缩放操作，并选择核函数；
S53、采用五倍交叉验证，选择最佳参数C和g；
S54、用得到的最佳参数对乳腺肿瘤超声图像进行良恶性分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111045957.4A CN113870194B (zh) | 2021-09-07 | 2021-09-07 | 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111045957.4A CN113870194B (zh) | 2021-09-07 | 2021-09-07 | 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113870194A true CN113870194A (zh) | 2021-12-31 |
| CN113870194B CN113870194B (zh) | 2024-04-09 |
Family
ID=78994716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111045957.4A Active CN113870194B (zh) | 2021-09-07 | 2021-09-07 | 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113870194B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116485791A (zh) * | 2023-06-16 | 2023-07-25 | 华侨大学 | 基于吸收度的双视图乳腺肿瘤病变区自动检测方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780448A (zh) * | 2016-12-05 | 2017-05-31 | 清华大学 | 一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法 |
| CN109886986A (zh) * | 2019-01-23 | 2019-06-14 | 北京航空航天大学 | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 |
| CN111275116A (zh) * | 2020-01-20 | 2020-06-12 | 太原理工大学 | 基于三维卷积神经网络的乳腺肿瘤超声图像分类方法 |
| US20200380294A1 (en) * | 2019-05-30 | 2020-12-03 | Wuyi University | Method and apparatus for sar image recognition based on multi-scale features and broad learning |
| AU2020103938A4 (en) * | 2020-12-07 | 2021-02-11 | Capital Medical University | A classification method of diabetic retinopathy grade based on deep learning |
-
2021
- 2021-09-07 CN CN202111045957.4A patent/CN113870194B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780448A (zh) * | 2016-12-05 | 2017-05-31 | 清华大学 | 一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法 |
| CN109886986A (zh) * | 2019-01-23 | 2019-06-14 | 北京航空航天大学 | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 |
| US20200380294A1 (en) * | 2019-05-30 | 2020-12-03 | Wuyi University | Method and apparatus for sar image recognition based on multi-scale features and broad learning |
| CN111275116A (zh) * | 2020-01-20 | 2020-06-12 | 太原理工大学 | 基于三维卷积神经网络的乳腺肿瘤超声图像分类方法 |
| AU2020103938A4 (en) * | 2020-12-07 | 2021-02-11 | Capital Medical University | A classification method of diabetic retinopathy grade based on deep learning |
Non-Patent Citations (1)
| Title |
|---|
| 陈华等: "融合彩色分割和加权非参数变换的立体匹配", 《计量学报》, 22 July 2017 (2017-07-22) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116485791A (zh) * | 2023-06-16 | 2023-07-25 | 华侨大学 | 基于吸收度的双视图乳腺肿瘤病变区自动检测方法及*** |
| CN116485791B (zh) * | 2023-06-16 | 2023-09-29 | 华侨大学 | 基于吸收度的双视图乳腺肿瘤病变区自动检测方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113870194B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | An automatic detection system of lung nodule based on multigroup patch-based deep learning network | |
| George et al. | Remote computer-aided breast cancer detection and diagnosis system based on cytological images | |
| Mahmood et al. | Breast lesions classifications of mammographic images using a deep convolutional neural network-based approach | |
| Campadelli et al. | A fully automated method for lung nodule detection from postero-anterior chest radiographs | |
| CN111986150B (zh) | 一种数字病理图像的交互式标注精细化方法 | |
| CN111028206A (zh) | 一种基于深度学习***癌自动检测和分类*** | |
| Balamurugan et al. | Brain tumor segmentation and classification using hybrid deep CNN with LuNetClassifier | |
| Ben-Ari et al. | Domain specific convolutional neural nets for detection of architectural distortion in mammograms | |
| Fanizzi et al. | Hough transform for clustered microcalcifications detection in full-field digital mammograms | |
| CN112700461B (zh) | 一种肺结节检测和表征类别识别的*** | |
| JP7427080B2 (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
| Székely et al. | A hybrid system for detecting masses in mammographic images | |
| Xu et al. | Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients | |
| Tavakoli et al. | Detection of abnormalities in mammograms using deep features | |
| Kebede et al. | Classifier based breast cancer segmentation | |
| Zebari et al. | CNN-based Deep Transfer Learning Approach for Detecting Breast Cancer in Mammogram Images | |
| Sarada et al. | Spatial Intuitionistic Fuzzy C-means with Calcifications enhancement based on Nonsubsampled Shearlet Transform to detect Masses and Microcalcifications from MLO Mammograms | |
| CN113870194B (zh) | 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置 | |
| Li et al. | What can machine vision do for lymphatic histopathology image analysis: A comprehensive review | |
| CN117474876A (zh) | 基于深度学习的肾癌亚型辅助诊断及不确定性评估方法 | |
| Shankara et al. | Detection of lung cancer using convolution neural network | |
| Anter et al. | Computer aided diagnosis system for mammogram abnormality | |
| CN115880245A (zh) | 一种基于自监督的乳腺癌疾病分类方法 | |
| Li et al. | A novel approach of computer-aided detection of focal ground-glass opacity in 2D lung CT images | |
| Babu et al. | Automatic breast cancer detection using HGMMEM algorithm with DELMA classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |