CN116245756A - 一种快速稳健的医学超声图像增强方法 - Google Patents
一种快速稳健的医学超声图像增强方法 Download PDFInfo
- Publication number
- CN116245756A CN116245756A CN202310045133.XA CN202310045133A CN116245756A CN 116245756 A CN116245756 A CN 116245756A CN 202310045133 A CN202310045133 A CN 202310045133A CN 116245756 A CN116245756 A CN 116245756A
- Authority
- CN
- China
- Prior art keywords
- brightness
- normal
- ultrasonic image
- ultrasound image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000012952 Resampling Methods 0.000 claims abstract description 4
- 230000001965 increasing effect Effects 0.000 claims abstract description 4
- 238000002604 ultrasonography Methods 0.000 claims description 61
- 238000002790 cross-validation Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000002759 z-score normalization Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 201000010099 disease Diseases 0.000 abstract description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种快速稳健的医学超声图像增强方法，包括以下步骤：1：对每个低亮度超声图像和正常亮度超声图像进行严格对齐，并对正常亮度超声图像进行重新采样以匹配超声图像的分辨率和视野；2：进一步校正每个正常亮度超声图像的平滑性；3：对不同实验者的超声图像强度进行标准化；4：建立数据集；5：数据增强，增加训练数据的数量；6：训练ENet网络，评估方法性能；7：将低亮度超声图像输入训练完成的ENet网络，输出对应的正常亮度超声图像。本发明通过深度学习方法利用低亮度超声图像生成正常亮度超声图像，在ENet网络训练完成后，输入低亮度超声图像能够实时的、准确的生成正常亮度超声图像，提高了图像的清晰度和分辨率，方便了临床医生对疾病的诊断。
Description
技术领域
本发明涉及一种快速稳健的医学超声图像增强方法，属于深度学习方法处理医学图像技术领域。
背景技术
基于图像的深度学习方法通过训练深度神经网络模型，提取图像的特征，并利用提取出的特征来对图像进行分类或回归。相比于传统的手工特征，神经网络会通过设计的损失函数和优化方法通过反向传播来进行参数的更新，来进行自我学习。深度学习具有学习能力强、覆盖范围广、适应能力强和可移植性好等优点。
超声图像是利用超声束扫描人体，通过对反射信号的接收、处理，以获得体内器官的图像。超声设备易于移动、没有创伤，对于行动不便的患者可在床边进行诊断，并且超声对人体没有辐射，对于特殊患者可以优先采用。目前已有通过超声图像产生易于观察的正常亮度超声图像方法，但所产生的正常亮度超声图像通常较为昏暗从而难以辨认，所以需要额外的图像增强。
现有的基于数据驱动的医学超声图像增强方法由于其网络模型复杂，导致计算效率低、推理速度慢。同时由于对于训练数据分布的依赖性导致其在未知场景下的性能缺乏保障使现有这类方法普遍缺乏实用性。因此，我们引入了深度学习的方法，通过实验者的低亮度正常亮度超声图像和正常亮度超声图像来训练神经网络的参数，使得神经网络能够学习到从低亮度正常亮度超声图像到正常亮度超声图像的端到端的映射。本发明致力于从学习策略入手，创造性地构建了一种快速稳健的医学超声图像增强方法。
发明内容
本发明的目的在于提供一种快速稳健的医学超声图像增强方法，对实验者的低亮度超声图像进行图像预处理，得到低亮度超声图像作为输入数据，正常亮度超声图像作为真实标签的数据集，将数据集通过六重交叉验证法分组训练ENet网络，训练完成的网络输入原始的低亮度超声图像就能够实时生成正常亮度超声图像。
本发明的目的通过以下技术方案予以实现：
一种快速稳健的医学超声图像增强方法，包括以下步骤：
步骤1：对每个低亮度超声图像和正常亮度超声图像进行严格对齐，并对正常亮度超声图像进行重新采样以匹配超声图像的分辨率和视野；
步骤2：进一步校正每个正常亮度超声图像的平滑性；
步骤3：对不同实验者的正常亮度超声图像强度进行标准化；
步骤4：将低亮度超声图像和正常亮度超声图像建立数据集；
步骤5：数据增强，增加训练数据的数量；
步骤6：训练ENet网络，评估方法性能；
步骤7：将低亮度超声图像输入训练完成的ENet网络，输出对应的正常亮度超声图像。
本发明的目的可以通过以下技术措施进一步实现：
前述一种快速稳健的医学超声图像增强方法，步骤1对每个低亮度超声图像和正常亮度超声图像进行严格匹配对齐的方法为双线性法。
前述一种快速稳健的医学超声图像增强方法，步骤2校正每一个超声图像的平滑性方法为高斯滤波法。
前述一种快速稳健的医学超声图像增强方法，步骤3对不同实验者的超声图像强度进行标准化的方法为z-score标准化。
前述一种快速稳健的医学超声图像增强方法，步骤4将实验者拍摄的低亮度超声图像作为神经网络的输入图像，正常亮度超声图像作为真实标签来建立数据集。
前述一种快速稳健的医学超声图像增强方法，步骤5数据增强的方法为随机平移和随机翻转。
前述一种快速稳健的医学超声图像增强方法，步骤6将数据集使用六重交查验证法分成6组，每次保留一组作为测试集，其余五组作为训练数据来训练ENet网络。
前述一种快速稳健的医学超声图像增强方法，步骤10将原始低亮度超声图像输入训练好的ENet网络中，就会得到一个实时的正常亮度超声图像。
与现有的技术相比，本发明的有益效果是：考虑到通过超声成像生成的原始低亮度超声图像亮度较低不利于诊断，所以利用深度学习的方法通过低亮度超声图像来生成正常亮度超声图像。通过数据预处理来提高低亮度超声图像和正常亮度超声图像的质量，通过数据增强来增加数据集的数量，这样能够利用有限的数据集充分训练ENet网络。通过六重交查验证法可以从有限的数据中获取尽可能多的有效信息并且在一定程度上减小过拟合现象。我们利用训练好的ENet模型可以在只有低亮度超声图像的情况下实时的得到正常亮度超声图像，提高了图像的分辨率，获得了许多脏器相关的参数，帮助临床医生更好的进行疾病的诊断。
附图说明
图1是基于ENet的正常亮度超声图像自动生成方法流程图。
图2是ENet网络结构图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
如图1所示，本发明的基于ENet的正常亮度超声图像自动生成方法，包括以下步骤：
步骤1：利用双线性算法对每个低亮度超声图像和正常亮度超声图像进行严格对齐。
步骤2：使用高斯滤波法算法进一步校正每幅超声图像的平滑性。
步骤3：使用z-score标准化算法对不同实验者的超声图像强度进行标准化。
步骤4：将多名实验者的低亮度超声图像作为输入数据，正常亮度超声图像作为真实标签建立数据集。
步骤5：利用随机平移和随机翻转的方法对数据集进行数据增强，扩大数据集超声图像的数量。
步骤6：使用六重交叉验证方法来评估基于ENet的正常亮度超声图像自动生成方法的性能。18名实验者被随机分为6个同等大小的组。每次保留一组作为测试集，其余五组作为训练数据来训练ENet模型。每个超声图像大约有160个切片，因此一组15个训练对象能提供2400个训练样本。将训练数据分成48个小批量，需要50次迭代才能对所有训练样本进行一次遍历。
步骤7：将超声成像产生的低亮度超声图像输入训练好的ENet网络中，就会实时的得到一个正常亮度超声图像。
如图2所示，本发明一种快速稳健的医学超声图像增强方法中ENet网络的实现，包括以下步骤：
步骤1：ENet网络接收图像。编码部分接收一个超声图像Xin，根据是否为彩色超声成像分为单通道和三通道网络结构。
步骤2：将超声图像编码为高级特征表示，学习从输入超声图像中提取逐渐复杂的特征。ENet网络中模块的数学表示如下：
其中，ut和xt分别表示第t阶段(t＝0,...,T-1)。需要注意的是，我们没有在HΘ中标记阶段编号，每个阶段使用相同的架构H和权重Θ。
步骤3：将多个模块(如图2上半部分所示)串联，生成一系列的中间输出xt。这种设计使得解码部分更容易生成高分辨率预测，也使得模型更加灵活。
步骤4：输出正常亮度超声图像xT。
步骤8：完整的ENet网络可以被视为代表一个复杂的端到端映射函数，将输入的低亮度超声图像转换为其相应的正常亮度超声图像。学习端到端映射函数需要估计网络参数θ＝{W1,b1,W2,b2,…}，这是通过最小化损失函数输出值实现的。给定一组低亮度超声图像和它们相应的正常亮度超声图像，我们使用损失函数：
其中T是ENnet中串联模块的数量。
Claims (8)
1.一种快速稳健的医学超声图像增强方法，其特征在于，包括以下步骤：
步骤1：对每个低亮度超声图像和正常亮度超声图像进行严格对齐，并对正常亮度超声图像进行重新采样以匹配超声图像的分辨率和视野；
步骤2：进一步校正每个正常亮度超声图像的平滑性；
步骤3：对不同实验者的正常亮度超声图像强度进行标准化；
步骤4：将低亮度超声图像和正常亮度超声图像建立数据集；
步骤5：数据增强，增加训练数据的数量；
步骤6：训练ENet网络，评估方法性能；
步骤7：将低亮度超声图像输入训练完成的ENet网络，输出对应的正常亮度超声图像。
2.如权利要求1所述的一种快速稳健的医学超声图像增强方法，其特征在于，步骤1对每个低亮度超声图像和正常亮度超声图像进行严格对齐，并对正常亮度超声图像进行重新采样以匹配超声图像的分辨率和视野的方法为双线性法。
3.如权利要求1所述的一种快速稳健的医学超声图像增强方法，其特征在于，步骤2校正每一个超声图像的平滑性方法为高斯滤波法。
4.如权利要求1所述的一种快速稳健的医学超声图像增强方法，其特征在于，步骤3对不同实验者的正常亮度超声图像强度进行标准化的方法为z-score标准化。
5.如权利要求1所述的一种快速稳健的医学超声图像增强方法，其特征在于，步骤4将低亮度超声图像和正常亮度超声图像建立数据集。
6.如权利要求1所述的一种快速稳健的医学超声图像增强方法，其特征在于，步骤5数据增强的方法为随机平移和随机翻转。
7.如权利要求1所述的一种快速稳健的医学超声图像增强方法，其特征在于，步骤6将数据集使用六重交查验证法分成6组，每次保留一组作为测试集，其余五组作为训练数据来训练ENet网络。
8.如权利要求1所述的一种快速稳健的医学超声图像增强方法，其特征在于，步骤7将超声图像输入训练好的ENet网络中，就会得到一个实时的正常亮度超声图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310045133.XA CN116245756A (zh) | 2023-01-30 | 2023-01-30 | 一种快速稳健的医学超声图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310045133.XA CN116245756A (zh) | 2023-01-30 | 2023-01-30 | 一种快速稳健的医学超声图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116245756A true CN116245756A (zh) | 2023-06-09 |
Family
ID=86634231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310045133.XA Pending CN116245756A (zh) | 2023-01-30 | 2023-01-30 | 一种快速稳健的医学超声图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116245756A (zh) |
-
2023
- 2023-01-30 CN CN202310045133.XA patent/CN116245756A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345538B (zh) | 一种基于卷积神经网络的视网膜血管分割方法 | |
| CN110490247B (zh) | 图像处理模型生成方法、图像处理方法及装置、电子设备 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN109544517A (zh) | 基于深度学习的多模态超声组学分析方法及*** | |
| CN110363751B (zh) | 一种基于生成协作网络的大肠内视镜息肉检测方法 | |
| CN111080531A (zh) | 一种水下鱼类图像的超分辨率重建方法、***及装置 | |
| CN116612334B (zh) | 一种基于空谱联合注意力机制的医学高光谱图像分类方法 | |
| CN115294075A (zh) | 一种基于注意力机制的octa图像视网膜血管分割方法 | |
| CN114511502A (zh) | 一种基于人工智能的胃肠道内窥镜图像息肉检测***、终端及存储介质 | |
| CN112488963A (zh) | 一种用于农作物病害数据的增强方法 | |
| CN113837179B (zh) | 一种处理图像的多判别gan网络构建方法、装置、***和存储介质 | |
| Nazki et al. | MultiPathGAN: Structure preserving stain normalization using unsupervised multi-domain adversarial network with perception loss | |
| CN109544488B (zh) | 一种基于卷积神经网络的图像合成方法 | |
| CN113974627A (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
| CN111369546B (zh) | 一种颈部***图像分类识别装置及方法 | |
| CN116245756A (zh) | 一种快速稳健的医学超声图像增强方法 | |
| CN115239943A (zh) | 图像矫正模型的训练方法及切片图像的色彩矫正方法 | |
| CN116168052A (zh) | 结合自适应注意力与特征金字塔的胃癌病理图像分割方法 | |
| CN115239695A (zh) | 一种基于时序图像的肺结节识别***及方法 | |
| CN115035339A (zh) | 一种基于人工智能的膀胱镜图像分类方法 | |
| CN114757273A (zh) | 一种基于协同对比正则化平均教师模型的脑电信号分类方法 | |
| CN113796850A (zh) | 甲状旁腺mibi图像分析***、计算机设备及存储介质 | |
| CN112489012A (zh) | 一种用于ct图像识别的神经网络架构方法 | |
| de Almeida Simões | Image Quality Improvement of Medical Images Using Deep Learning for Computer-Aided Diagnosis | |
| CN116542996B (zh) | 一种基于特征融合和差分的脊柱ct图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |