CN113191968B - 三维超声图像盲去噪模型的建立方法及其应用 - Google Patents
三维超声图像盲去噪模型的建立方法及其应用 Download PDFInfo
- Publication number
- CN113191968B CN113191968B CN202110417376.2A CN202110417376A CN113191968B CN 113191968 B CN113191968 B CN 113191968B CN 202110417376 A CN202110417376 A CN 202110417376A CN 113191968 B CN113191968 B CN 113191968B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- denoising
- ultrasonic image
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000010586 diagram Methods 0.000 claims abstract description 14
- 238000002604 ultrasonography Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 8
- 238000004088 simulation Methods 0.000 claims description 7
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 230000000052 comparative effect Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000012285 ultrasound imaging Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012733 comparative method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010061818 Disease progression Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种三维超声图像盲去噪模型的建立方法及其应用，属于图像去噪领域，包括：为大小相同且不含斑点噪声的三维生物结构图像添加斑点噪声，得到训练数据集；基于编码‑解码结构建立三维去噪网络，其中，编码结构用于获取三维输入图像的N个特征图并进行下采样，得到不同尺度的特征图；解码结构用于以编码结构获取的特征图为输入，通过上采样重建不含斑点噪声的三维图像；由下采样结构和上采样结构将编码‑解码结构划分为多个阶段，特征图尺寸越大，相应阶段的卷积层数越小；利用训练数据集对三维去噪网络进行训练，得到三维超声图像盲去噪模型。本发明能够在实时地去除三维超声图像中斑点噪声的同时充分保留图像的细节信息。
Description
技术领域
本发明属于图像去噪领域，更具体地，涉及一种三维超声图像盲去噪模型的建立方法及其应用。
背景技术
超声成像由于其无创、廉价和实时性的优点，已经成为一种流行的医学成像技术。在许多情况下，体积量化在评估疾病进展和跟踪治疗反应进展方面很重要，而二维超声成像无法准确获得病灶的立体形态、表面特征、空间位置关系等重要三维信息。因此，三维超声成像近年来受到了广泛的关注。三维超声成像技术的研究始于20世纪70年代，由于成像过程慢，使用复杂限制了其在临床上的使用。随着计算机技术的飞速发展，三维超声成像取得长足进步，已经进入临床应用阶段。三维超声图像中含有大量的斑点噪声，降低了超声图像的空间分辨率和对比度，使得超声图像的解释和分割更加困难。尤其是分割精度的降低，会干扰后续的特征提取和分类。因此，在超声成像中，有效的去噪是提高人体判读、准确分割必不可少的预处理。
近年来，出现了大量去除三维超声图像中斑点噪声的方法，其中很多方法借助二维超声图像的去斑点算法(如Lee滤波器、Frost滤波器、Kuan滤波器、SRAD滤波器及OBNLM方法等)，以逐切面去噪的方式对三维超声图像进行去噪。但是三维图像中，相邻切面上噪声高度相关，逐切面去噪方法没有考虑图像结构的三维相关性。因此，Sun等人并将SRAD扩展到三维，与SRAD一样，它通过利用瞬时变化系数保留了传统的各向异性扩散和Lee滤波器的优势。此外，三维SRAD使用三维图像信息，克服了二维SRAD仅使用二维切面信息的缺点。Kim等人另辟蹊径，提出了一种新的基于稀疏表示的三维超声图像去噪算法，旨在有效地减少图像噪声，同时以最少的伪影保持三维边缘信息。该方法首先通过对数变换将斑点噪声转换为加性高斯噪声，然后使用稀疏表示减少高斯噪声，最后通过指数变换恢复去噪后的图像。Sagheer等人提出了一种基于张量低秩近似的三维超声去斑点方法，可以在三维超声图像中全方位地融合冗余信息，保留图像的边缘和其它更精细的细节。该算法在张量奇异值分解框架下，通过最小化张量核范数求解分组张量的低秩张量逼近，建立了三维超声图像模型，对结果优化问题则采用非精确增广拉格朗日乘子法进行求解。Maggioni等人则将BM3D扩展到了三维空间，提出了四维块匹配滤波(BM4D)，以分组协同过滤的思想，将相似的d维块叠放在(d+1)维阵列中，在变换域进行联合过滤。在BM3D中基础数据块是像素块，而在BM4D中使用的是体素立方体，这些立方体被堆叠成一个4D阵列。在阵列上的变换域，因同时利用每个立方体中体素之间存在的局部相关性和不同立方体中对应体素之间的非局部相关性，该阵列的频谱是高度稀疏的，通过系数收缩可以非常有效地分离信号和噪声，再通过反变换后得到每组立方体的估计，最后在它们的原始位置自适应地聚集。该方法结合了变换域与非局部降噪的优势，是目前公认的三维超声图像去噪效果最好的算法，但它存在计算量大、无法实现图像实时降噪等不足。
总体而言，现有的三维超声图像去噪方法，或者在去噪过程中会丢失图像细节，影响去噪后图像的质量，或者计算量大，无法实现实时去噪。因此，提出一种能够在实时地去除三维超声图像中斑点噪声的同时充分保留图像细节信息的三维噪声去噪方法，具有十分重要的意义。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种三维超声图像去噪模型建立方法及其应用，其目的在于，在实时地去除三维超声图像中斑点噪声的同时充分保留图像的细节信息。
为实现上述目的，按照本发明的一个方面，提供了一种三维超声图像去噪模型建立方法，包括：
为大小相同且不含斑点噪声的三维生物结构图像添加斑点噪声，由添加斑点噪声前、后的图像构成训练数据集；
基于编码-解码结构建立三维去噪网络，用于对含噪声的三维输入图像进行盲去噪，输出不含斑点噪声的三维图像；编码-解码结构中的编码结构用于获取三维输入图像的N个特征图，并对N个特征图进行下采样，进一步提取得到不同尺度的特征图；编码-解码结构中的解码结构用于以编码结构获取的特征图为输入，通过上采样重建不含斑点噪声的三维图像；由下采样结构和上采样结构将编码-解码结构划分为多个阶段，较大尺度的特征图所属阶段的卷积层数小于等于较小尺度的特征图阶段的卷积层数；N为正整数；
利用训练数据集对三维去噪网络进行训练，在训练结束后得到三维超声图像盲去噪模型。
本发明基于编码-解码结构建立三维去噪网络，由于在编码-解码结构中，编码结构提取的特征会与解码结构重建的相同尺度的图像融合，由此能够避免在特征提取过程中丢失图像的细节信息，从而在去除三维超声图像中斑点噪声的同时充分保留图像的细节信息，保证去噪后的图像质量；统计各个阶段单个三维卷积层在其对应的特征图尺度和输入输出通道下的参数量和浮点计算量，发现浅层特征图尺度较大时卷积层的计算量较大而参数量较少；相比于现有的编码-解码结构中各阶段的卷积层数设置相同，本发明通过对三维去噪网络中的卷积层分布进行优化，使较大尺度的特征图所属阶段的卷积层数小于等于较小尺度的特征图阶段的卷积层数，能够有效缩减层特征图尺度较大时卷积层数，大幅降低网络的计算量，提高去噪的实时性。
进一步地，三维去噪网络还包括噪声分布子网络，编码结构中第一个卷积层之后连接一个级联层；
噪声分布子网络用于估计三维输入图像的噪声分布图；
编码结构中的第一个卷积层用于提取三维输入图像的N-1个特征图，级联层用于级联N-1个特征图和噪声分布图，得到三维输入图像的N个特征图。
本发明利用噪声估计子网络估计三维输入图像的噪声分布图，并与三维输入图像的多幅特征图融合作为编码-解码结构的输入，所估计的噪声分布图可作为区分三维输入图像的噪声水平的标记信息，使得训练得到的模型对于不同噪声水平的三维输入图像均具有较好的去噪效果，提高了模型的泛化能力。
进一步地，噪声估计子网络包括多个依次连接的三维卷积层。
进一步地，对三维去噪网络进行训练时，所使用的损失函数为：
Ltotal＝Ldenoised+λ1Lnoise-map+λ2LTV
其中，Lnoise-map、Ldenoised、LTV和Ltotal分别为噪声分布损失函数、去噪结果损失函数、全变分正则项和总损失函数，λ1和λ2为正则项系数；▽h、▽v和▽d分别为水平、垂直和深度方向的梯度。
本发明对模型进行训练时，同时考虑了噪声分布损失函数、去噪结果损失函数、全变分正则项，保证了训练得到的三维超声图像盲去噪模型能够准确估计三维输入图像的噪声分布并准确完成去噪，并且，全变分正则项的引入能够对输入图像的梯度进行约束，保持图像的光滑性。
进一步地，利用训练数据集对三维去噪网络进行训练的过程，由GPU完成。
本发明利用GPU执行三维去噪网络的训练过程，能够利用硬件的加速功能，提高模型的训练效率。
进一步地，编码-解码结构中，各卷积层之后连接一个组正则化层；组正则化层对其前的卷积层的输出进行正则化。
受限于GPU的计算能力，在训练过程中往往会减小训练批次，例如，设置训练批次仅为4；传统的编码-解码结构中，卷积层之后连接批正则化(Batch Normalization，BN)层，在批次减小时，正则化效果会变差；本发明使用组正则化(Group Normalization，GN)对卷积层输出的结果进行正则化，能够在批次减小时保证较好的正则化效果。
进一步地，在利用训练数据集对三维去噪网络进行训练之前，还包括：利用CUDA为每个卷积层搜索最快的卷积算法。
本发明通过在利用训练数据集对三维去噪网络进行训练之前，利用CUDA为每个卷积层搜索最快的卷积算法，能够大幅加快模型的训练速度和推理速度。
进一步地，不含斑点噪声的三维生物结构图像为三维MR仿真图像。
MR(Magnetic Resonance)仿真图像中的生物结构清晰，利用三维MR仿真图像的训练数据集质量较高，能够进一步保证模型的训练效果。
按照本发明的另一个方面，提供了一种三维超声图像的盲去噪方法，包括：对待去噪的三维超声图像进行预处理，使其适于输入由本发明提供的三维超声图像盲去噪模型的建立方法得到的三维超声图像盲去噪模型，并将预处理后的三维超声图像输入三维超声图像盲去噪模型，以去除待去噪的三维超声图像中的斑点噪声。
基于本发明所建立的三维超声图像盲去噪模型，本发明提供的三维超声图像的盲去噪方法能够在实时去除三维超声图像中斑点噪声的同时充分保留图像的细节信息。
按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的三维超声图像盲去噪模型的建立方法，和/或本发明提供的三维超声图像的盲去噪方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明基于编码-解码结构建立三维去噪网络，用于去除三维输入图像的斑点噪声，并对三维去噪网络中的卷积层分布进行优化，使较大尺度的特征图所属阶段的卷积层数小于等于较小尺度的特征图阶段的卷积层数，能够在实时去除三维超声图像中斑点噪声的同时充分保留图像的细节信息。
(2)本发明利用噪声估计子网络估计三维输入图像的噪声分布图，并与三维输入图像的多幅特征图融合作为编码-解码结构的输入，所估计的噪声分布图可作为区分三维输入图像的噪声水平的标记信息，使得训练得到的模型对于不同噪声水平的三维输入图像均具有较好的去噪效果，提高了模型的泛化能力。
(3)本发明利用GPU执行三维去噪网络的训练过程，能够利用硬件的加速功能，提高模型的训练效率；在利用训练数据集对三维去噪网络进行训练之前，利用CUDA为每个卷积层搜索最快的卷积算法，能够大幅加快模型的训练速度和推理速度。
附图说明
图1为本发明实施例提供的三维超声图像去噪模型的解耦股示意图；
图2为本发明实施例提供的针对同一临床真实超声图像，不同超声图像去噪方法所得到的去噪图像的三维视图；其中，(a)为临床真实超声图像，(b)为采用本发明提供的三维超声图像的盲去噪方法得到的去噪图像，(c)为采用OBNLM方法得到的去噪图像，(d)为采用BM4D方法得到的去噪图像；
图3为本发明实施例提供的针对同一临床真实超声图像，不同超声图像去噪方法所得到的去噪图像的冠状面视图；其中，(a)为临床真实超声图像冠状面，(b)为采用本发明提供的三维超声图像的盲去噪方法得到的去噪图像冠状面，(c)为采用OBNLM方法得到的去噪图像冠状面，(d)为采用BM4D方法得到的去噪图像冠状面。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
针对现有去除三维超声图像斑点噪声的方法，无法同时满足实时性和去噪图像质量要求的技术问题，本发明提供了一种三维超声图像盲去噪模型的建立方法及其应用，其整体思路在于：基于编码-解码结构建立三维去噪模型，在去除三维超声图像中斑点噪声的同时充分保留图像的细节信息，并基于各个阶段单个三维卷积层在其对应的特征图尺度和输入输出通道下的参数量和浮点计算量的特性，对三维去噪模型中卷积层的分布进行优化，大幅降低网络的计算量，实现实时去噪。在此基础上，进一步利用噪声估计子网络估计三维输入图像的噪声分布，作为标记信息，三维输入图像的特征图融合，使模型针对不同噪声水平的三维输入图像均具有较好的去噪效果。
以下为实施例。
实施例1：
一种三维超声图像去噪模型建立方法，包括：数据预处理步骤、模型建立步骤和模型训练步骤。
数据预处理步骤：
为大小相同且不含斑点噪声的三维生物结构图像添加斑点噪声，由添加斑点噪声前、后的图像构成训练数据集；
考虑到MR(Magnetic Resonance)仿真图像中的生物结构清晰，为了保证模型的训练效果，可选地，本实施例中，具体利用脑部三维MR仿真图像构建训练数据集；在本发明其他的一些实施例中，也可使用三维CT(Computed Tomography)图像等生物结构清晰的三维图像构建训练师数据集；也可以使用人体其他部位的图像构建训练数据集；
本实施例中，构建训练数据集时，各脑部三维MR图像的大小为96×96×96；容易理解的是，若原始的且不含斑点噪声的三维生物结构图像大于模型所期望的输入图像大小，则可以将该图像划分为多个大小为96×96×96的图像块，再利用划分得到的图像块构建训练数据集；
对脑部三维MR仿真图像添加噪声时，具体公式为：
其中，u和v分别为噪声图像和无噪声图像，η为噪声项，服从正态分布；所构建的训练数据集中，每一条训练样本由添加噪声前、后的一对图像组成；应当说明的是，在本发明其他的一些实施例中，也可以使用其他的噪声模型为图像块添加噪声，在此将不作一一列举。
模型建立步骤：
基于编码-解码结构建立三维去噪网络，用于对含噪声的三维输入图像进行盲去噪，输出不含斑点噪声的三维图像；
如图1所示，编码解码结构中的编码结构用于获取三维输入图像的N个特征图，并对N个特征图进行下采样，进一步提取得到不同尺度的特征图；N为正整数，其取值与第一次下采样的输入通道数相等，如图1所示，本实施例中，N＝16，编码结构具体会对N个特征图进行三次下采样；
编码-解码结构中的解码结构用于以编码结构获取的特征图为输入，通过上采样重建不含斑点噪声的三维图像；本实施例中，解码结构具体会输入的特征图进行三次上采样；
由下采样结构和上采样结构将编码-解码结构划分为多个阶段，阶段数量具体为2n+1，由于编码-解码结构具有一定的对称性，其中的下采样次数与上采样次数是相等的，n即表示其中上采样或下采样的次数；本实施例中，编码-解码结构具体被下采样/上采样结构划分为7个阶段；
统计各个阶段单个三维卷积层在其对应的特征图尺度和输入输出通道下的参数量和浮点计算量，发现浅层特征图尺度较大时卷积层的计算量较大而参数量较少，因此缩减该部分的卷积层数量，能够在保证模型去噪效果的情况下，减少计算量；为了减少计算量，提高三维超声图像去噪的实时性，本实施例对三维去噪网络中的卷积层分布进行了优化，使较大尺度的特征图所属阶段的卷积层数小于等于较小尺度的特征图阶段的卷积层数；具体地，本实施例中，各阶段的卷积层数依次为(1，1，2，4，2，1，1)；如图1所示，各阶段的通道数依次为(16，32，64，128，64，32，16)；
应当说明的是，在实际应用中，编码-解码结构中的下采样/上采样次数可能发生变化，此时可跟据编码-解码结构的实际结构相应设定各阶段的卷积层数；
为了提高模型的泛化能力，使模型对于不同噪声水平的三维超声图像均具有良好的去噪效果，如图1所示，本实施例中，所建立的三维去噪网络还包括噪声分布子网络，编码解结构中的第一个卷积层之后连接一个级联层；
噪声分布子网络用于估计三维输入图像的噪声分布图；
编码结构中的第一个卷积层用于提取三维输入图像的15个特征图，级联层用于级联15个特征图和噪声分布图，得到三维输入图像的16个特征图；
应当说明的是，在本发明其他的一些实施例中，在三维超声图像的噪声水平变化不大的情况下，也可以不考虑模型的泛化能力，相应地，所建立的三维去噪网络中可以不包含噪声分布子网络，此时，编码结构中也不含级联层，直接由编码结构中的第一个卷积层提取三维输入图像的16个特征图，输入下一层即可。
模型训练步骤：
利用训练数据集对三维去噪网络进行训练，在训练结束后得到三维超声图像盲去噪模型；
作为一种可选的实施方式，本实施例中，对三维去噪网络进行训练时，所使用的损失函数为：
Ltotal＝Ldenoised+λ1Lnoise-map+λ2LTV
其中，Ltotal为总损失函数；Lnoise-map为噪声分布损失函数，η和η'分别为添加的噪声项和估计的噪声分布图，/>为矩阵的L2范数；Ldenoised为去噪结果损失函数，/>v和v'分别为图像块标签和去噪后的图像块；LTV为全变分正则项，/>▽h、▽v和▽d分别为水平、垂直和深度方向的梯度；λ1和λ2为正则项系数，可选地，本实施例中，λ1和λ2的取值分别为0.1和0.01；
本实施例对模型进行训练时，同时考虑了噪声分布损失函数、去噪结果损失函数、全变分正则项，保证了训练得到的三维超声图像盲去噪模型能够准确估计三维输入图像的噪声分布并准确完成去噪，并且，全变分正则项的引入能够对输入图像的梯度进行约束，保持图像的光滑性；
为了进一步对模型的训练过程进行加速，本实施例中，利用训练数据集对三维去噪网络进行训练的过程，由GPU完成，由此能够利用硬件的加速功能，提高模型的训练效率；考虑到GPU的计算能力的限制，需要减小训练批次，可选地，本实施例中，具体设置训练批次为4，传统的编码-解码结构中，卷积层之后连接批正则化(Batch Normalization，BN)层，在批次减小时，正则化效果会变差，针对该问题，如图1所示，本实施例中，使用组正则化(GN)取代批正则化(BN)对卷积层的输出进行正则化，借助GN在小批次下提升三维去噪网络性能。
为了进一步加快模型的训练速度和推理速度，可选地，本实施例在利用训练数据集对三维去噪网络进行训练之前，还包括：利用CUDA为每个卷积层搜索最快的卷积算法。
总体而言，本实施例基于编码-解码结构建立三维去噪网络，由于在编码-解码结构中，编码结构提取的特征会与解码结构重建的相同尺度的图像融合，由此能够避免在特征提取过程中丢失图像的细节信息，从而在去除三维超声图像中斑点噪声的同时充分保留图像的细节信息，保证去噪后的图像质量；统计各个阶段单个三维卷积层在其对应的特征图尺度和输入输出通道下的参数量和浮点计算量，发现浅层特征图尺度较大时卷积层的计算量较大而参数量较少；相比于现有的编码-解码结构中各阶段的卷积层数设置相同，本实施例通过对三维去噪网络中的卷积层分布进行优化，使较大尺度的特征图所属阶段的卷积层数小于等于较小尺度的特征图阶段的卷积层数，能够有效缩减层特征图尺度较大时卷积层数，大幅降低网络的计算量，提高去噪的实时性。本实施例所建立的三维超声图像盲去噪模型，可用于实现对不同部位、不同噪声水平的三维超声图像的盲去噪。
实施例2：
一种三维超声图像的盲去噪方法，包括：对待去噪的三维超声图像进行预处理，使其适于输入由上述实施例1提供的三维超声图像盲去噪模型的建立方法得到的三维超声图像盲去噪模型，并将预处理后的三维超声图像输入三维超声图像盲去噪模型，以去除待去噪的三维超声图像中的斑点噪声；预处理包括对图像大小的处理。
本实施例提供的三维超声图像的盲去噪方法能够在实时去除三维超声图像中斑点噪声的同时充分保留图像的细节信息。
实施例3：
一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行上述实施例1提供的三维超声图像盲去噪模型的建立方法，和/或上述实施例2提供的三维超声图像的盲去噪方法。
以下结合对比实验，对本发明所能取得的有益效果做进一步的说明。在对比实验中，使用真实三维超声图像进行测试，去噪结果通过主观和客观两方面综合评估；实验中，选用2中现有的三维超声图像去噪方法作为对比例，记为对比例1和对比例2，分别如下：
对比例1：按照(IEEE.Trans Image Proc.18(10)(2009)2221-2229.)里的OBNLM方法逐切面实现去噪。具体参数为：搜索窗大小选择为17×17，相似窗大小选择为7×7；
对比例2：按照(IEEE.Trans Image Proc.22(1)(2013)119-133)里的BM4D方法实现去噪。
将上述实施例2与对比例1和对比例2的去噪效果进行比较，为了便于描述，将实施例2提供的三维超声图像实时盲去噪方法记为3D-BDN(3DBlind Despeckling Network)。客观评估指标包括EPI(EdgePreservation Index，边缘保持系数)和CPU时耗，用于判定实时效果，其中EPI定义如下：
其中，ps和po分别是去噪后图像和原始图像，▽h、▽v和▽d分别为水平、垂直和深度方向的梯度。计算该指标首先需要检测图像的边缘，实验中使用了经典的Canny算子且上下阈值分别设为100和20，然后再从水平、垂直和深度三个维度分别计算图像的梯度并求和，去噪后图像边缘梯度和与去噪前图像边缘梯度和的比值即EPI。EPI值越大，边缘保持能力越强。
采用真实肾脏三维超声图像进行去噪效果测试，对三种去噪方法在CPU上的去噪时间进行了统计，对去噪后的图像使用相同的Canny算子提取边缘后计算EPI，结果如表1所示。从表中可以看到，对于真实三维超声图像而言，3D-BDN方法去噪的CPU时耗远低于对比方法，并且EPI也明显高于对比例。此外，由于深度学习方法无需改动代码，只需指定GPU即可使用CUDA进行加速，在一张GTX2080Ti上去噪的时耗仅为24.85ms，换算成帧率约40帧，可达到实时去噪的要求。
表1各方法在真实肾脏三维超声图像上去噪的平均CPU时耗和EPI值对比
| 降噪方法 | 平均CPU时耗(s) | EPI |
| OBNLM | 129.35 | 0.24 |
| BM4D | 150.60 | 0.68 |
| 3D-BDN | 8.92 | 0.75 |
为更直观地显示不同方法的去噪效果，在此提供了实施例2与对比例1和对比例2对应去噪图像的三维视图与冠状面视图，如图2和图3所示。图2中的(a)为临床真实三维超声图像，图2中的(b)为采用上述实施例2提供的三维超声图像的盲去噪方法得到的三维去噪图像，图2中的(c)为采用OBNLM方法得到的三维去噪图像，图2中的(d)为采用BM4D方法得到的三维去噪图像。图3中的(a)为临床真实三维超声图像冠状面，图3中的(b)为采用上述实施例2提供的三维超声图像的盲去噪方法得到的去噪图像冠状面，图3中的(c)为采用OBNLM方法得到的去噪图像冠状面，图3中的(d)为采用BM4D方法得到的去噪图像冠状面。从图2和图3可看出，上述实施例2提出的3D-BDN方法与其他对比方法相比，可以在抑制图像中斑点噪声的同时更好地保护图像细节信息。
综合以上对比实验的结果可知，上述实施例2提供的三维超声图像的盲去噪方法，可以在实时地去除三维超声图像中斑点噪声的同时充分保留图像的细节信息。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种三维超声图像盲去噪模型的建立方法，其特征在于，包括：
为大小相同且不含斑点噪声的三维生物结构图像添加斑点噪声，由添加斑点噪声前、后的图像构成训练数据集；
基于编码-解码结构建立三维去噪网络，用于对含噪声的三维输入图像进行盲去噪，输出不含斑点噪声的三维图像；所述编码-解码结构中的编码结构用于获取所述三维输入图像的N个特征图，并对所述N个特征图进行下采样，进一步提取得到不同尺度的特征图；所述编码-解码结构中的解码结构用于以所述编码结构获取的特征图为输入，通过上采样重建不含斑点噪声的三维图像；由下采样结构和上采样结构将所述编码-解码结构划分为多个阶段，较大尺度的特征图所属阶段的卷积层数小于较小尺度的特征图所属阶段的卷积层数；N为正整数；
所述三维去噪网络还包括噪声分布子网络，所述编码结构中第一个卷积层之后连接一个级联层；所述噪声分布子网络用于估计所述三维输入图像的噪声分布图；所述编码结构中的第一个卷积层用于提取所述三维输入图像的N-1个特征图，所述级联层用于级联所述N-1个特征图和所述噪声分布图，得到所述三维输入图像的N个特征图；
利用所述训练数据集对所述三维去噪网络进行训练，在训练结束后得到所述三维超声图像盲去噪模型；对所述三维去噪网络进行训练时，所使用的损失函数为：
Ltotal＝Ldenoised+λ1Lnoise-map+λ2LTV
其中，Lnoise-map、Ldenoised、LTV和Ltotal分别为噪声分布损失函数、去噪结果损失函数、全变分正则项和总损失函数，λ1和λ2为正则项系数；▽h、▽v和▽d分别为水平、垂直和深度方向的梯度；v'为所述三维去噪网络输出的去噪后的图像块。
2.如权利要求1所述的三维超声图像盲去噪模型的建立方法，其特征在于，所述噪声估计子网络包括多个依次连接的三维卷积层。
3.如权利要求1或2所述的三维超声图像盲去噪模型的建立方法，其特征在于，利用所述训练数据集对所述三维去噪网络进行训练的过程，由GPU完成。
4.如权利要求3所述的三维超声图像盲去噪模型的建立方法，其特征在于，所述编码-解码结构中，各卷积层之后连接一个组正则化层；所述组正则化层对其前的卷积层的输出进行正则化。
5.如权利要求3所述的三维超声图像盲去噪模型的建立方法，其特征在于，在利用所述训练数据集对所述三维去噪网络进行训练之前，还包括：利用CUDA为每个卷积层搜索最快的卷积算法。
6.如权利要求1或2所述的三维超声图像盲去噪模型的建立方法，其特征在于，所述不含斑点噪声的三维生物结构图像为三维MR仿真图像。
7.一种三维超声图像的盲去噪方法，其特征在于，包括：对待去噪的三维超声图像进行预处理，使其适于输入由权利要求1-6任一项所述的三维超声图像盲去噪模型的建立方法得到的三维超声图像盲去噪模型，并将预处理后的三维超声图像输入所述三维超声图像盲去噪模型，以去除所述待去噪的三维超声图像中的斑点噪声。
8.一种计算机可读存储介质，其特征在于，包括存储的计算机程序；所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1-6任一项所述的三维超声图像盲去噪模型的建立方法，和/或权利要求7所述的三维超声图像的盲去噪方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110417376.2A CN113191968B (zh) | 2021-04-19 | 2021-04-19 | 三维超声图像盲去噪模型的建立方法及其应用 |
| PCT/CN2021/092155 WO2022222199A1 (zh) | 2021-04-19 | 2021-05-07 | 三维超声图像盲去噪模型的建立方法及其应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110417376.2A CN113191968B (zh) | 2021-04-19 | 2021-04-19 | 三维超声图像盲去噪模型的建立方法及其应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113191968A CN113191968A (zh) | 2021-07-30 |
| CN113191968B true CN113191968B (zh) | 2024-02-09 |
Family
ID=76977455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110417376.2A Active CN113191968B (zh) | 2021-04-19 | 2021-04-19 | 三维超声图像盲去噪模型的建立方法及其应用 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113191968B (zh) |
| WO (1) | WO2022222199A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822985A (zh) * | 2021-08-31 | 2021-12-21 | 苏州鑫康成医疗科技有限公司 | 一种多切面三维重建及特征识别方法 |
| CN115457024A (zh) * | 2022-10-10 | 2022-12-09 | 水木未来(杭州)科技有限公司 | 冷冻电镜图像处理方法、装置、电子设备及存储介质 |
| CN117726542B (zh) * | 2024-02-18 | 2024-06-21 | 北京理工大学 | 基于扩散模型的可控噪声去除方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097512A (zh) * | 2019-04-16 | 2019-08-06 | 四川大学 | 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用 |
| CN112200750A (zh) * | 2020-10-21 | 2021-01-08 | 华中科技大学 | 一种超声图像去噪模型建立方法及超声图像去噪方法 |
| CN112598599A (zh) * | 2020-12-29 | 2021-04-02 | 南京大学 | 一种高光谱图像的去噪模型训练方法及去噪方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10489703B2 (en) * | 2015-05-20 | 2019-11-26 | Nec Corporation | Memory efficiency for convolutional neural networks operating on graphics processing units |
| US10685429B2 (en) * | 2017-02-22 | 2020-06-16 | Siemens Healthcare Gmbh | Denoising medical images by learning sparse image representations with a deep unfolding approach |
| CN107633486B (zh) * | 2017-08-14 | 2021-04-02 | 成都大学 | 基于三维全卷积神经网络的结构磁共振图像去噪方法 |
| CN112233026A (zh) * | 2020-09-29 | 2021-01-15 | 南京理工大学 | 一种基于多尺度残差注意力网络的sar图像去噪方法 |
| CN112634159B (zh) * | 2020-12-23 | 2022-07-26 | 中国海洋大学 | 基于盲噪声估计的高光谱图像去噪方法 |
-
2021
- 2021-04-19 CN CN202110417376.2A patent/CN113191968B/zh active Active
- 2021-05-07 WO PCT/CN2021/092155 patent/WO2022222199A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097512A (zh) * | 2019-04-16 | 2019-08-06 | 四川大学 | 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用 |
| CN112200750A (zh) * | 2020-10-21 | 2021-01-08 | 华中科技大学 | 一种超声图像去噪模型建立方法及超声图像去噪方法 |
| CN112598599A (zh) * | 2020-12-29 | 2021-04-02 | 南京大学 | 一种高光谱图像的去噪模型训练方法及去噪方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于CUDA流技术的深度学习***优化;蒋文斌等;《华中科技大学学报(自然科学版)》(第07期);全文 * |
| 基于加速算法及稀疏化卷积神经网络加速方案研究与设计;徐睿;《中国优秀硕士学位论文全文数据库（硕士） 信息科技辑》;20210115;第34-37页第3.4-3.5节 * |
| 张强 等.《基于深度神经网络技术的高分遥感图像处理及应用》.中国宇航出版社,2021,第93页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113191968A (zh) | 2021-07-30 |
| WO2022222199A1 (zh) | 2022-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112200750B (zh) | 一种超声图像去噪模型建立方法及超声图像去噪方法 | |
| CN113191968B (zh) | 三维超声图像盲去噪模型的建立方法及其应用 | |
| WO2022047625A1 (zh) | 一种图像处理方法、***和计算机存储介质 | |
| Tian et al. | Deep learning on image denoising: An overview | |
| CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
| Gu et al. | A brief review of image denoising algorithms and beyond | |
| CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN112085677A (zh) | 一种图像处理方法、***和计算机存储介质 | |
| CN110675411A (zh) | 基于深度学习的***内病变识别算法 | |
| CN112329871B (zh) | 一种基于自校正卷积与通道注意力机制的肺结节检测方法 | |
| CN112634192B (zh) | 一种结合小波变换的级联U-N Net脑肿瘤分割方法 | |
| CN110349112B (zh) | 一种基于自适应奇异值阈值的两阶段图像去噪方法 | |
| CN112085705B (zh) | 一种基于改进樽海鞘群算法的图像分割方法及装置 | |
| CN115661459A (zh) | 一种使用差异信息的2D mean teacher模型 | |
| CN115082336A (zh) | 一种基于机器学习的sar图像相干斑抑制方法 | |
| Zhang et al. | A parallel and serial denoising network | |
| İncetaş et al. | A novel image Denoising approach using super resolution densely connected convolutional networks | |
| CN113822865B (zh) | 一种基于深度学习的腹部ct图像肝脏自动分割方法 | |
| Saraiva et al. | Genetic algorithm applied to remove noise in DICOM images | |
| CN112927169A (zh) | 一种基于小波变换和改进的加权核范数最小化的遥感影像去噪方法 | |
| Altakrouri et al. | Image to image translation networks using perceptual adversarial loss function | |
| CN112508844A (zh) | 一种基于弱监督的大脑磁共振图像分割方法 | |
| CN117876691B (zh) | 基于人工智能的主动脉夹层术后神经***并发症预警方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |