CN115100069A - 超声图像重建方法、***、设备及介质 - Google Patents
超声图像重建方法、***、设备及介质 Download PDFInfo
- Publication number
- CN115100069A CN115100069A CN202210814598.2A CN202210814598A CN115100069A CN 115100069 A CN115100069 A CN 115100069A CN 202210814598 A CN202210814598 A CN 202210814598A CN 115100069 A CN115100069 A CN 115100069A
- Authority
- CN
- China
- Prior art keywords
- channel data
- ultrasonic
- neural network
- measurement
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000005259 measurement Methods 0.000 claims abstract description 70
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims description 48
- 238000002604 ultrasonography Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 12
- 238000011084 recovery Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 230000001186 cumulative effect Effects 0.000 claims description 7
- 238000005315 distribution function Methods 0.000 claims description 7
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 230000001427 coherent effect Effects 0.000 abstract description 6
- 238000013329 compounding Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 239000000523 sample Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 239000004677 Nylon Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229920001778 nylon Polymers 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及一种超声图像重建方法、***、设备及介质，包括建立描述超声***所接收的RF通道数据和待求波束合成后数据间关系的测量模型和/或测量矩阵；通过向成像目标发射超声波并接收回波信号，获得反映该目标声学特性的RF通道数据；基于RF通道数据和测量矩阵，基于预先训练的求解波束合成逆问题的神经网络获得高质量的波束合成数据，完成超声图像重建。因此，本发明能够大幅缩短单幅图像的重建时间，使得短时间内重建多幅图像并进行相干复合，进一步提高图像质量。
Description
技术领域
本发明是关于一种超声图像重建方法、***、设备及介质，涉及图像处理技术领域。
背景技术
在PWI(Plane wave imaging,平面波成像)中，线阵探头的所有阵元被同时激励，从而发射具有平面波前的超声信号来探查整个成像区域。由于在PWI发射过程中声束没有聚焦，回波信号的信噪比通常较低。此外，超声波束合成中常用的DAS方法本是针对聚焦波成像中各通道接收到的回波信号都来自于某条聚焦线的情况而设计。当将DAS方法应用于PWI时，非聚焦发射波束带来的大量离轴散射信号将无法得到有效抑制。这两点共同导致PWI的图像质量通常都比较差。平面波相干复合技术通过叠加不同角度PW发射后所重建获得的低质量图像，可以明显地提升图像质量。Montaldo等人的研究表明在完成71个角度的平面波发射后，相干复合获得的图像质量甚至可以超过多焦点聚焦发射成像。但是，数十次的发射将牺牲PWI高帧频的优势，并进一步影响其对于瞬时/快速事件的捕捉。
为了在不较大牺牲PWI帧频的前提下改善其图像质量，现有技术将各种先进的波束合成方法引入了PWI中。SR(Sparse regularization)方法可以提高PWI成像的空间分辨率、对比度并有效压制图像中的旁瓣和栅瓣伪影，进而重建出更高质量的B模式图像。然而，目前基于SR的波束合成方法存在两个较大的问题：(1)需要占用大量内存空间以存储庞大的测量模型；(2)需要使用迭代凸优化算法来进行耗时的求解。对于超声成像这样一种实时成像技术，传统SR方法的重建时间是无法接受的。当超声成像进一步走向基于PWI的超快速成像时代之后，短时间内采集获得的海量数据对于波束合成方法的计算效率提出了更高的要求。
因此，在保留(甚至提高)SR方法重建图像质量的前提下，大幅提高重建速度是帮助其走向实际应用的关键。虽然引入更高效的凸优化算法或使用具有更高算力的硬件平台可以起到一定的加速效果，但都无法从根本上解决SR方法计算复杂度高的问题。将深度学习引入波束合成逆问题的求解中，利用其高效和高质量的非线性映射替代传统SR方法中耗时的迭代求解过程，是一种非常有潜力的提高波束合成逆问题求解速度的方式。
当使用传统的监督学习策略训练深度神经网络时，需要提供波束合成逆问题的真值解(也即真实的组织散射强度分布)作为训练标签。然而，在活体条件下，该真实值是无法获取的。如果先使用传统SR方法重建得到大量图像，然后将它们作为网络训练标签的话，也会面临着以下问题：(1)传统SR方法重建一帧图像即需要花费数分钟，因此生成一个具有大量样本的训练集将花费巨大的时间和计算成本；(2)传统SR方法重建图像时需要依据待重建目标的特点，调整正则约束项权重、容许误差、最大迭代次数等参数，当上述参数未调整到最优时生成的质量欠佳的训练数据将会限制所训练网络的性能。
发明内容
针对上述问题，本发明的目的是提供一种能够大幅缩短单角度图像的重建时间，使得短时间内重建多角度平面波图像并进行相干复合，进一步提高图像质量的超声图像重建方法、***、设备及介质。
第一方面，本发明提供的一种超声图像重建方法，包括：
建立描述超声***所接收的RF通道数据和待求波束合成后数据间关系的测量模型和/或测量矩阵；
通过向成像目标发射超声波并接收回波信号，获得反映该目标声学特性的RF通道数据；
基于RF通道数据和测量模型和/或测量矩阵，基于预先训练的求解波束合成逆问题的神经网络获得高质量的波束合成数据，完成超声图像重建。
进一步地，描述超声***所接收的RF通道数据和待求波束合成后数据间的测量模型包括线性测量模型和非线性测量模型。
进一步地，描述超声***所接收到的RF通道数据和待求波束合成后数据间的线性测量模型为：
y＝Hx+n
其中，
是测量矩阵，
是加性高斯噪声，r＝D×K是RF通道数据的总采样点个数，共有K个通道，每个通道包含D个采样点，l＝Nz×Nx是波束合成后数据的总网格点数，共有Nx条成像线，每条成像线包含Nz个像素点。
进一步地，建立测量模型和/或测量矩阵的步骤包括：
1)在成像区域内放置点散射子目标；
2)获取超声通道数据；
3)计算超声通道数据的强度直方图及其累积分布函数；
4)依据累积分布函数生成二值化掩膜；
5)将掩膜与点目标配对，并将掩膜施加于通道数据上提取该点散射子目标对应的回波信号；
6)重复步骤1)-5)，直到完成成像区域中所有网格点处对应的回波信号；
7)将成像区域每个网格点的回波信号依次重排为测量矩阵的每一列，获得测量矩阵。
进一步地，求解波束合成逆问题的神经网络的训练，包括：
设置神经网络的相关参数；
设置均方误差损失函数；
针对超声信号特征的先验知识设置相关约束项损失函数；
基于设置的神经网络的相关参数、均方误差损失函数和相关约束项损失函数，采用自监督学习的策略完成求解波束合成逆问题的神经网络的训练。
进一步地，针对超声信号特征的先验知识设置相关约束项损失函数，包括：
小波域内的稀疏性约束函数；
空间域内的平滑性约束函数；
信号包络的稀疏约束函数。
进一步地，采用自监督学习的策略完成求解波束合成逆问题的神经网络的训练，包括：
训练阶段1：初始解
被同时用作神经网络的输入和标签，并通过最小化初始解
和恢复解
间的均方误差训练得到信号恢复网络，也即自编码器；
训练阶段2：网络重建所得的高质量解x′被用于恢复得到其对应的通道数据y′＝Hx′，并通过最小化测量所得通道数据y和恢复通道数据y′间的均方误差损失函数，并引入相关约束项损失函数，训练得到用于求解波束合成逆问题的网络，其中，在每个阶段中都先将超声通道数据通过反投影方法生成波束合成逆问题的初始解
作为网络的输入，然后通过神经网络将其映射为目标解。
第二方面，本发明还提供一种超声图像重建***，该***包括：
第一单元，被配置为建立描述超声***所接收的RF通道数据和待求波束合成后数据间关系的测量模型和/或测量矩阵；
第二单元，被配置为通过向成像目标发射超声波并接收回波信号，获得反映该目标声学特性的RF通道数据；
第三单元，被配置为基于RF通道数据和测量矩阵和/或测量矩阵，基于预先训练的求解波束合成逆问题的神经网络获得高质量的波束合成数据，完成超声图像重建。
第三方面，本发明还提供一种电子设备，包括计算机程序指令，其中，所述程序指令被处理器执行时用于实现所述的超声图像重建方法。
第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，其中，所述程序指令被处理器执行时用于实现所述的超声图像重建方法。
本发明由于采取以上技术方案，其具有以下特点：
1、本发明提出的自监督学习的训练策略，将超声***采集的RF(RadioFrequency,射频)通道数据同时作为网络训练过程的输入和标签，本策略绕开了网络训练对于逆问题真值解的需求，使得网络的性能不会受到用于生成训练标签的传统算法的限制。具体而言，在使用自监督学习策略时，网络的输出依然是波束合成逆问题的解(组织散射强度分布，也即高质量超声图像)。但是，区别于直接对网络输出施加标签的监督学习策略，自监督策略首先通过预先建立好的测量模型将网络的输出还原为RF通道数据，然后计算还原得到的RF数据与超声***采集的真实RF数据间的误差，并用于更新网络。
2、本发明的自监督神经网络无需采用完美的“超声图像”(也即组织散射强度分布图)作为金标准或数据标签。
3、本发明提出的基于自监督学习(SSL)方案的通用框架来训练DNN来解决逆问题，这样，在DNN的训练过程中，测量值既被用作输入，也被用作标签，与传统方法相比，使用本发明所提出的框架，经过训练的DNN可以在减少计算时间的情况下提高重建精度。
综上，本发明可以广泛应用于图像重建中。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：
图1为本发明实施例的基于超声***PSF的测量矩阵建立方法流程；
图2为本发明实施例的两阶段自监督学习训练策略的方法示意图；
图3为本发明电子设备的结构示意图。
具体实施方式
应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包含性的，并且因此指明所陈述的特征、步骤、操作、元件和/或部件的存在，但并不排除存在或者添加一个或多个其它特征、步骤、操作、元件、部件、和/或它们的组合。文中描述的方法步骤、过程、以及操作不解释为必须要求它们以所描述或说明的特定顺序执行，除非明确指出执行顺序。还应当理解，可以使用另外或者替代的步骤。
为了便于描述，可以在文中使用空间相对关系术语来描述如图中示出的一个元件或者特征相对于另一元件或者特征的关系，这些相对关系术语例如为“内部”、“外部”、“内侧”、“外侧”、“下面”、“上面”等。这种空间相对关系术语意于包括除图中描绘的方位之外的在使用或者操作中装置的不同方位。
本发明提供的超声图像重建方法、***、设备及介质，包括建立描述超声***所接收的RF通道数据和待求波束合成后数据间关系的测量模型和/或测量矩阵；通过向成像目标发射超声波并接收回波信号，获得反映该目标声学特性的RF通道数据；基于RF通道数据和测量模型和/或测量矩阵，基于预先训练的求解波束合成逆问题的神经网络获得高质量的波束合成数据，完成超声图像重建。因此，本发明能够大幅缩短单幅图像的重建时间，使得短时间内重建多幅图像并进行相干复合，进一步提高图像质量。
下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
实施例一：本实施例提供的超声图像重建方法，包括：
S1、建立测量模型，测量模型包括线性测量模型和非线性测量模型，本实施例以线性测量模型进行说明，非线性测量模型的实施过程基本类似，不做赘述。
具体地，波束合成是超声图像重建的一种方法，本实施例通过求解波束合成逆问题的方法来重建高质量超声图像，求解逆问题的前提是需要建立一个描述已知测量量和待求解未知量之间关系的线性测量模型。在具体到超声波束合成时，即需要建立一个描述超声***所接收到的RF通道数据
和待求波束合成后数据
之间的线性测量模型：
y＝Hx+n (1)
其中，
是测量矩阵，测量矩阵描述的是空间中各成像网格点处的***响应(即在每个网格点处放置散射子后，超声***所接收到的回波信号)，
是加性高斯噪声，r＝D×K是RF通道数据的总采样点个数(共有K个通道，每个通道包含D个采样点)，l＝Nz×Nx是波束合成后数据的总网格点数(共有Nx条成像线，每条成像线包含Nz个像素点)。
S2、获得测量模型和/或测量矩阵，需要说明的是当测量模型是线性测量模型时可以等同于获得测量矩阵，获得过程包括：
S21、在成像区域内放置点散射子目标
具体地，在成像区域内划分好的网格上放置三个点散射子目标A、B、C，如图1(a)所示。
进一步地，在成像区域内划分网络的方法为：通常是以超声探头宽度为成像区域的横向宽度，在这个横向范围内以二分之一个阵元宽度为间距划分出横向网格，也就是说横向的网格点数会是探头阵元数目的两倍；轴向网格的划分可以同时结合成像深度和超声信号的中心频率，在成像深度范围内，以四分之一个波长为间距划分轴向网格；需要注意的是本实施例网格划分方式只是综合计算复杂度和图像质量后给出的较优方式，但是可以根据实际需要选择其他的网格划分方法(例如凸阵或相控阵成像时，可以在一个扇形区域内进行网格划分)，其中，横向指的是和探头中轴线垂直的方向，同一横向位置说的是在在横向方向上，横坐标一致的位置。
更进一步地，首先需要说明本实施例设置有三个点散射子目标，但是实际点目标的数目大于等于一个即可。点目标设置个数以此为例，但是不限于此，可以设置单个或者多个，根据实际需要进行设置。放置三个点散射子目标A、B、C的方法为：如果是在仿真中设置的话只需要依据仿真软件要求，设置给定网格点上某个位置散射强度不为0即可；如果是在实验中设置的话，需要将尼龙丝或头发丝等置于水箱中，让探头扫描丝的横截面，此处的丝类型为较优方式，也可以采用其他方式进行实现，在此不做限定。
S22、获取超声通道数据，如图1(b)所示。
具体地，获取超声通道数据可以使用K-wave仿真软件、Field II仿真软件或者使用真实***来进行实际的测量，对于真实***，优选可以采用将尼龙丝等放置于水箱中供超声***进行测量。需要说明的是，本实施例的超声通道数据是以与超声探头的阵列方向平行发射作为零角度平面波信号，但是实际测量可以为不是零角度平面波信号，具体根据情况确定。
S23、计算超声通道数据的强度直方图及其累积分布函数，如图1(c)及(d)所示，其中，累积分布函数是对通道数据的强度直方图进行积分得到的。
S24、依据累积分布函数生成一个二值化掩膜(Mask)，以仅保留具有前6％大小绝对强度的通道数据采样点，此处的保留大小范围为较优方式，可根据精度要求与内存占用大小的折衷进行调整，如图1(e)所示，并通过闭操作对掩膜进行平滑，得到平滑后的掩膜如图1(f)所示。
S25、如图1(g)所示，将每条掩膜与点目标配对并通过将掩膜施加于通道数据上提取该点目标对应的回波信号，如图1(h)所示。
具体地，每条掩膜与点目标配对的方法为：根据空间位置进行匹配，由于掩膜提取的是超声回波信号的位置，而超声回波信号一定是在对应的点目标旁边的。
进一步地，通过将掩膜施加于通道数据上提取该点目标对应的回波信号方法为：将掩膜和通道数据进行点乘以提取对应的回波信号。
S26、重复步骤S21-S25，直到测量完成像区域中所有网格点处对应的回波信号，使得点目标依次能够放置在网格点上，并且最终覆盖成像区域网格上的每一个网格点。
S27、将每个网格点的回波信号依次重排为测量矩阵H的每一列，获得测量矩阵。
S3、通过向成像目标发射超声波并接收回波信号，可以获得反映该目标声学特性的信息。
S4、基于自监督深度学习的波束合成
具体地，在建立了线性测量模型y＝Hx+n后，就可以引入逆问题求解和自监督深度学习的方法，在已知RF通道数据和测量矩阵H(通常非方阵且不可逆)的条件下，求解高质量的波束合成后数据x，过程包括：
S41、设置神经网络的相关参数
在确定逆问题求解的网络训练框架后，可以针对具体问题(问题复杂程度、算力大小等)设计具有合适层数和卷积核尺寸等参数的(卷积)神经网络以供使用。
本实施例使用一个12层的编码-解码网络，其中编码部分用于提取信号的高阶特征，解码部分用于将高阶特征还原为具有目标特性和尺寸的输出。网络的详细信息如表1和表2所示。
表1神经网络参数
表2神经网络结构
进一步地，激活函数不限于Tanh，可以采用ReLU或LeakyReLU，另外也可以不用maxpooling，而是通过将卷积核的stride设为2，实现对图像的降采，以此为例，不限于此。
更进一步地，本实施例的神经网络还可以向基于U-net框架的网络引入残差块(Residual Blocks)，进一步提高网络的非线性映射能力。
S42、设置均方误差(Mean squared error,MSE)
为了提高神经网络的训练收敛速度，神经网络的训练分为两阶段进行。第一阶段中初始解
(使用延时叠加波束合成方法或反投影算法获得)被同时用作网络的输入和标签，并通过最小化初始解
和网络输出的恢复解
间的均方误差如公式(2)训练得到了一个信号恢复网络，也即自编码器(输出近似等于输入)；第二阶段中，网络重建所得的高质量解x′被用于恢复得到其对应的通道数据y′＝Hx′，并通过最小化测量所得通道数据y和恢复通道数据y′间的MSE如公式(3)，训练得到用于求解波束合成逆问题的网络。
均方误差损失函数的设置是为了评估网络输出解与想要的解之间的差距大小，并以此引导网络的参数更新，此处均方误差的设置作为优选方式，可以视实际情况选用其他评估误差大小的损失函数。
S43、引入基于信号先验的相关约束项损失函数来提高重建图像的质量。
超声波束合成的逆问题是病态且欠定的。因此，需要针对超声信号特征的先验知识来设计合适的正则化约束函数，通过将其施加至神经网络训练中，起到增强求解的质量和稳定性的作用，本实施例施加了如下三种约束项损失函数：
1)小波域内的稀疏性约束函数
超声信号通常可以在小波域内得到较为稀疏的表示。本发明借助PyWavelets工具包实现了稀疏平均算法，从而稀疏表示网络输出的高质量解。其中，稀疏平均算子由八个多贝西(Daubechies,db)小波变换(基于db1到db8小波基)构成：
和单一小波变换相比，稀疏平均算子被证实在基于小波的SR方法中可以取得更好的效果，基于小波域内稀疏性的约束项表示如下：
LSp-W＝‖ψx′‖1 (5)
其中，‖·‖1表示向量的l1-范数。
2)空间域内的平滑性约束函数
全差分(Total variation,TV)约束具有增强图像局部平滑性的作用。本实施例在网络输出的高质量解x′上施加TV约束以增强其平滑性，在图像的平滑(更好地保留背景散斑)和稀疏(更高的对比度)间取得更好的平衡：
LSm＝‖D1Env(x′)‖1+‖D2Env(x′)‖1 (6)
其中，D1和D2分别是沿着横向和轴向的有限差分算子(垂直和沿着超声波束方向)。Env(·)是提取信号包络的希尔伯特变换算子，除了轴向和横向的差分外，还可以添加沿45°角像素的差分。由于差分算子就是计算一个矩阵所有相邻元素之间的差值，其中这个差分算子可以分角度，比如横向和轴向差分算子就是计算左右相邻或者上下相邻元素之间的差，如果是45°差分的话就是计算斜线上相邻元素之间的差。
3)信号包络的稀疏约束函数
基于对组织成分及其散射强度差异的先验，本发明对网络输出的高质量解x′的包络施加了基于l1-范数的稀疏约束。该约束将引导网络在保留幅值较大信号(如散射自强回声组织)的同时压制幅值较小的噪声(如无回声区域内的旁瓣或电子噪声等)，以提高不同组织成分间的对比度：
LSp-E＝‖Env(x′)‖1 (7)
综上，本发明中的损失函数是上述所有约束项的加权和：
其中，系数λ1,λ2和λ3是对应约束项的权重。
S44、训练得到用于求解波束合成逆问题的网络
为了解决传统监督学习方法所面临的问题，本实施例提出了一种自监督学习的训练策略，在训练过程中将RF通道数据同时作为网络的输入和标签，从而绕过训练过程对于“理想”超声图像的需求。
如图2所示，本实施例中对神经网络的训练分为两个训练阶段，在每个阶段中都需要先将超声通道数据通过反投影方法生成波束合成逆问题的初始解
作为网络的输入，然后通过神经网络将其映射为目标解。
两个训练阶段的不同点在于，在训练阶段1中，初始解
被同时用作网络的输入和标签，并通过最小化初始解
和恢复解
间的均方误差如公式(2)训练得到了一个信号恢复网络，也即自编码器(输出近似等于输入)。
在训练阶段2中，网络重建所得的高质量解x′被用于恢复得到其对应的通道数据y′＝Hx′，并通过最小化测量所得通道数据y和恢复通道数据y′间的MSE如公式(3)，训练得到用于求解波束合成逆问题的网络。该训练阶段中，除了使用MSE损失函数外，还可以基于对待重建信号(波束合成后数据)的先验知识，设计并引入额外的约束项损失函数来进一步提高图像重建的质量，例如公式(3)和(5)。
其中，训练阶段2中网络训练时的初始参数由训练阶段1训练所得网络迁移学习得到，均方误差损失适用于求解假设噪声服从高斯分布时的逆问题。
进一步地，作为显著改善PWI图像质量的一种手段，如果帧频允许，应当尽可能使用多角度相干复合技术。在重建不同角度的PWI图像时，都需要首先针对该角度的PW发射建立与之对应的线性测量模型。由于神经网络的映射过程和测量矩阵无关，因此不同角度图像的重建将由一个共用的神经网络完成。换言之，不同角度PW发射后由反投影方法获得的初始解，将被依次送入同一个网络，它们对应的输出(高质量解)将会被相干复合以获得最终图像。
下面通过具体实施例详细说明本发明的超声图像重建方法。
本实施例中建立测量矩阵、生成仿真数据集和进行定量评估的部分均在Matlab2015中完成。神经网络的训练和测试是基于Python 3.5.2和Pytorch 1.2.0实现。本实施例采用的硬件平台具有Intel Xeon E5-2620 CPU,128GB内存和4块具有12GB显存的NVIDIA Titan V显卡。本实施例使用一个L10-5线阵探头采集实验数据，其参数如表3所示，计算机仿真中所仿的探头也具有相同的参数。在全孔径PW发射和接收后，以20.832MHz的采样频率记录RF通道数据。
表3PWI中所使用线阵探头的参数
本实施例对本方法(单角度、11角度和75角度发射)与传统DAS方法(单角度、11角度和75角度发射；变迹窗为25％Tukey，F#为1.75)以及传统SR方法(单角度发射；使用SPGL1工具包求解，最大迭代次数为50)重建获得的图像进行了定性和定量的比较。所有方法波束合成后的图像均包含256条成像线，其中每条成像线在深度方向上包含1300个采样点。本发明通过充分的仿真、仿体和在体实验，从而展示所训练网络重建图像的质量以及鲁棒性。相比于传统SR方法，使用神经网络求解还将具有两个主要优势：(1)神经网络学***面波图像并进行相干复合，从而进一步提高图像质量成为了可能。
实施例二：上述实施例一提供了超声图像重建方法，与之相对应地，本实施例提供一种超声图像重建***。本实施例提供的***可以实施实施例一的超声图像重建方法，该***可以通过软件、硬件或软硬结合的方式来实现。为了描述的方便，描述本实施例时以功能分为各种单元分别描述。当然，在实施时可以把各单元的功能在同一个或多个软件和/或硬件中实现。例如，该***可以包括集成的或分开的功能模块或功能单元来执行实施例一各方法中的对应步骤。由于本实施例的***基本相似于方法实施例，所以本实施例描述过程比较简单，相关之处可以参见实施例一的部分说明即可，本发明提供的图像重建***的实施例仅仅是示意性的。
具体地，本实施例提供的超声图像重建***，该***包括：
第一单元，被配置为建立描述超声***所接收的RF通道数据和待求波束合成后数据间关系的测量模型和/或测量矩阵；
第二单元，被配置为通过向成像目标发射超声波并接收回波信号，获得反映该目标声学特性的RF通道数据；
第三单元，被配置为基于RF通道数据和测量矩阵和/或测量矩阵，基于预先训练的求解波束合成逆问题的神经网络获得高质量的波束合成数据，完成超声图像重建。
实施例三：本实施例提供一种与本实施例一所提供的超声图像重建方法对应的电子设备，电子设备可以是用于客户端的电子设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行实施例一的方法。
如图3所示，电子设备包括处理器、存储器、通信接口和总线，处理器、存储器和通信接口通过总线连接，以完成相互间的通信。总线可以是工业标准体系结构(ISA，IndustryStandard Architecture)总线，外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等等。存储器中存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行本实施例一所提供的超声图像重建方法。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实现中，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、光盘等各种可以存储程序代码的介质。
在另一些实现中，处理器可以为中央处理器(CPU)、数字信号处理器(DSP)等各种类型通用处理器，在此不做限定。
实施例四：本实施例一的图像重建方法可被具体实现为一种计算机程序产品，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本实施例一所述的图像重建方法的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实现”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种超声图像重建方法，其特征在于包括：
建立描述超声***所接收的RF通道数据和待求波束合成后数据间关系的测量模型和/或测量矩阵；
通过向成像目标发射超声波并接收回波信号，获得反映该目标声学特性的RF通道数据；
基于RF通道数据和测量模型和/或测量矩阵，基于预先训练的求解波束合成逆问题的神经网络获得高质量的波束合成数据，完成超声图像重建。
2.根据权利要求1所述的超声图像重建方法，其特征在于，描述超声***所接收的RF通道数据和待求波束合成后数据间的测量模型包括线性测量模型和非线性测量模型。
3.根据权利要求2所述的超声图像重建方法，其特征在于，描述超声***所接收到的RF通道数据和待求波束合成后数据间的线性测量模型为：
y＝Hx+n
其中，
是测量矩阵，
是加性高斯噪声，r＝D×K是RF通道数据的总采样点个数，共有K个通道，每个通道包含D个采样点，l＝Nz×Nx是波束合成后数据的总网格点数，共有Nx条成像线，每条成像线包含Nz个像素点。
4.根据权利要求1所述的超声图像重建方法，其特征在于，建立测量模型和/或测量矩阵的步骤包括：
1)在成像区域内放置点散射子目标；
2)获取超声通道数据；
3)计算超声通道数据的强度直方图及其累积分布函数；
4)依据累积分布函数生成二值化掩膜；
5)将掩膜与点目标配对，并将掩膜施加于通道数据上提取该点散射子目标对应的回波信号；
6)重复步骤1)-5)，直到完成成像区域中所有网格点处对应的回波信号；
7)将成像区域每个网格点的回波信号依次重排为测量矩阵的每一列，获得测量矩阵。
5.根据权利要求1所述的超声图像重建方法，其特征在于，求解波束合成逆问题的神经网络的训练，包括：
设置神经网络的相关参数；
设置均方误差损失函数；
针对超声信号特征的先验知识设置相关约束项损失函数；
基于设置的神经网络的相关参数、均方误差损失函数和相关约束项损失函数，采用自监督学习的策略完成求解波束合成逆问题的神经网络的训练。
6.根据权利要求5所述的超声图像重建方法，其特征在于，针对超声信号特征的先验知识设置相关约束项损失函数，包括：
小波域内的稀疏性约束函数；
空间域内的平滑性约束函数；
信号包络的稀疏约束函数。
7.根据权利要求5所述的图像重建方法，其特征在于，采用自监督学习的策略完成求解波束合成逆问题的神经网络的训练，包括：
训练阶段1：初始解
被同时用作神经网络的输入和标签，并通过最小化初始解
和恢复解
间的均方误差训练得到信号恢复网络，也即自编码器；
训练阶段2：网络重建所得的高质量解x′被用于恢复得到其对应的通道数据y′＝Hx′，并通过最小化测量所得通道数据y和恢复通道数据y′间的均方误差损失函数，并引入相关约束项损失函数，训练得到用于求解波束合成逆问题的网络，其中，在每个阶段中都先将超声通道数据通过反投影方法生成波束合成逆问题的初始解
作为网络的输入，然后通过神经网络将其映射为目标解。
8.一种超声图像重建***，其特征在于，该***包括：
第一单元，被配置为建立描述超声***所接收的RF通道数据和待求波束合成后数据间关系的测量模型和/或测量矩阵；
第二单元，被配置为通过向成像目标发射超声波并接收回波信号，获得反映该目标声学特性的RF通道数据；
第三单元，被配置为基于RF通道数据和测量矩阵和/或测量矩阵，基于预先训练的求解波束合成逆问题的神经网络获得高质量的波束合成数据，完成超声图像重建。
9.一种电子设备，其特征在于，包括计算机程序指令，其中，所述程序指令被处理器执行时用于实现权利要求1～7任一项所述的超声图像重建方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，其中，所述程序指令被处理器执行时用于实现如权利要求1～7任一项所述的超声图像重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210814598.2A CN115100069A (zh) | 2022-07-12 | 2022-07-12 | 超声图像重建方法、***、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210814598.2A CN115100069A (zh) | 2022-07-12 | 2022-07-12 | 超声图像重建方法、***、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115100069A true CN115100069A (zh) | 2022-09-23 |
Family
ID=83297868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210814598.2A Pending CN115100069A (zh) | 2022-07-12 | 2022-07-12 | 超声图像重建方法、***、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115100069A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132715A (zh) * | 2023-10-24 | 2023-11-28 | 之江实验室 | 基于物理驱动噪声鲁棒的飞行时间图像重建方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104688271A (zh) * | 2015-03-27 | 2015-06-10 | 清华大学 | 合成聚焦超声成像方法和装置 |
| US20210341436A1 (en) * | 2018-10-08 | 2021-11-04 | Ecole Polytechnique Federale De Lausanne (Epfl) | Image reconstruction method based on a trained non-linear mapping |
-
2022
- 2022-07-12 CN CN202210814598.2A patent/CN115100069A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104688271A (zh) * | 2015-03-27 | 2015-06-10 | 清华大学 | 合成聚焦超声成像方法和装置 |
| US20210341436A1 (en) * | 2018-10-08 | 2021-11-04 | Ecole Polytechnique Federale De Lausanne (Epfl) | Image reconstruction method based on a trained non-linear mapping |
Non-Patent Citations (1)
| Title |
|---|
| JINGKE ZHANG等: "Ultrasound image reconstruction from plane wave radio-frequency data by self-supervised deep neural network", MEDICAL IMAGE ANALYSIS 70 (2021) 102018, 25 February 2021 (2021-02-25), pages 1 - 4 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132715A (zh) * | 2023-10-24 | 2023-11-28 | 之江实验室 | 基于物理驱动噪声鲁棒的飞行时间图像重建方法和装置 |
| CN117132715B (zh) * | 2023-10-24 | 2024-02-02 | 之江实验室 | 基于物理驱动噪声鲁棒的飞行时间图像重建方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khan et al. | Adaptive and compressive beamforming using deep learning for medical ultrasound | |
| Luijten et al. | Adaptive ultrasound beamforming using deep learning | |
| Lorintiu et al. | Compressed sensing reconstruction of 3D ultrasound data using dictionary learning and line-wise subsampling | |
| JP7359850B2 (ja) | 超音波信号の適応ビームフォーミングの方法及びシステム | |
| Perdios et al. | CNN-based image reconstruction method for ultrafast ultrasound imaging | |
| Khan et al. | Variational formulation of unsupervised deep learning for ultrasound image artifact removal | |
| Goudarzi et al. | Ultrasound beamforming using mobilenetv2 | |
| EP3712651A1 (en) | Method and system for adaptive beamforming of ultrasound signals | |
| Chen et al. | Real-time GPU-based adaptive beamformer for high quality ultrasound imaging | |
| Goudarzi et al. | Deep reconstruction of high-quality ultrasound images from raw plane-wave data: A simulation and in vivo study | |
| Mor et al. | A unified deep network for beamforming and speckle reduction in plane wave imaging: A simulation study | |
| Yancheng et al. | RED-MAM: A residual encoder-decoder network based on multi-attention fusion for ultrasound image denoising | |
| Mamistvalov et al. | Deep unfolded recovery of sub-nyquist sampled ultrasound images | |
| Luijten et al. | Ultrasound signal processing: from models to deep learning | |
| CN115100069A (zh) | 超声图像重建方法、***、设备及介质 | |
| Florea et al. | An axially variant kernel imaging model applied to ultrasound image reconstruction | |
| Wasih et al. | A robust cascaded deep neural network for image reconstruction of single plane wave ultrasound RF data | |
| US11478225B2 (en) | Apparatus and method for processing ultrasound image in various sensor conditions | |
| US11158052B2 (en) | Systems and methods for ultrasonic imaging | |
| CN105068071B (zh) | 一种基于反投影算子的快速成像方法 | |
| Molinier et al. | Ultrasonic imaging using conditional generative adversarial networks | |
| Cammarasana et al. | Super-resolution of 2D ultrasound images and videos | |
| CN115170691A (zh) | 基于深度学习和交替方向乘子法的磁共振成像的重构方法 | |
| Gundersen et al. | Hardware-Independent Deep Signal Processing: A Feasibility Study in Echocardiography | |
| Khan et al. | Pushing the limit of unsupervised learning for ultrasound image artifact removal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |