CN114332283A - 基于双域神经网络的训练方法和光声图像重建方法 - Google Patents

Abstract

本发明公开了一种基于双域神经网络的训练方法和一种相对应的光声图像重建方法，包括：构建DI‑net网络模型，其中，所述DI‑net网络模型包括数据域D‑net网络、图像域I‑net网络以及所述数据域D‑net网络和图像域I‑net网络之间的反投影层；获取训练样本数据集，所述训练样本数据集包括光声信号和光声图像；基于所述训练样本数据集训练所述DI‑net网络模型，得到训练后的DI‑net网络模型。将稀疏视角光声信号输入DI‑net网络模型，得到重建图像。利用所述训练后的DI‑net网络模型进行图像重建，可以抑制稀疏视角导致的条纹伪影，提高图像质量。

Description

基于双域神经网络的训练方法和光声图像重建方法

技术领域

本发明涉及医疗图像重建领域，特别涉及一种基于双域神经网络的训练方法以及一种利用其的光声图像重建方法。

背景技术

光声计算断层成像(PACT)是一种无损的生物医学成像模态，其光学成像对比度和超声成像穿透深度高，在生物医学领域有着独特的应用价值。为了获得高质量的光声图像，成像***的信号采集装置需要利用高密度的阵列探测器执行密集视角的空间采样。但在实际应用中，由于经济成本、工艺技术及成像时间等因素的限制，探测器的排布往往较为稀疏，只能获取空间欠采样的光声信号，无法满足数据完备性的条件，因而导致重建图像中出现严重的条纹伪影，降低了图像的可读性和定量精度。因此，为了提高成像质量，成像***需要配备一种利用稀疏的光声数据可重建出高质量的光声图像的重建算法。

传统的解析重建算法是通过严格的数学物理模型推导而来，传统的解析重建算法实现稳定重建的必要条件是数据的完备性，因此此类算法不适用于稀疏视角PACT图像重建。

基于压缩感知的迭代重建算法可以利用稀疏的光声数据重建出高质量的光声图像，但是此类算法需要反复多次计算光声的前向和后向过程，导致重建效率低，应用场景受限。

近年来，研究人员开始将深度学习技术应用于稀疏视角PACT图像重建。2018年，Hauptman等人提出了基于深度学习的迭代重建算法，其基本思想是将传统迭代算法的求解过程展开成级联的神经网络，让网络自动学习算法的正则表达式和优化过程，以提升重建速度和图像质量。但和传统迭代算法相似，此类算法需要反复多次的计算光声的前向和后向过程，重建效率低。另外，在端到端的训练模式下，这类算法对GPU显存需求较大，不适用于高分辨率图像的重建。2019Davoudi等人提出了一种基于卷积神经网络的PACT图像后处理技术(Post-Unet)，其主要原理是通过让U-Net网络学习低质量图像和高质量图像之间的映射关系来实现图像增强。此类方法的主要缺点是当输入图像质量较低时，图像中已被丢失的细节或被伪影遮挡的结构依然难以恢复。

发明内容

鉴于此，本发明的主要目的在于公开一种基于双域神经网络的训练方法和一种光声图像重建方法，以期部分地解决上述提及的技术问题中的至少之一。

为了实现上述目的，本发明的一个方面公开了一种基于双域神经网络的训练方法，包括：

获取训练样本数据集，所述训练样本数据集包括光声信号和光声图像；

基于所述训练样本数据集训练所述DI-net网络模型，得到训练后的DI-net网络模型，其中，所述DI-net网络模型包括数据域D-net网络、图像域I-net网络以及所述数据域D-net网络和所述图像域I-net网络之间的反投影层。

根据本发明的一种实施例，所述数据域D-net网络包括第一编码器和第一解码器：

所述第一编码器和所述第一解码器之间存在跳跃连接；所述跳跃连接用于减少数据域D-net网络在下采样过程中引起的数据损失，所述下采样是在所述第一编码器中执行的操作；

其中，所述第一编码器包括：

级联的第一编码子模块、第二编码子模块、第三编码子模块和第四编码子模块，所述第一编码子模块、所述第二编码子模块、所述第三编码子模块和所述第四编码子模块各自包含两个卷积层和一个最大池化层；

其中，所述第一编码子模块、所述第二编码子模块、所述第三编码子模块和所述第四编码子模块中，所述两个卷积层的卷积核的数量相同，级联的所述第一编码子模块、所述第二编码子模块、所述第三编码子模块和所述第四编码子模块中的卷积核数量依次加倍；以及

所述数据域D-net网络的所述第一解码器包括：

级联的第四解码子模块、第三解码子模块、第二解码子模块和第一解码子模块，所述第四解码子模块、所述第三解码子模块、所述第二解码子模块和所述第一解码子模块各自包含两个卷积层和一个最大池化层；

其中，所述第四解码子模块、所述第三解码子模块、所述第二解码子模块、所述第一解码子模块的所述两个卷积层的卷积核的数量相同，级联的所述第四解码子模块、所述第三解码子模块、所述第二解码子模块、所述第一解码子模块的卷积核数量依次减半；

其中，所述数据域D-net网络的所述第一编码器和所述第一解码器中具有相同数量卷积核的子模块为同层子模块。

根据本发明的一种实施例，所述图像域I-net网络包括第二编码器和第二解码器：

所述第二编码器和所述第二解码器之间存在跳跃连接；所述跳跃连接用于减少所述图像域I-net网络中下采样过程引起的数据损失，所述下采样是在所述第二编码器中执行的操作；

其中，所述第二编码器包括：

级联的第五编码子模块、第六编码子模块、第七编码子模块和第八编码子模块，所述第五编码子模块、所述第六编码子模块、所述第七编码子模块和所述第八编码子模块各自包含两个卷积层和一个最大池化层；

其中，所述第五编码子模块、所述第六编码子模块、所述第七编码子模块和所述第八编码子模块中，所述两个卷积层的卷积核的数量相同，级联的所述第五编码子模块、所述第六编码子模块、所述第七编码子模块和所述第八编码子模块中的卷积核数量依次加倍；以及

所述图像域I-net网络的所述第二解码器包括：

级联的第八解码子模块、第七解码子模块、第六解码子模块和第五解码子模块，所述第八解码子模块、所述第七解码子模块、所述第六解码子模块和所述第五解码子模块各自包含两个卷积层和一个最大池化层；

其中，所述第八解码子模块、所述第七解码子模块、所述第六解码子模块、所述第五解码子模块的所述两个卷积层的卷积核的数量相同，级联的所述第八解码子模块、所述第七解码子模块、所述第六解码子模块、所述第五解码子模块中卷积核数量依次减半；

其中，所述图像域I-net网络的所述第二编码器和所述第二解码器中具有相同数量卷积核的子模块为同层子模块。

根据本发明的一种实施例，所述数据域D-net网络和所述图像域I-net网络还包括：

在所述数据域D-net网络和所述图像域I-net网络的所述同层子模块之间建立网络和最后一层神经之间建立的跳跃连接；

在所述数据域D-net网络的第一层神经网络和最后一层神经网络之间建立的跳跃连接；在所述图像域I-net网络的第一层神经网络和最后一层神经网络之间建立的跳跃连接；以及

在所述所述第一编码器和所述第二编码器的各个卷积层中都加入一层归一化层和一层非线性激活函数层。

根据本发明的一种实施例，所述数据域D-net网络和所述图像域I-net网络由反投影层连接，表示为如下矩阵形式：

P＝BY；

其中，P是包含待重建图像信息的一维列向量，将P经重新排列后形成待重建图像矩阵输入到所述图像域I-net网络；B是反投影矩阵，通过所述反投影矩阵B连接所述数据域D-net网络和所述图像域I-net网络；Y是反投影项矩阵，基于所述数据域D-net网络产生。

根据本发明的一种实施例，所述训练样本数据集包括：

空间欠采样光声信号和空间全采样光声信号，以及空间全采样光声信号通过图像重建算法获取的空间全采样光声信号对应的光声图像；所述空间欠采样光声信号和所述空间全采样光声信号形成第一数据集对，所述空间欠采样光声信号和全采样光声信号对应的光声图像形成第二数据集对。

根据本发明的一种实施例，所述空间欠采样光声信号和所述空间全采样光声信号由探测器装置采集不同通道数的光声信号经过滤波矩阵处理后得到，表示为如下矩阵形式：

Y₀＝FX；

其中F是滤波矩阵；X是由探测器装置采集不同通道数的光声信号矩阵；Y₀是所述空间欠采样光声信号矩阵或所述空间全采样光声信号矩阵。

根据本发明的一种实施例，所述训练所述DI-net网络包括：

单独对所述数据域D-net网络进行训练，得到所述数据域D-net网络的第一最优网络结构；

对所述图像域I-net网络进行训练，在得到所述数据域D-net网络的第一最优网络结构、使所述数据域D-net网络的第一权重参数固定后，基于所述DI-net网络模型的端到端训练，得到所述图像域I-net网络的第二最优网络结构，使图像域I-net网络的第二权重参数固定；

恢复所述数据域D-net网络的所述第一权重参数的可训练性，对所述DI-net网络模型进行端到端微调训练，得到所述DI-net网络模型；

其中，基于平方误差损失函数对所述第一权重参数和所述第二权重参数的固定进行监控。

根据本发明的一种实施例，所述训练过程中采用Adam算法进行优化；训练过程中，使用了学习率衰减策略，所述学习率衰减策略包括基于验证集的损失指下降情况，控制学习率的衰减。

为本发明的另一个方面，公开了一种光声图像重建方法，包括：

将稀疏视角光声信号输入DI-net网络模型，得到重建图像；其中，所述DI-net网络模型是利用上述训练方法的方法训练的。

根据本发明的上述实施例的一种基于双域神经网络的训练方法以及一种利用其的光声图像重建方法，将稀疏视角光声信号输入DI-net网络模型，得到重建图像。利用所述训练后的DI-net网络模型进行图像重建，可以抑制稀疏视角导致的条纹伪影，提高图像质量。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1(a)示意性的示出了本发明的一实施例的DI-net网络模型结构图；

图1(b)示意性的示出了本发明的一实施例的数据域D-net网络结构图；

图2示意性的示出了本发明的一实施例的训练DI-net网络的流程图；

图3示意性的示出了本发明的一个实施例的实验装置示意图；

图4示意性的示出了本发明的一个实施例的128个探测视角条件下小鼠断层数据的重建结果图；

图5示意性的示出了本发明的一个实施例的256个探测视角条件下小鼠断层数据的重建结果图；

图6示意性的示出了本发明的一个实施例的定量评估的统计结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合实施例，并参照附图，对本发明作进一步的详细说明。

在此使用的术语仅仅是为了描述实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。

本发明一方面公开了一种双域神经网络的训练方法，包括：

获取训练样本数据集，所述训练样本数据集包括光声信号和光声图像；

由所述训练样本数据集训练所述DI-net网络模型，得到训练后的DI-net网络模型，构建DI-net网络模型，其中，所述DI-net网络模型包括数据域D-net网络、图像域I-net网络以及所述数据域D-net网络和所述图像域I-net网络之间的反投影层。图1(a)示意性的示出了本发明的一实施例的DI-net网络模型结构图。

根据本发明的示例性实施例，如图1(a)所示，DI-net网络模型包括数据域D-net网络、图像域I-net网络以及数据域D-net网络和图像域I-net网络之间的反投影层。

更具体的，在训练过程中，数据域D-net网络由输入光声信号，提取光声信号特征进行处理，得到训练样本数据集稀疏光声信号与训练样本数据集密集光声信号之间的映射关系；图像域I-net网络由输入光声图像，提取光声图像特征进行处理，得到经数据域D-net网络处理的光声图像与训练样本数据集密集光声信号对应的高质量的光声图像之间的映射关系；由反投影层连接数据域D-net网络和图像域I-net网络，得到预测的高质量的光声图像。

图1(b)示意性的示出了本发明的一实施例的数据域D-net网络结构图。

根据本发明的示例性实施例，如图1(b)所示，左侧虚线框图示意性示出了数据域D-net网络的第一编码器结构，第一编码器由级联的第一编码子模块、第二编码子模块、第三编码子模块和第四编码子模块组成，第一编码子模块、第二编码子模块、第三编码子模块和第四编码子模块各自包含两个卷积层和一个最大池化层，其中，第一编码子模块、第二编码子模块、第三编码子模块和第四编码子模块各自包含的两个卷积层的卷积核的数量相同，级联的第一编码子模块、第二编码子模块、第三编码子模块和第四编码子模块中的卷积核数量依次加倍；右侧虚线框图示意性示出了图像域I-net网络的第一解码器结构，第一解码器由级联的第四解码子模块、第三解码子模块、第二解码子模块和第一解码子模块组成，第四解码子模块、第三解码子模块、第二解码子模块和第一解码子模块组成各自包含两个卷积层和一个最大池化层，其中，第四解码子模块、第三解码子模块、第二解码子模块和第一解码子模块的所述各自包含的两个卷积层的卷积核的数量相同，级联的第四解码子模块、第三解码子模块、第二解码子模块、第一解码子模块的卷积核数量依次减半。

更具体的，尺寸大小为M×N的光声信号进入数据域D-net网络后进入第一编码子模块，第一编码子模块的初始通道数为k，k的数值大小由数据域D-net网络初始的滤波器个数确定，经过第一编码子模块中的两个卷积层进行图像特征提取，方法可以为经过3×3卷积核、一层归一化层和一层非线性激活函数层，以及最大池化层下采样，输入数据尺寸经过第一编码子模块后大小减半，通道数加倍，从第一编码子模块输出到的数据经过级联的第二编码子模块、第三编码子模块和第四编码子模块的操作过程与第一编码子模块方法相同或类似，在此不再叙述，最后第四编码子模块输出尺寸大小为M/16×N/16，通道数为16k的数据；尺寸大小为M/16×N/16，通道数为16k的数据输入到第一解码器后，进入第四解码子模块经过上采样处理，输入数据尺寸矩阵大小加倍，通道数减半，经过级联的第三解码子模块、第二解码子模块和第一解码子模块方法相同或类似，在此不再叙述，最后第一解码子模块输出尺寸大小为M×N的图像。

根据本发明的示例性实施例，在数据域D-net网络的第一编码器的各个子模块的各卷积层中，还包括一层归一化层和一层非线性激活函数层。

更具体的，由数据域D-net网络的第一编码器各卷积层中包括的一层归一化层和一层非线性激活函数层，提高数据域D-net网络的性能和训练稳定性。

根据本发明的示例性实施例，在数据域D-net网络的第一编码器和第一解码器中具有相同数量卷积核的子模块为同层子模块。

更具体的，在数据域D-net网络的同层子模块之间，建立跳跃连接，在解码子模块对光声信号进行处理时，由跳跃连接使解码子模块既可以使用上采样处理后出现的特征，也可以使用同层编码子模块中的图像特征，解决第一编码子模块中多次下采样操作可能造成的空间分辨率损失的问题，防止图像细节丢失；在所述数据域D-net网络的第一层神经网络和最后一层神经网络之间建立的跳跃连接，由跳跃连接使上述数据域D-net网络只要学习输入光声信号矩阵和输出光声信号矩阵之间的差值矩阵，降低了数据域D-net网络的学习难度。

根据本发明的示例性实施例，本发明的一实施例的图像域I-net网络结构图以及第二编码器和第二解码器结构与上述数据域D-net网络的结构相同或类似，只是由于图像域I-net网络需要对输入数据更多的细节特征进行提取和处理，将图像域I-net网络的初始通道数设置为数据域D-net网络的通道数的2倍，对应各子模块的卷积核数量也为数据域D-net网络的2倍，其余部分在此不再赘述。

根据本发明的示例性实施例，本发明的一实施例的数据D-net网络和图像域I-net网络由反投影层连接，表示为如下矩阵形式：

P＝BY； (1)

其中，P是包含待重建图像信息的一维列向量，经重新排列后形成待重建图像矩阵输入到图像域I-net网络；B是反投影矩阵，通过反投影矩阵B连接数据域D-net网络和图像域I-net网络；Y是反投影项矩阵，基于数据域D-net网络产生。

更具体的，数据域D-net网络基于输入光声信号，提取光声信号特征进行处理，图像域I-net网络由输入的待重建图像矩阵，提取光声图像特征进行处理，通过反投影层中反投影矩阵B连的连接，使输入光声数据得到数据域D-net网络和图像域I-net网络的映射关系的增强，得到预测的高质量的光声图像。

根据本发明的示例性实施例，本发明的一实施例的训练样本数据集包括：

空间欠采样光声信号和空间全采样光声信号，以及空间全采样光声信号通过相应的图像重建算法获取的空间全采样光声信号对应的光声图像，空间欠采样光声信号和所述空间全采样光声信号形成第一数据集对，空间全采样光声信号和空间全采样光声信号对应光声图像形成第二数据集对。

更具体的，通过对现有的采集装置采集到的光声信号进行不同倍数的降采样，可以得到不同通道数的欠采样光声信号，以满足不同的训练要求，以及，空间欠采样光声信号和空间全采样光声信号由探测器装置采集的不同通道数的光声信号经过滤波矩阵处理后得到，表示为如下矩阵形式：

Y₀＝FX； (2)

其中F是滤波矩阵；X是由探测器装置采集不同通道数的原始光声信号矩阵；Y₀是空间欠采样光声信号矩阵或所述空间全采样光声信号矩阵。

图2示意性的示出了本发明的一实施例的训练DI-net网络的流程图。

根据本发明的示例性实施例，如图2所示，训练DI-net网络包括：

S1：单独对数据域D-net网络进行训练，得到数据域D-net网络的第一最优网络结构；

S2：对图像域I-net网络进行训练，在得到数据域D-net网络的第一最优网络结构、使数据域D-net网络的第一权重参数固定后，基于DI-net网络模型的端到端训练，得到图像域I-net网络的第二最优网络结构，使图像域I-net网络的第二权重参数固定；

S3：恢复数据域D-net网络的第一权重参数的可训练性，对DI-net网络模型进行端到端微调训练，得到DI-net网络模型；

其中，由平方误差损失函数对第一权重参数和第二权重参数的固定进行监控，当平方误差损失函数的结果达到数据域D-net网络和图像域I-net网络达到最优网络结构的标准时，固定此时的权重参数，得到第一权重参数和第二权重参数。

根据本发明的示例性实施例，训练过程中采用Adam算法进行优化；训练过程中，使用了学习率衰减策略，所述学习率衰减策略包括基于验证集的损失指下降情况，控制学习率的衰减。

本发明另一方面公开了一种光声图像重建方法，包括：

将稀疏视角光声成像图像输入DI-net网络模型，得到重建图像，其中，DI-net网络模型是利用上述基于双域神经网络的训练方法训练的。由训练后的DI-net网络模型得到的重建图像，图像伪影得到了抑制，同时恢复了更多的图像细节。

图3示意性的示出了本发明的一个实施例的实验装置示意图。

如图3所示，采集装置可以使用的环形探测器阵列，包含512个独立的探测单元，环形探测器阵列的探测半径和成像区域大小可以与仿真所需的尺寸相似，以便后数据的处理。

根据本发明的一个实施例，经实验测试表明，设置数据域D-net网络初始的M为512像素，N为768像素，初始通道数k为16，两个卷积层各自包含有大小为3×3、步长为1的卷积核、一层归一化层和一层非线性激活函数层，之后进入一个最大池化层进行降采样处理，之后输出，最大池化层包含大小为2×2、步长为2的核，图像域I-net网络的初始通道数k为32，上述设置数据可以在保证DI-net网络模型重建性能的同时有效降低参数计算量。

更具体的，DI-net网络模型编码器模块可以为收缩路径，解码器模块可以为扩展路径，解码器模块中的转置卷积层执行上采样操作，将图像分辨率恢复到原始尺寸，编码器模块中的多次下采样操作，可能会造成空间分辨率损失；为了防止图像细节丢失，在数据域D-net网络和图像域I-net网络的编码器模块和解码器模块之间引入了跳跃连接，由跳跃连接，使解码子模块既可以使用上采样处理后出现的特征，也可以使用同层编码子模块中的图像特征，另外，在数据域D-net网络和图像域I-net网络的第一层神经网络和最后一层神经网络之间建立的跳跃连接，由跳跃连接，使数据域D-net网络和图像域I-net网络只要学习输入图像和输出图像之间的差值图像，降低了网络的学习难度；DI-net网络模型的第一编码器和第二编码器的卷积层中均加入了归一化层(InstanceNorm)和非线性激活函数层(Leaky ReLu)，可以提高DI-net网络模型的性能和训练稳定性。

根据本发明的一个实施例，可以构造两组活体小鼠的稀疏视角光声成像训练样本数据集，稀疏视角光声成像信号的探测视角数量分别为128和256，可以通过对如图3装置采集的512通道数的光声信号进行2倍和4倍降采样，获得256通道数和128通道数的光声信号，上述光声信号尺寸大小为512×768像素，将512通道数的光声信号及其对应的重建图像作为网络训练的参考。

更具体的，对14只小鼠进行了断层成像，共获取了9074个小鼠切片的光声信号(不同小鼠所采集的切片数量不完全相同)。其中12只用于训练(7500个切片)，1只用于验证(787个切片)，剩余1只用于测试(787个切片)。

参考光声图像由滤波反投影算法重建所得，该算法重建过程可以表为：

式中，

其中，p₀(r_s)为光声重建图像，b(r_d,t)为反投影项，r_s为光声源的位置，r_d为探测器的位置，Ω探测面所包裹的立体角(无限平面几何体Ω＝2π，球面和柱面几何体Ω＝4π)，dΩ是单个探测单元对应面积dσ所对应的立体角，p(r_d，t)为探测器得到的光声信号，t为时间，c为声速，dΩ可表示为：

其中，n_d表示探测器表面指向感兴趣区域的单位法向量。

对采集的512通道数的光声信号分别进行2倍和4倍降采样，得到通道数分别为128和256的稀疏光声信号；为简化DI-Net网络模型的应用，加快网络训练进程对稀疏光声信号进行滤波处理，将预处理后的光声信号作为网络的输入，预处理过程如下：首先利用线性插值法将稀疏的128或256通道的光声信号插值成低质量的、512通道光声信号；然后利用上述公式(4)对插值后的采样信号进行滤波处理，获得预处理后的光声信号，该信号作为网络的输入。滤波处理过程可表示为如下矩阵形式：

Y₀＝FX； (2)

其中F是滤波矩阵；X是由探测器装置采集的不同通道数的原始光声信号矩阵；所得Y₀即是用于网络训练的空间欠采样光声信号矩阵或空间全采样光声信号矩阵。

根据本发明的一个实施例，由上式(2)得到的Y₀，经过数据域D-net网络后，可以得到上式(1)中的反投影项矩阵Y。

数据D-net网络和图像域I-net网络由反投影层连接，表示为如下矩阵形式：

P＝BY； (1)

其中，P是包含待重建图像信息的一维列向量，经重新排列后形成待重建图像矩阵输入到图像域I-net网络；B是反投影矩阵，通过反投影矩阵B连接数据域D-net网络和图像域I-net网络；Y是反投影项矩阵，基于数据域D-net网络产生。

更具体的，数据域D-net网络由输入光声信号，提取光声信号特征进行处理，图像域I-net网络基于输入的待重建图像矩阵，待重建图像矩阵由包含待重建图像信息的一维列向量P得到，待重建图像矩阵的大小由具体情况决定，待重建图像矩阵尺寸大小可以为256×256像素，提取光声图像特征进行处理，通过反投影层中反投影矩阵B连数据域D-net网络和图像域I-net网络，得到预测的高质量的光声图像。

根据本发明的一个实施例，训练DI-net网络包括下述步骤：

S1：对数据域D-net网络进行训练，得到数据域D-net网络的第一最优网络结构，通过此阶段训练，数据域D-net网络能够学习到空间欠采样光声数据和空间全采样光声数据之间的映射关系；

S2：对所述图像域I-net网络进行训练，在得到所述数据域D-net网络的第一最优网络结构、使所述数据域D-net网络的第一权重参数固定后，基于DI-net网络模型进行端到端训练，得到图像域I-net网络的第二最优网络结构，使图像域I-net网络的第二权重参数固定，通过此阶段训练，图像域I-net网络能够将反投影层输出的光声图像映射成高质量的光声图像；

S3：恢复所述数据域D-net网络的所述第一权重参数的可训练性，对所述DI-net网络模型进行端到端微调训练，得到所述DI-net网络模型；

训练过程中采用Adam算法进行优化，Batch size大小为8。步骤S1和步骤S2中的初始学习率设置为5×10^-4，训练100个epochs；步骤S3中微调训练的初始学习率设置为1×10^-5，训练30个epochs。训练过程中，使用了学习率衰减策略，当验证集上损失值在3个epochs内没有下降时，学习率将自动衰减为原来的0.8倍。所有训练均在Tensorflow 2.0框架下完成，训练所用计算机配置为Inter Xeon Glod 6226R CPU、NVIDIA RTX TITAN GPU(显存24GB)、Ubuntu操作***。

经过上述训练后的DI-net网络模型得到的重建图像的图像质量优于稀疏视角光声信号通过其他重建方法的得到的重建图像。

图4示意性的示出了本发明的一个实施例的128个探测视角条件下小鼠断层数据的重建结果图。

如图4所示，图4的a部分为128个探测视角条件下参考图像，图4的b部分、图4的c部分、图4的d部分依次为128个探测视角条件下FBP算法重建结果、Post-Unet算法重建结果和DI-Net算法重建结果，图4的e部分、图4的f部分、图4的g部分依次为参考图像与FBP重建图像、Post-Unet重建图像和DI-Net重建图像之间的差值图像图，图4的h部分为128个探测视角条件下MSE、PSNR和SSIM的定量评估结果。从图4的b部分、图4的c部分、图4的d部分中示意性的箭头所示可以看出，由于空间域的欠采样，FBP算法重建的图像中出现了严重的条纹伪影，并且这些伪影遮挡了真实的光声结构，导致重建图像中丢失了很多细节；与FBP算法相比，Post-Unet算法较好地抑制了这些伪影，但其重建的图像中依然存在细节丢失问题；DI-Net算法实现了无伪影的稀疏视角光声图像重建，并且重建图像中的细节更完整、更清晰；图4的h部分所示差值图像和定量评估结果表明，DI-Net公开了最佳的重建结果，其重建图像具有较低的MSE、较高的PSNR和SSIM。

图5示意性的示出了本发明的一个实施例的256个探测视角条件下小鼠断层数据的重建结果图。

如图5所示，图5的a部分为256个探测视角条件下参考图像，图5的b部分、图5的部分、图5的d部分依次为256个探测视角条件下FBP算法重建结果、Post-Unet算法重建结果和DI-Net算法重建结果，图5的e部分、图5的f部分、图5的g部分依次为参考图像与FBP重建图像、Post-Unet重建图像和DI-Net重建图像之间的差值图像图，图5的h部分为256个探测视角条件下MSE、PSNR和SSIM的定量评估结果。从图5的b部分可以看出，由于探测视角数量的增加，FBP算法重建的图像质量获得了显著提升，但图像中依然存在明显的条纹伪影，导致图像对比度低，整体视觉质量差；从图5的c部分和5的d部分所示Post-Unet算法和DI-Net算法较好地抑制了这些伪影，获得了无伪影的高质量图像；图5的h部分所示差值图像和定量评估结果表明，在256个探测视角条件下，Post-Unet可以重建出和DI-Net视觉质量相当的图像，但DI-Net的重建精度更高，重建图像更接近参考图像，具有较低的MSE、较高的PSNR和SSIM。

图6示意性的示出了本发明的一个实施例的定量评估的统计结果。

如图6所示，图6的a部分中从左到右依次为128个探测视角条件下FBP重建图像、Post-Unet重建图像和DI-Net重建图像方法的MSE评价指标的定量评估结果；图6的b部分中从左到右依次为128个探测视角条件下FBP重建图像、Post-Unet重建图像和DI-Net重建图像方法的PSNR评价指标的定量评估结果；图6的c部分从左到右依次为128个探测视角条件下FBP重建图像、Post-Unet重建图像和DI-Net重建图像方法的SSIM评价指标的定量评估结果；图6的d部分中从左到右依次为256个探测视角条件下FBP重建图像、Post-Unet重建图像和DI-Net重建图像方法的MSE评价指标的定量评估结果；图6的e部分中从左到右依次为256个探测视角条件下FBP重建图像、Post-Unet重建图像和DI-Net重建图像方法的PSNR评价指标的定量评估结果；图6的f部分从左到右依次为256个探测视角条件下FBP重建图像、Post-Unet重建图像和DI-Net重建图像方法的SSIM评价指标的定量评估结果。可以看到，对比FBP算法重建和Post-Unet算法重建，DI-Net的重建精度更高，重建图像更接近参考图像，具有较低的MSE、较高的PSNR和SSIM。

本发明还公开了一种训练装置，其可以包括：

获取模块，用于获取训练样本数据集，训练样本数据集包括光声信号和光声图像；

训练模块，用于基于获取模块获取的训练样本数据集训练DI-net网络模型，得到训练后的DI-net网络模型；

其中，训练模块包括：

第一子模块，用于对提取光声信号特征进行处理，得到训练样本数据集稀疏光声信号与训练样本数据集密集光声信号之间的映射关系；

第二子模块，用于对提取光声图像特征进行处理，得到训练样本数据集稀疏光声信号得到的低质量的光声图像与训练样本数据集密集光声信号得到的高质量的光声图像之间的映射关系；

第三子模块，用于连接第一子模块和第二子模块，使算法能够同时在数据域和图像域对光声信号和光声图像进行增强。

本发明还公开了一种重建光声图像装置，其可以包括：

获取模块，用于获取稀疏视角光声成像图像；

重建图像模块，用于获取重建图像，重建图像模块是利用训练装置模块得到的。

附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。

以上对本发明的实施例进行了描述。但是，实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

Claims (10)

1.一种基于双域神经网络的训练方法，包括：

获取训练样本数据集，所述训练样本数据集包括光声信号和光声图像；

基于所述训练样本数据集训练所述DI-net网络模型，得到训练后的DI-net网络模型，其中，所述DI-net网络模型包括数据域D-net网络、图像域I-net网络以及所述数据域D-net网络和所述图像域I-net网络之间的反投影层。

2.根据权利要求1所述的方法，其中，所述数据域D-net网络包括第一编码器和第一解码器：

所述第一编码器和所述第一解码器之间存在跳跃连接；所述跳跃连接用于减少数据域D-net网络在下采样过程中引起的数据损失，所述下采样是在所述第一编码器中执行的操作；

其中，所述第一编码器包括：

级联的第一编码子模块、第二编码子模块、第三编码子模块和第四编码子模块，所述第一编码子模块、所述第二编码子模块、所述第三编码子模块和所述第四编码子模块各自包含两个卷积层和一个最大池化层；

其中，所述第一编码子模块、所述第二编码子模块、所述第三编码子模块和所述第四编码子模块中，所述各自包含的两个卷积层的卷积核的数量相同，级联的所述第一编码子模块、所述第二编码子模块、所述第三编码子模块和所述第四编码子模块中的卷积核数量依次加倍；以及

所述数据域D-net网络的所述第一解码器包括：

级联的第四解码子模块、第三解码子模块、第二解码子模块和第一解码子模块，所述第四解码子模块、所述第三解码子模块、所述第二解码子模块和所述第一解码子模块各自包含两个卷积层和一个最大池化层；

其中，所述第四解码子模块、所述第三解码子模块、所述第二解码子模块、所述第一解码子模块的所述各自包含的两个卷积层的卷积核的数量相同，级联的所述第四解码子模块、所述第三解码子模块、所述第二解码子模块、所述第一解码子模块的卷积核数量依次减半；

其中，所述数据域D-net网络的所述第一编码器和所述第一解码器中具有相同数量卷积核的子模块为同层子模块。

3.根据权利要求2所述的方法，其中，所述图像域I-net网络包括第二编码器和第二解码器：

所述第二编码器和所述第二解码器之间存在跳跃连接；所述跳跃连接用于减少所述图像域I-net网络中下采样过程引起的数据损失，所述下采样是在所述第二编码器中执行的操作；

其中，所述第二编码器包括：

级联的第五编码子模块、第六编码子模块、第七编码子模块和第八编码子模块，所述第五编码子模块、所述第六编码子模块、所述第七编码子模块和所述第八编码子模块各自包含两个卷积层和一个最大池化层；

其中，所述第五编码子模块、所述第六编码子模块、所述第七编码子模块和所述第八编码子模块中，所述各自包含的两个卷积层的卷积核的数量相同，级联的所述第五编码子模块、所述第六编码子模块、所述第七编码子模块和所述第八编码子模块中的卷积核数量依次加倍；以及

所述图像域I-net网络的所述第二解码器包括：

级联的第八解码子模块、第七解码子模块、第六解码子模块和第五解码子模块，所述第八解码子模块、所述第七解码子模块、所述第六解码子模块和所述第五解码子模块各自包含两个卷积层和一个最大池化层；

其中，所述第八解码子模块、所述第七解码子模块、所述第六解码子模块、所述第五解码子模块中，所述各自包含的两个卷积层的卷积核的数量相同，级联的所述第八解码子模块、所述第七解码子模块、所述第六解码子模块、所述第五解码子模块中卷积核数量依次减半；

其中，所述图像域I-net网络的所述第二编码器和所述第二解码器中具有相同数量卷积核的子模块为同层子模块。

4.根据权利要求3所述的方法，其中，所述数据域D-net网络和所述图像域I-net网络还包括：

在所述数据域D-net网络的所述第一编码器和所述第一解码器的所述同层子模块之间建立跳跃连接，在所述数据域D-net网络的第一层神经网络和最后一层神经网络之间建立的跳跃连接；

在所述图像域I-net网络的所述第二编码器和所述第二解码器的所述同层子模块之间建立跳跃连接；在所述图像域I-net网络的第一层神经网络和最后一层神经网络之间建立的跳跃连接；以及

在所述第一编码器和所述第二编码器的各个卷积层中都加入一层归一化层和一层非线性激活函数层。

5.根据权利要求4所述的方法，其中，所述数据域D-net网络和所述图像域I-net网络由反投影层连接，表示为如下矩阵形式：

P＝BY；

其中，P是包含待重建图像信息的一维列向量，将P经重新排列后形成待重建图像矩阵输入到所述图像域I-net网络；B是反投影矩阵，通过所述反投影矩阵B连接所述数据域D-net网络和所述图像域I-net网络；Y是反投影项矩阵，基于所述数据域D-net网络产生。

6.根据权利要求5所述的方法，其中，所述训练样本数据集包括：

空间欠采样光声信号和空间全采样光声信号，以及空间全采样光声信号通过图像重建算法获取的全采样光声信号对应的光声图像；所述空间欠采样光声信号和所述空间全采样光声信号形成第一数据集对，所述空间欠采样光声信号和所述空间全采样光声信号对应的光声图像形成第二数据集对。

7.根据权利要求6所述的方法，其中，所述空间欠采样光声信号和所述空间全采样光声信号由探测器装置采集不同通道数的光声信号经过滤波矩阵处理后得到，表示为如下矩阵形式：

Y₀＝FX；

其中F是滤波矩阵；X是由探测器装置采集不同通道数的光声信号矩阵；Y₀是所述空间欠采样光声信号矩阵或所述空间全采样光声信号矩阵。

8.根据权利要求7所述的方法，其中，所述训练包括：

单独对所述数据域D-net网络进行训练，得到所述数据域D-net网络的第一最优网络结构；

对所述图像域I-net网络进行训练，在得到所述数据域D-net网络的第一最优网络结构、使所述数据域D-net网络的第一权重参数固定后，基于所述DI-net网络模型进行端到端训练，得到所述图像域I-net网络的第二最优网络结构，使图像域I-net网络的第二权重参数固定；

恢复所述数据域D-net网络的所述第一权重参数的可训练性，对所述DI-net网络模型进行端到端微调训练，得到所述DI-net网络模型；

其中，基于平方误差损失函数对所述第一权重参数和所述第二权重参数的固定进行监控。

9.根据权利要求8所述的方法，其中，所述训练过程中采用Adam算法进行优化；训练过程中，使用了学习率衰减策略，所述学习率衰减策略包括基于验证集的损失指下降情况，控制学习率的衰减。

10.一种光声图像重建方法，包括：

将稀疏视角光声信号输入DI-net网络模型，得到重建图像；

其中，所述DI-net网络模型是利用根据权利要求1-9之一所述的方法训练的。

Images