CN117237473A - 一种基于扩散模型的光声断层成像稀疏重建方法 - Google Patents

一种基于扩散模型的光声断层成像稀疏重建方法 Download PDF

Info

Publication number
CN117237473A
CN117237473A CN202311335183.8A CN202311335183A CN117237473A CN 117237473 A CN117237473 A CN 117237473A CN 202311335183 A CN202311335183 A CN 202311335183A CN 117237473 A CN117237473 A CN 117237473A
Authority
CN
China
Prior art keywords
photoacoustic
diffusion model
image
reconstruction
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311335183.8A
Other languages
English (en)
Inventor
宋贤林
刘且根
汪贵军
钟文华
郭康俊
李子龙
刘轩
董嘉庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN202311335183.8A priority Critical patent/CN117237473A/zh
Publication of CN117237473A publication Critical patent/CN117237473A/zh
Pending legal-status Critical Current

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于扩散模型的光声断层成像稀疏重建方法，在光声断层成像重建过程中，提出了基于分数的扩散模型与基于模型的迭代重建方法相结合的稀疏重建策略，使用分数网络学习目标图像的数据分布，并将最终网络的输出作为模型迭代中优化问题的先验信息，以获得最优解。本发明方法可以使得在稀疏探测视角下重建的光声图像比传统方法的重建图像伪影更少，能够更有效准确的体现目标物体的真实信息。

Description

一种基于扩散模型的光声断层成像稀疏重建方法
技术领域
本发明涉及生物医学成像技术领域，具体涉及一种基于扩散模型的光声断层成像稀疏重建方法。
背景技术
光声成像是近年来在生物医学成像领域兴起的一种基于光声效应的非侵入式成像技术，其兼具了光学成像高对比度和声学成像高穿透度的优点，具有很好的临床转化潜力和应用前景。
光声断层成像(PAT)作为光声成像的一个重要分支，可以在深层组织中获得高分辨率的影像。如今，PAT已经在组织细胞成像、癌症检测，心血管疾病检测，图像引导手术等领域取得了广泛应用，并且逐渐成为临床前和临床的重要工具。但在不适定条件下(如有限视角、稀疏视角等)PAT重建图像分辨率低，可能存在严重的伪影。因此，在稀疏采样下实现PAT高质量重建一直是亟需解决的问题。
发明内容
本发明的目的是为了针对现有技术的不足，提供一种基于扩散模型的光声断层成像稀疏重建方法，以解决光声断层成像在不适定条件下(如有限视角、稀疏视角等)重建图像分辨率低，存在严重伪影的问题。
为实现上述技术目的，本发明采用如下技术方案。
一种基于扩散模型的光声断层成像稀疏重建方法，包括以下步骤：
步骤S1、根据超声换能器探测到的光声信号，将对光声断层图像的重建过程转换为对一个基于最小二乘法的约束问题的求解过程；
步骤S2、对约束问题求其最优解，引入一个由扩散模型输出的先验数据分布作为正则化项进行约束，对扩散模型输出的先验数据项和数据保真项优化解耦，采用轮换求解方法在如下式所示的两个子问题之间交替更新求得最优解，进而得到光声断层重建图像：
其中，式(1)的上半公式由扩散模型生成，并作为迭代生成过程中的正则部分；式(1)的下半公式是数据保真项，采用梯度下降迭代公式xk-1＝xk-aA*(Axk-y)求解最小优化问题。
步骤S1所述将对光声断层图像的重建过程转换为对一个基于最小二乘法的约束问题的求解过程，转换过程如下：
光声断层成像过程中，成像物体受到短时脉冲激光照射，物体吸收激光能量并将部分能量转化为热能，热能通过热弹性膨胀被进一步转化为瞬时上升的局部压力并以光声波的形式向四周传播光声波可被超声换能器探测并转化为光声信号，并用于重建光声图像，假设激光激发同时满足热约束和压力约束条件，则吸收的热扩散和体积膨胀的相对变化可以忽略不计，成像物体产生的初始声压会通过介质向外传播，传播方程的数学模型表示为：
上式中，▽表示哈密顿算子，c表示声速，β表示热弹性膨胀系数，cp是比热容，p(r,t)是在t时刻位置r的声压大小；
进一步地，p(r,t)可以继续用格林公式求解得到：
上式描述了光声成像的传播过程，将该过程简化为下式所示的线性过程：
y＝Ax (4)
上式中，y代表超声换能器探测到的光声信号p(r,t)，线性算子A代表光声正向过程，x代表初始声压p0；
由式(3)可知，光声断层图像的重建问题就是利用y通过优化算法得到初始声压x，该优化问题可以通过最小化最小二乘法误差来求解：
求解过程中，往往引入一个正则化项R(x)对优化问题进行约束以获得更准确的解，则式(4)可进一步表示为：
上式中，是数据一致项，R(x)是包含了关于目标图像的先验信息的正则化项，λ是正则化参数；
利用梯度下降的方法对式(5)所示的目标函数进行迭代求取最优解：
上式中，xk表示第k次迭代的结果。
步骤S2中所述引入一个由扩散模型输出的先验数据分布作为正则化项进行约束，所述扩散模型输出先验数据分布的过程如下：
令R(x)为概率密度函数logpt(x)，通过训练评分网络sθ(O)预测光声断层图像数据集数据分布梯度▽xlogpt(x)，其中，O是目标图像的数据集，基于分数匹配生成模型通过数值求解逆SDE获得初步预测的重建图像：
上式中，σi是噪声尺度，i是迭代次数，z是零均值的高斯白噪声；利用预测-校正采样器PC对初步预测的重建图像进行校正后，输出先验数据分布作为正则化项对目标函数进行约束。
具体的，所述评分网络的训练过程，使用去噪分数匹配的方法，训练时，对评分网络的参数θ按下式进行优化：
网络训练完成后，使用近似条件，令
具体的，所述利用预测-校正采样器PC对初步预测的重建图像进行校正，方法如下：
使用欧拉离散化的方法引入一个预测-校正采样器PC，来校正离散化方向SDE演化中的错误，得到校正后的重建图像：
与现有技术相比，本发明具有以下有益效果：
本发明提出了一种基于扩散模型的光声断层成像稀疏重建方法，在极稀疏探测视角下(64和32探测视角)重建质量比传统重建方法有显著提升。在64投影下，小鼠腹部重建图像的PSNR和SSIM可分别达到27.52dB和0.93；相较于传统方法提高了5.94dB和0.25；在32极稀疏投影下，图像的PSNR和SSIM可分别达到22.35dB和0.90，相较于传统方法提高了5.09dB和0.32；有效解决了传统光声断层成像重建方法在不适定条件下(如有限视角、稀疏视角等)，存在的重建图像分辨率低，伪影严重等问题。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简要介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关附图。
图1为本发明网络模型算法流程图；
图2为扩散模型前向与反向传播示意图；
图3为仿真血管重建结果；
图4为圆形仿体重建结果；
图5为小鼠腹部稀疏重建结果。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面对本发明提出方法的各个步骤进行详细说明，应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
实施例
如图1所示，本发明提供了一种基于扩散模型的光声断层成像稀疏重建方法，包括以下步骤：
步骤S1、根据超声换能器探测到的光声信号，将对光声断层图像的重建过程转换为对一个基于最小二乘法的约束问题的求解过程；
步骤S2、对约束问题求其最优解，引入一个由扩散模型输出的先验数据分布作为正则化项进行约束，对扩散模型输出的先验数据项和数据保真项优化解耦，采用轮换求解方法在如下式所示的两个子问题之间交替更新求得最优解，进而得到光声断层重建图像：
其中，式(1)的上半公式由扩散模型生成，并作为迭代生成过程中的正则部分；式(1)的下半公式是数据保真项，采用梯度下降迭代公式xk-1＝xk-aA*(Axk-y)求解最小优化问题。
步骤S1所述将对光声断层图像的重建过程转换为对一个基于最小二乘法的约束问题的求解过程，转换过程如下：
光声断层成像过程中，成像物体受到短时脉冲激光照射，物体吸收激光能量并将部分能量转化为热能，热能通过热弹性膨胀被进一步转化为瞬时上升的局部压力并以光声波的形式向四周传播光声波可被超声换能器探测并转化为光声信号，并用于重建光声图像，假设激光激发同时满足热约束和压力约束条件，则吸收的热扩散和体积膨胀的相对变化可以忽略不计，成像物体产生的初始声压会通过介质向外传播，传播方程的数学模型表示为：
上式中，▽表示哈密顿算子，c表示声速，β表示热弹性膨胀系数，cp是比热容，p(r,t)是在t时刻位置r的声压大小；
进一步地，p(r,t)可以继续用格林公式求解得到：
上式描述了光声成像的传播过程，将该过程简化为下式所示的线性过程：
y＝Ax (4)
上式中，y代表超声换能器探测到的光声信号p(r,t)，线性算子A代表光声正向过程，x代表初始声压p0；
由式(3)可知，光声断层图像的重建问题就是利用y通过优化算法得到初始声压x，该优化问题可以通过最小化最小二乘法误差来求解：
求解过程中，往往引入一个正则化项R(x)对优化问题进行约束以获得更准确的解，则式(4)可进一步表示为：
上式中，是数据一致项，R(x)是包含了关于目标图像的先验信息的正则化项，λ是正则化参数；
利用梯度下降的方法对式(5)所示的目标函数进行迭代求取最优解：
上式中，xk表示第k次迭代的结果。
在上述过程中，选择合适的正则项有助于重建完整的图像。在光声成像中，常用的正则化方法有吉洪诺夫正则化和TV正则化，但是这些常规正则化方法都有各自的局限性。本实施例中采用扩散模型与梯度下降相结合的方法。
具体的，在步骤S2的求解过程中，如图2所示，引入一个由扩散模型输出的先验数据分布作为正则化项进行约束，所述扩散模型输出先验数据分布的过程如下：
令R(x)为概率密度函数logpt(x)，通过训练评分网络sθ(O)预测光声断层图像数据集数据分布梯度▽xlogpt(x)，其中，O是目标图像的数据集，基于分数匹配生成模型通过数值求解逆SDE获得初步预测的重建图像：
上式中，σi是噪声尺度，i是迭代次数，z是零均值的高斯白噪声；利用预测-校正采样器PC对初步预测的重建图像进行校正后，输出先验数据分布作为正则化项对目标函数进行约束。
具体的，为了提高采样质量，需要对评分网络进行训练，所述评分网络的训练过程，使用去噪分数匹配的方法，训练时，对评分网络的参数θ按下式进行优化：
网络训练完成后，使用近似条件，令
具体的，所述利用预测-校正采样器PC对初步预测的重建图像进行校正，方法如下：
使用欧拉离散化的方法引入一个预测-校正采样器PC，来校正离散化方向SDE演化中的错误，得到校正后的重建图像：
为验证本发明的效果，本实施例中通过仿真生成大量分割血管、圆形仿体以及小鼠腹部原始光声信号与初始压力分布。所设置的实验由环型的传感器环绕包围，数量分别为32、64、128个传感器，环绕半径为21.6mm，声速为1500m/s，所有图片的尺寸为256×256的大小，传感器的中心频率被设置为2.5MHz，整个数据集由1200个训练集和300个测试集组成。所有的实验程序都在深度学习开源框架Pytorch上实现，通过对比标签结果与本发明方法重建的结果来观察稀疏重建效果，并过比较定量指标的高低来判断效果。
实验平台配置为GPU显卡(GeForce RTX 2080Ti)。
本次实验验证的数据是32、64、128探头下仿真血管、圆形仿体以及小鼠腹部迭代1000次重建图像。
如图3所示是仿真血管在32、64、128探头下不同方法重建的结果；图4所示是圆形仿体在32、64、128探头下不同方法重建的结果；图5所示是小鼠腹部在32、64、128探头下重建不同方法的结果。由图中结果可以看出，本发明方法与DAS和U-net方法相比，使用扩散模型重建的结果最接近标签图像。
进一步根据对比峰值信噪比(PSNR)与结构相似度(SSIM)来定量比较这几个方法重建的结果。
如下表1、3、5所示的结果是传统重建方法与本发明方法在32、64、128探头下对仿真血管、圆形仿体以及小鼠腹部重建图像的SSIM定量结果。下表2、4、6所示的结果是传统重建方法与本发明方法在32、64、128探头下对仿真血管、圆形仿体以及小鼠腹部重建图像的PSNR定量结果。
表1、图3中各个图像的PSNR值
PSNR 32 64 128
DAS 7.62 8.77 9.06
U-Net 24.39 32.37 36.08
Diffusion Model 38.50 41.10 45.09
表2、图3中各个图像的SSIM值
SSIM 32 64 128
DAS 0.15 0.19 0.21
U-Net 0.88 0.94 0.95
Diffusion Model 0.97 0.98 0.99
表3、图4中各个图像的PSNR值
PSNR 32 64 128
DAS 17.26 21.58 23.90
U-Net 21.19 26.07 27.33
Diffusion Model 22.35 27.52 31.34
表4、图4中各个图像的SSIM值
SSIM 32 64 128
DAS 0.25 0.41 0.53
U-Net 0.69 0.73 0.78
Diffusion Model 0.90 0.93 0.95
表5、图5中各个图像的PSNR值
表6、图5中各个图像的PSNR值
SSIM 32 64 128
DAS 0.53 0.73 0.80
U-Net 0.91 0.93 0.89
Diffusion Model 0.97 0.98 0.98
由以上表格中的数据可以明显看出，本发明方法相较传统重建方法在定量性能方面的优越性。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于扩散模型的光声断层成像稀疏重建方法，其特征在于，包括以下步骤：
步骤S1、根据超声换能器探测到的光声信号，将对光声断层图像的重建过程转换为对一个基于最小二乘法的约束问题的求解过程；
步骤S2、对约束问题求其最优解，引入一个由扩散模型输出的先验数据分布作为正则化项进行约束，对扩散模型输出的先验数据项和数据保真项优化解耦，采用轮换求解方法在如下式所示的两个子问题之间交替更新求得最优解，进而得到光声断层重建图像：
其中，式(1)的第一个公式由扩散模型生成，并作为迭代生成过程中的正则部分；式(1)的第二个公式是数据保真项，采用梯度下降迭代公式xk-1＝xk-aA*(Axk-y)求解最小优化问题。
2.根据权利要求1所述的一种基于扩散模型的光声断层成像稀疏重建方法，其特征在于，步骤S1所述将对光声断层图像的重建过程转换为对一个基于最小二乘法的约束问题的求解过程，转换过程如下：
光声断层成像过程中，成像物体受到短时脉冲激光照射，物体吸收激光能量并将部分能量转化为热能，热能通过热弹性膨胀被进一步转化为瞬时上升的局部压力并以光声波的形式向四周传播光声波可被超声换能器探测并转化为光声信号，并用于重建光声图像，假设激光激发同时满足热约束和压力约束条件，则吸收的热扩散和体积膨胀的相对变化可以忽略不计，成像物体产生的初始声压会通过介质向外传播，传播方程的数学模型表示为：
上式中，表示哈密顿算子，c表示声速，β表示热弹性膨胀系数，cp是比热容，p(r,t)是在t时刻位置r的声压大小；
进一步地，p(r,t)可以继续用格林公式求解得到：
上式描述了光声成像的传播过程，将该过程简化为下式所示的线性过程：
y＝Ax (4)
上式中，y代表超声换能器探测到的光声信号p(r,t)，线性算子A代表光声正向过程，x代表初始声压p0；
由式(3)可知，光声断层图像的重建问题就是利用y通过优化算法得到初始声压x，该优化问题可以通过最小化最小二乘法误差来求解：
求解过程中，往往引入一个正则化项R(x)对优化问题进行约束以获得更准确的解，则式(4)可进一步表示为：
上式中，是数据一致项，R(x)是包含了关于目标图像的先验信息的正则化项，λ是正则化参数；
利用梯度下降的方法对式(5)所示的目标函数进行迭代求取最优解：
上式中，xk表示第k次迭代的结果。
3.根据权利要求1所述的一种基于扩散模型的光声断层成像稀疏重建方法，其特征在于，步骤S2中所述引入一个由扩散模型输出的先验数据分布作为正则化项进行约束，所述扩散模型输出先验数据分布的过程如下：
令R(x)为概率密度函数logpt(x)，通过训练评分网络sθ(O)预测光声断层图像数据集数据分布梯度其中，O是目标图像的数据集，基于分数匹配生成模型通过数值求解逆SDE获得初步预测的重建图像：
上式中，σi是噪声尺度，i是迭代次数，z是零均值的高斯白噪声；利用预测-校正采样器PC对初步预测的重建图像进行校正后，输出先验数据分布作为正则化项对目标函数进行约束。
4.根据权利要求3所述的一种基于扩散模型的光声断层成像稀疏重建方法，其特征在于，所述评分网络的训练过程，使用去噪分数匹配的方法，训练时，对评分网络的参数θ按下式进行优化：
网络训练完成后，使用近似条件，令
5.根据权利要求3所述的一种基于扩散模型的光声断层成像稀疏重建方法，其特征在于，所述利用预测-校正采样器PC对初步预测的重建图像进行校正，方法如下：
使用欧拉离散化的方法引入一个预测-校正采样器PC，来校正离散化方向SDE演化中的错误，得到校正后的重建图像：
CN202311335183.8A 2023-10-16 2023-10-16 一种基于扩散模型的光声断层成像稀疏重建方法 Pending CN117237473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311335183.8A CN117237473A (zh) 2023-10-16 2023-10-16 一种基于扩散模型的光声断层成像稀疏重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311335183.8A CN117237473A (zh) 2023-10-16 2023-10-16 一种基于扩散模型的光声断层成像稀疏重建方法

Publications (1)

Publication Number Publication Date
CN117237473A true CN117237473A (zh) 2023-12-15

Family

ID=89084314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311335183.8A Pending CN117237473A (zh) 2023-10-16 2023-10-16 一种基于扩散模型的光声断层成像稀疏重建方法

Country Status (1)

Country Link
CN (1) CN117237473A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118000786A (zh) * 2024-04-10 2024-05-10 之江实验室 一种基于解剖学先验的超声层析成像方法和***
CN118071866A (zh) * 2024-04-18 2024-05-24 南昌大学 一种稀疏数字全息图像重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118000786A (zh) * 2024-04-10 2024-05-10 之江实验室 一种基于解剖学先验的超声层析成像方法和***
CN118071866A (zh) * 2024-04-18 2024-05-24 南昌大学 一种稀疏数字全息图像重建方法

Similar Documents

Publication Publication Date Title
CN109978778B (zh) 基于残差学习的卷积神经网络医学ct图像去噪方法
Zhou et al. High spatial–temporal resolution reconstruction of plane-wave ultrasound images with a multichannel multiscale convolutional neural network
Manwar et al. Signal and image processing in biomedical photoacoustic imaging: a review
Coila et al. Regularized spectral log difference technique for ultrasonic attenuation imaging
CN117237473A (zh) 一种基于扩散模型的光声断层成像稀疏重建方法
Rosenthal et al. Fast semi-analytical model-based acoustic inversion for quantitative optoacoustic tomography
CN103310472B (zh) 基于正则化迭代的有限角度光声成像重建方法及装置
Jin et al. Fast and high-resolution three-dimensional hybrid-domain photoacoustic imaging incorporating analytical-focused transducer beam amplitude
Hsu et al. Comparing deep learning frameworks for photoacoustic tomography image reconstruction
CN111956180B (zh) 一种重建光声内窥层析图像的方法
Awasthi et al. Sinogram super-resolution and denoising convolutional neural network (SRCN) for limited data photoacoustic tomography
CN111248858B (zh) 一种基于频域波数域的光声断层成像重建方法
CN105654497A (zh) 一种血管内光声图像的时间反演重建方法
Fan et al. Model-data-driven image reconstruction with neural networks for ultrasound computed tomography breast imaging
Lu et al. Full-frequency correction of spatial impulse response in back-projection scheme using space-variant filtering for optoacoustic mesoscopy
Sanabria et al. Comparative study of raw ultrasound data representations in deep learning to classify hepatic steatosis
Song et al. Sparse-view reconstruction for photoacoustic tomography combining diffusion model with model-based iteration
Hsu et al. Fast iterative reconstruction for photoacoustic tomography using learned physical model: theoretical validation
Sun et al. An iterative gradient convolutional neural network and its application in endoscopic photoacoustic image formation from incomplete acoustic measurement
Dimaridis et al. Image quality improvement techniques and assessment adequacy in clinical optoacoustic imaging: a systematic review
Waag et al. An eigenfunction method for reconstruction of large-scale and high-contrast objects
CN115619889B (zh) 一种适用于环形阵列的多特征融合光声图像重建方法
Kim et al. End-to-end convolutional neural network framework for breast ultrasound analysis using multiple parametric images generated from radiofrequency signals
Liu et al. Regularized Iterative Weighted Filtered Back‐Projection for Few‐View Data Photoacoustic Imaging
Lyu et al. Photoacoustic digital brain: numerical modelling and image reconstruction via deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination