CN112308941A - 基于互信息的受限视角光声图像重构方法 - Google Patents
基于互信息的受限视角光声图像重构方法 Download PDFInfo
- Publication number
- CN112308941A CN112308941A CN202011215182.6A CN202011215182A CN112308941A CN 112308941 A CN112308941 A CN 112308941A CN 202011215182 A CN202011215182 A CN 202011215182A CN 112308941 A CN112308941 A CN 112308941A
- Authority
- CN
- China
- Prior art keywords
- frequency domain
- output
- time domain
- sharing module
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000000007 visual effect Effects 0.000 title claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 39
- 230000004913 activation Effects 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 22
- 238000012512 characterization method Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 12
- 239000000523 sample Substances 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 abstract description 5
- 238000012805 post-processing Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 206010004243 Benign breast neoplasm Diseases 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000010895 photoacoustic effect Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于互信息的受限视角光声图像重构方法。本发明提出使用时域和频域算法得到图像域和k空间的图像作为后处理网络的输入，本发明设计的时频域U形网络模型可以很好结合这两个输入的组织结构信息并去除伪影，同时互信息约束为网络提供了丰富的先验知识，实验证明在受限视角光声重构问题中，本发明的方法优于目前比较成熟和新颖的重构算法。
Description
技术领域
本发明涉及一种基于互信息的先验知识补偿用于时频域输入的受限视角光声图像重构方法。
背景技术
光声成像作为非侵入式的医学成像手段，结合了光的高对比度特性和声的深穿透度特性，近些年来引起的国内外学者的广泛关注。基于光声效应，生物组织在光激励下产生超声信号，这些超声信号被周围的超声探头接收后，人们可以通过重构算法得到生物组织的光声图像。
作为一种重要的光声成像设备，光声计算机断层扫描(PAT)因其成像快速等特点正得到飞速的发展。目前，PAT得到的光声图像已经在血氧饱和度定量、小动物成像、乳腺肿瘤良恶性判断等预临床和临床应用中表现出其他模态没有的优势。但诊断结果的精度很大程度依赖于重构的光声图像质量。这意味着光声重构算法决定了光声设备在临床应用的价值。
目前通过传统的重构算法得到的光声图像质量较低。这些重构算法往往会引入伪影信息，给医生的诊断带来困难。特别是在实际临床应用中，由于空间和检测环境的限制，超声探头往往只能覆盖病人的一部分而造成受限视角的问题。这时使用传统的重构算法更会造成生物组织信息混杂在伪影中无法分辨。
发明内容
本发明要解决的技术问题是：受限视角情况下，现有的光声图像重构算法会造成信息损失并引入伪影信息。
为了解决上述技术问题，本发明的技术方案是提供了一种基于互信息的受限视角光声图像重构方法，其特征在于，包括以下步骤：
针对超声探头接收的超声信号使用时域重构算法得到的DAS图像xi，同时，使用频域重构算法得到的k空间图像xk；
将DAS图像xi与k空间图像xk输入时频域U形网络模型后重构得到光声图像，其中，时频域U形网络模型采用编码器-解码器结构：
DAS图像xi输入编码器后先经过快速傅里叶变换后取复数的实部，随后与输入编码器的k空间图像xk通道连接后输入信息共享模块一；k空间图像xk输入编码器后先经过快速逆傅里叶变换后取复数的实部，随后与输入编码器的DAS图像xi通道连接后输入信息共享模块一；
通过信息共享模块一得到的时域输出一和频域输出一经过最大池化层一后作为信息共享模块二的时域输入和频域输入；信息共享模块二得到的时域输出二和频域输出二经过最大池化层二后作为信息共享模块三的时域输入和频域输入；信息共享模块三得到的时域输出三和频域输出三经过最大池化层三后作为信息共享模块四的时域输入和频域输入；信息共享模块四的时域输出四和频域输出四经过最大池化层四后，频域输出四再经过逆傅里叶变换后与时域输出四在通道上连接在一起，随后经过卷积核计算得到中间潜在表征z2，中间潜在表征z2为编码器的最终输出；
信息共享模块一、信息共享模块二、信息共享模块三及信息共享模块四对时域输入和频域输入进行相同的处理，将信息共享模块一、信息共享模块二、信息共享模块三或信息共享模块四定义为信息共享模块，则有：
信息共享模块提取时域输入的浅层特征后输出给解码器；
信息共享模块将提取到的时域输入的高层次特征、提取到的频域输入变换到时域后的高层次特征与时域输入的原始特征交互融合后形成时域输出一、时域输出二、时域输出三或时域输出四；
信息共享模块将提取到的频域输入的高层次特征、提取到的时域输入变换到频域后的高层次特征与频域输入的原始特征交互融合后形成频域输出一、频域输出二、频域输出三或频域输出四；
解码器将编码器输出的中间潜在表征z2恢复为光声图像。
优选地，所述最大池化层一、所述最大池化层二、所述最大池化层三及所述最大池化层四均为2×2的最大池化层。
优选地，所述信息共享模块将时域输入直接输出以提取所述时域输入的浅层特征，输出的时域输入经过两个3×3的卷积核计算后连接给对应的解码器部分，以保留时域的浅层信息，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作。
优选地，所述时域输入在所述信息共享模块内经过两个3×3的卷积核计算和两个残差卷积层计算提取得到所述时域输入的高层次特征，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作；
所述时域输入在所述信息共享模块内经过快速傅里叶变换后再经过两个3×3的卷积核计算和两个残差卷积层计算提取得到所述时域输入变换到频域后的高层次特征，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作；
所述时域输入在所述信息共享模块内不经过任何计算以保留时域输入的原始特征。
优选地，所述时域输入的高层次特征、所述频域输入变换到时域后的高层次特征与所述时域输入的原始特征在通道连接后经过两个3×3的卷积核计算后得到所述时域输出一、时域输出二、时域输出三或时域输出四，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作。
优选地，所述频域输入在所述信息共享模块内经过两个3×3的卷积核计算和两个残差卷积层计算提取得到所述频域输入的高层次特征，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作；
所述频域输入在所述信息共享模块内经过逆快速傅里叶变换后再经过两个3×3的卷积核计算和两个残差卷积层计算提取得到所述频域输入变换到时域后的高层次特征，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作；
所述频域输入在所述信息共享模块内不经过任何计算以保留频域输入的原始特征。
优选地，所述频域输入的高层次特征、所述时域输入变换到频域后的高层次特征与所述频域输入的原始特征在通道连接后经过两个3×3的卷积核计算后得到所述频域输出一、频域输出二、频域输出三或频域输出四，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作。
优选地，所述中间潜在表征z2在所述解码器内经过以下步骤的处理：
步骤1、所述中间潜在表征z2先经过上采样卷积层后与信息共享模块四输出的浅层特征在通道上拼接，随后继续经过两个3×3的卷积核计算，再进行上采样卷积层操作，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作；
步骤2、将步骤1得到的输出和信息共享模块三输出的浅层特征在通道上拼接，随后继续经过两个3×3的卷积核计算，再进行上采样卷积层操作，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作；
步骤3、将步骤2得到的输出和信息共享模块二输出的浅层特征在通道上拼接，随后继续经过两个3×3的卷积核计算，再进行上采样卷积层操作，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作；
步骤4、将步骤3得到的输出和信息共享模块一输出的浅层特征在通道上拼接，随后继续经过两个3×3的卷积核计算，再进行卷积核计算后得到最终的所述光声图像，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作。
优选地，在所述时频域U形网络模型的训练阶段使用互信息约束中间的潜在变量来补偿先验知识。
优选地，所述使用互信息约束中间的潜在变量来补偿先验知识具体包括以下步骤：
第一步、所述时频域U形网络模型的重构目标函数
如下式(1)所示：
式(1)中，θ表示所述时频域U形网络模型中可训练的所有参数；y表示真实的光声图像；
表示关于参数θ的数学期望；fθ(·)表示所述时频域U形网络模型；
第二步、预训练一个辅助网络提供中间潜在表征z1作为互信息约束；
第三步、加上互信息约束后，在所述时频域U形网络模型的训练阶段，所述时频域U形网络模型的重构目标函数
表示为下式(2)：
式(2)中，I(·,·)表示互信息；λ表示互信息约束的惩罚系数；
第三步、优化目标函数
的变分下界：
用p(z1|z2)表示真实的条件分布，使用变分分布q(z1|z2)来近似替代p(z1|z2)，则互信息项I(z1,z2)表示为下式(3)：
式(3)中，H(z1)表示中间潜在表征z1的信息熵；H(z1|z2)表示给定中间潜在表征z2后中间潜在表征z1的条件熵；
表示关于参数z1，z2的数学期望；
表示表示KL散度；
依据上式(3)得到重构目标函数的变分下界
如下式(4)所示：
第四步、选取高斯分布作为变分分布q(z1|z2)，如下式(5)所示：
式(5)中，μ(z2)表示高斯分布的均值，中间潜在变量z2通过1×1卷积层计算得到；
σ(z2)代表高斯分布的方差，采用下式(6)计算得到：
上式(6)中，C、H、W分别表示z1和z2的通道数、高度和宽度；ε是一个正的常数；
表示维度为C的实数域空间；
第五步、将上式(6)代入到上式(5)并取对数后，变分分布q(z1|z2)表示为下式(7)所示：
式(7)中，c是一个常数；
上式(7)将不能求解的复杂的互信息项表述成容易求解编程实现的互信息变分下届，通过上式(7)，所述时频域U形网络模型的中间潜在变量可以从编码器学到更多的监督信息达到先验知识补偿的效果。
本发明提出使用时域和频域算法得到图像域和k空间的图像作为后处理网络的输入，本发明设计的时频域U形网络模型可以很好结合这两个输入的组织结构信息并去除伪影，同时互信息约束为网络提供了丰富的先验知识，实验证明在受限视角光声重构问题中，本发明的方法优于目前比较成熟和新颖的重构算法。
附图说明
图1为DuDoUnet的整体示意图；
图2为ISB的结构示意图；
图3为互信息约束框架整体示意图；
图4为仿真实验结果(三个能明显看出重构差异的部分，被标注起来并在图片下方放大)。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
针对受限视角的光声重构问题，本发明提出了一种基于互信息的受限视角光声图像重构方法，包括以下步骤：
针对超声探头接收的超声信号使用时域重构算法得到的DAS图像xi，同时，使用频域重构算法得到的k空间图像xk。上述两种重构算法可以重构出相同的生物组织信息，但是会引入不同的伪影信息，这可以在输入层面教会后处理网络哪些是组织哪些是伪影。
为了进一步区分这两种信息，本发明设计了Unet的变种模型——时频域U形网络(Dual Domain Unet，以下简称为DuDoUnet模型)，其整体结构如图1所示。
DuDoUnet模型使用时域重构算法得到的DAS图像xi和频域重构算法得到的k空间图像xk作为输入。图1中，FFT和IFFT分别代表快速傅里叶变换和逆快速傅里叶变换，Concat表示输入在通道维度上连接。这使得图像域和k空间的两个输入可以互享信息和区分伪影。将整个DuDoUnet模型看作是编码器-解码器结构，其中编码器具体结构和运算流程如下：
DAS图像xi大小为128×128×1，k空间图像xk大小为128×128×2，其中两个通道分别是k空间图像xk的实部和虚部。DAS图像xi经过快速傅里叶变换后取复数的实部，其大小为128×128×1。在和k空间图像xk通道连接后，其大小变为128×128×3。同样，k空间图像xk在经过快速逆傅里叶变换后取复数的实部，其大小为128×128×1，在和DAS图像xi通道连接后，其大小变为128×128×2。
接着时频域输入进入第一个信息共享模块(Information Sharing Block，以下简称为ISB)中。ISB的具体结构如图2所示。
ISB有两个输入，分别是时域输入和频域输入。ISB中时域输入完成两种不同的任务：
任务1：直接输出。这一部分用于提取时域的浅层特征。
任务2：分成三部分用于时域特征提取和时域到频域特征的转换，进一步包括：
任务2.1：经过两个3×3的卷积核计算和两个残差卷积层计算。每个卷积操作后都额外附加了批归一化和ReLU激活操作。这一部分用于提取时域的高层次特征。
任务2.2：直接输出。这一部分用于保存时域输入层的原始特征。
任务2.3：经过快速傅里叶变换后再经过两个3×3的卷积核计算和两个残差卷积层计算。这一部分用于提取时域变换到频域后的高层次特征。
值得注意的是，尽管任务1和任务2.2相同，但是对应的输出操作不同，所起到的重要程度也不同。
ISB只要求频域输入完成一个任务，即任务3：
任务3：分成三部分用于频域特征提取和频域到时域特征的转换，进一步包括：
任务3.1：经过两个3×3的卷积核计算和两个残差卷积层计算。这一部分用于提取频域的高层次特征。
任务3.2：直接输出。这一部分用于保存频域输入层的原始特征。
任务3.3：经过逆快速傅里叶变换后再经过两个3×3的卷积核计算和两个残差卷积层计算。这一部分用于提取频域变换到时域后的高层次特征。
ISB共有三个输出，分别是连接输出、时域输出、频域输出：
连接输出：将任务1中的输出经过两个3×3的卷积核计算后将输出连接给对应的解码器部分以保留时域的浅层信息。
时域输出：将任务2.1、任务2.2和任务3.3的输出在通道上连接，经过两个3×3的卷积核计算后输出，此部分保证时域信息的交互融合。
频域输出：将任务3.1、任务3.2和任务2.3的输出在通道上连接，经过两个3×3的卷积核计算后输出，此部分保证频域信息的交互融合。
ISB是DuDoUnet模型中的通用模块，可以适应不同的输入通道数并输出所需通道数的特征，其中独特的时频域变换在保证了图像域和k空间的光声图像信息共享的同时，也保证不同任务之间不会因为时频域特性而互相干扰。
经过第一个ISB后，连接输出一，时域输出一和频域输出一的大小均为128×128×64，时域输出一和频域输出二经过2×2的最大池化层，大小均变为64×64×64。接着这两个输出作为第二个ISB的时域输入和频域输入，经过第二个ISB计算后，连接输出二，时域输出二和频域输出二的大小均变为64×64×128。时域输出二和频域输出二经过2×2的最大池化层，大小均变为32×32×128。接着这两个输出作为第三个ISB的时域输入和频域输入，经过第三个ISB计算后，连接输出三，时域输出三和频域输出三的大小均变为32×32×256。时域输出三和频域输出三经过2×2的最大池化层，大小均变为16×16×256。接着这两个输出作为第四个ISB的时域输入和频域输入，经过第四个ISB计算后，连接输出四，时域输出四和频域输出四的大小均变为16×16×512。时域输出四和频域输出四经过2×2的最大池化层，大小均变变为8×8×512。频域输出四经过逆傅里叶变换后和时域输入输出四在通道上连接在一起，大小变为8×8×1024。这个输出经过两个3×3的卷积核计算后，最终得到中间潜在表征z2，即编码器最终的输出，其大小为8×8×512。
解码器具体结构和运算流程如下：
中间潜在表征z2经过2×2的上采样卷积层后大小变为16×16×512，和第四个ISB中的连接输出四在通道上拼接后得到输出，其大小为16×16×1024。该输出继续经过两个3×3的卷积核计算，大小变为16×16×512。接着输出经过2×2的上采样卷积层操作后，大小变为32×32×256。和第三个ISB中的连接输出三在通道上拼接后得到大小为32×32×512的输出。该输出继续经过两个3×3的卷积核计算，大小变为32×32×256。接着输出经过2×2的上采样卷积层操作后，大小变为64×64×128。和第二个ISB中的连接输出二在通道上拼接后得到大小为64×64×256的输出。该输出继续经过两个3×3的卷积核计算，大小变为64×64×128。接着输出经过2×2的上采样卷积层操作后，大小变为128×128×64。和第一个ISB中的连接输出一在通道上拼接后得到大小为128×128×128的输出。该输出继续经过两个3×3的卷积核计算，大小变为128×128×64。最终，该输出经过一层1×1的卷积核计算，得到最终的输出，其大小和真实图像(GroundTruth，GT)相同，为128×128×1。
我们使用真实的光声图像y作为监督标签，使用fθ(·)表示DuDoUnet模型，θ表示DuDoUnet模型中可训练的所有参数。DuDoUnet整体的重构目标函数可以表示为：
在实验中，我们选取均方根误差(MSE)作为重构的损失函数。
考虑到受限视角光声图像输入只能通过监督标签学习到先验知识，但是随着网络加深，很容易出现梯度消失问题，同时如果网络的解码器足够强大，那编码器将学不到有用的信息，此时我们的重构模型也会变成一个生成模型。对此，本发明提出在模型训练的阶段使用互信息约束中间的潜在变量来补偿先验知识。其整体框架如图3所示。
为了使DuDoUnet模型的编码器可以学习到丰富的先验知识，预训练一个辅助网络(实验中选取自动编码器)提供中间潜在表征z1，即自动编码器中编码器的输出，使用互信息约束z1和DuDoUnet模型中提取的中间潜在表征z2(DuDoUnet模型中编码器的输出)。互信息约束保证了DuDoUnet模型的编码器不止可以从监督标签中学习先验知识，还可以通过中间的潜在表征学习到更多的先验知识，达到了先验知识补偿的效果。
加上互信息约束后，在模型训练阶段，整体的目标函数可以表示为：
式(2)中，I(·,·)表示互信息；λ表示互信息约束的惩罚系数；
通过极大化公式(2)可以得到模型所有参数。但是直接求解公式(2)是十分困难的。因此我们只优化公式(2)的变分下界。我们用p(z1|z2)表示真实的条件分布，但是p(z1|z2)往往是未知的，所以我们使用变分分布q(z1|z2)来近似替代p(z1|z2)。因此互信息项可以表示成：
式(3)中，H(z1)表示中间潜在表征z1的信息熵；H(z1|z2)表示给定中间潜在表征z2后中间潜在表征z1的条件熵；
表示关于参数z1，z2的数学期望；
表示表示KL散度。因为z1是预训练网络提供的中间潜在表征，所以在训练过程中z1保持不变，而且KL散度是非负的，所以我们可以去除这两项，得到目标函数的变分下界如公式(4)所示：
我们选取高斯分布作为变分分布q(z1|z2)：
其中，μ(z2)和σ(z2)代表高斯分布的均值和方差。中间潜在变量z2通过1x1卷积层计算，我们可以得到高斯分布的均值μ(z2)。但使用同样的方法计算高斯分布的方差σ(z2)将会造成网络训练的不稳定，因此我们使用公式(6)来计算方差：
上式(6)中，C、H、W分别表示z1和z2的通道数、高度和宽度；ε是一个正的常数；
表示维度为C的实数域空间。
将公式(6)代入到公式(5)并取对数后，变分互信息项可以表示成：
式(7)中，c是一个常数。
不同于MSE，公式(7)允许网络对不同层施加不同的惩罚约束，当方差σ(z2)恒等于1时，公式(7)和MSE等价。
公式(7)将不能求解的复杂的互信息项表述成容易求解编程实现的互信息变分下届。通过公式(7)，DuDoUnet模型的中间潜在变量可以从编码器学到更多的监督信息达到先验知识补偿的效果。
为了说明本发明的有效性，我们使用一个公开数据集进行实验验证。我们一共选取了2000个样本，其中1500个用于训练，剩下500个用于测试。我们使用K-wave光声仿真工具箱生成光声信号，通过时域重构算法和频域重构算法获得xi和xk。接着我们使用互信息约束的DuDoUnet模型获得重构后的光声图像。本实验中，模型参数λ和ε均设置成1。
为了进一步对比方法和模型的有效性，我们选取Unet，Ynet，DEUnet等常用的重构模型和我们的模型进行比较。其中Unet分成Unet#1和Unet#2。其中Unet#1只输入xi，Unet#2输入xi和xk，但是只使用一路编码器。Ynet和DEUnet模型具有双编码器结构，输入xi和xk各使用一路编码器提取信息。
我们使用结构相似度(SSIM)和峰值信噪比(PSNR)来对比重构结果，结果如下：
在没有互信息约束的情况下，DuDoUnet模型的重构结果就已经超过其他的对比模型了，增加互信息约束后，我们的模型获得了更好的重构结果。
我们进一步通过重构的光声图像直观比较重构结果，如图4所示。从图4可以看出，在同样输入的条件下，DuDoUnet和DuDounet+MI更能还原血管的结构信息。
Claims (10)
1.一种基于互信息的受限视角光声图像重构方法，其特征在于，包括以下步骤：
针对超声探头接收的超声信号使用时域重构算法得到的DAS图像xi，同时，使用频域重构算法得到的k空间图像xk；
将DAS图像xi与k空间图像xk输入时频域U形网络模型后重构得到光声图像，其中，时频域U形网络模型采用编码器-解码器结构：
DAS图像xi输入编码器后先经过快速傅里叶变换后取复数的实部，随后与输入编码器的k空间图像xk通道连接后输入信息共享模块一；k空间图像xk输入编码器后先经过快速逆傅里叶变换后取复数的实部，随后与输入编码器的DAS图像xi通道连接后输入信息共享模块一；
通过信息共享模块一得到的时域输出一和频域输出一经过最大池化层一后作为信息共享模块二的时域输入和频域输入；信息共享模块二得到的时域输出二和频域输出二经过最大池化层二后作为信息共享模块三的时域输入和频域输入；信息共享模块三得到的时域输出三和频域输出三经过最大池化层三后作为信息共享模块四的时域输入和频域输入；信息共享模块四的时域输出四和频域输出四经过最大池化层四后，频域输出四再经过逆傅里叶变换后与时域输出四在通道上连接在一起，随后经过卷积核计算得到中间潜在表征z2，中间潜在表征z2为编码器的最终输出；
信息共享模块一、信息共享模块二、信息共享模块三及信息共享模块四对时域输入和频域输入进行相同的处理，将信息共享模块一、信息共享模块二、信息共享模块三或信息共享模块四定义为信息共享模块，则有：
信息共享模块提取时域输入的浅层特征后输出给解码器；
信息共享模块将提取到的时域输入的高层次特征、提取到的频域输入变换到时域后的高层次特征与时域输入的原始特征交互融合后形成时域输出一、时域输出二、时域输出三或时域输出四；
信息共享模块将提取到的频域输入的高层次特征、提取到的时域输入变换到频域后的高层次特征与频域输入的原始特征交互融合后形成频域输出一、频域输出二、频域输出三或频域输出四；
解码器将编码器输出的中间潜在表征z2恢复为光声图像。
2.如权利要求1所述的一种基于互信息的受限视角光声图像重构方法，其特征在于，所述最大池化层一、所述最大池化层二、所述最大池化层三及所述最大池化层四均为2×2的最大池化层。
3.如权利要求1所述的一种基于互信息的受限视角光声图像重构方法，其特征在于，所述信息共享模块将时域输入直接输出以提取所述时域输入的浅层特征，输出的时域输入经过两个3×3的卷积核计算后连接给对应的解码器部分，以保留时域的浅层信息，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作。
4.如权利要求1所述的一种基于互信息的受限视角光声图像重构方法，其特征在于，所述时域输入在所述信息共享模块内经过两个3×3的卷积核计算和两个残差卷积层计算提取得到所述时域输入的高层次特征，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作；
所述时域输入在所述信息共享模块内经过快速傅里叶变换后再经过两个3×3的卷积核计算和两个残差卷积层计算提取得到所述时域输入变换到频域后的高层次特征，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作；
所述时域输入在所述信息共享模块内不经过任何计算以保留时域输入的原始特征。
5.如权利要求1所述的一种基于互信息的受限视角光声图像重构方法，其特征在于，所述时域输入的高层次特征、所述频域输入变换到时域后的高层次特征与所述时域输入的原始特征在通道连接后经过两个3×3的卷积核计算后得到所述时域输出一、时域输出二、时域输出三或时域输出四，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作。
6.如权利要求1所述的一种基于互信息的受限视角光声图像重构方法，其特征在于，所述频域输入在所述信息共享模块内经过两个3×3的卷积核计算和两个残差卷积层计算提取得到所述频域输入的高层次特征，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作；
所述频域输入在所述信息共享模块内经过逆快速傅里叶变换后再经过两个3×3的卷积核计算和两个残差卷积层计算提取得到所述频域输入变换到时域后的高层次特征，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作；
所述频域输入在所述信息共享模块内不经过任何计算以保留频域输入的原始特征。
7.如权利要求1所述的一种基于互信息的受限视角光声图像重构方法，其特征在于，所述频域输入的高层次特征、所述时域输入变换到频域后的高层次特征与所述频域输入的原始特征在通道连接后经过两个3×3的卷积核计算后得到所述频域输出一、频域输出二、频域输出三或频域输出四，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作。
8.如权利要求1所述的一种基于互信息的受限视角光声图像重构方法，其特征在于，所述中间潜在表征z2在所述解码器内经过以下步骤的处理：
步骤1、所述中间潜在表征z2先经过上采样卷积层后与信息共享模块四输出的浅层特征在通道上拼接，随后继续经过两个3×3的卷积核计算，再进行上采样卷积层操作，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作；
步骤2、将步骤1得到的输出和信息共享模块三输出的浅层特征在通道上拼接，随后继续经过两个3×3的卷积核计算，再进行上采样卷积层操作，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作；
步骤3、将步骤2得到的输出和信息共享模块二输出的浅层特征在通道上拼接，随后继续经过两个3×3的卷积核计算，再进行上采样卷积层操作，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作；
步骤4、将步骤3得到的输出和信息共享模块一输出的浅层特征在通道上拼接，随后继续经过两个3×3的卷积核计算，再进行卷积核计算后得到最终的所述光声图像，其中，每个卷积操作后都额外附加了批归一化和ReLU激活操作。
9.如权利要求1所述的一种基于互信息的受限视角光声图像重构方法，其特征在于，在所述时频域U形网络模型的训练阶段使用互信息约束中间的潜在变量来补偿先验知识。
10.如权利要求1所述的一种基于互信息的受限视角光声图像重构方法，其特征在于，所述使用互信息约束中间的潜在变量来补偿先验知识具体包括以下步骤：
第一步、所述时频域U形网络模型的重构目标函数
如下式(1)所示：
式(1)中，θ表示所述时频域U形网络模型中可训练的所有参数；y表示真实的光声图像；
表示关于参数θ的数学期望；fθ(·)表示所述时频域U形网络模型；
第二步、预训练一个辅助网络提供中间潜在表征z1作为互信息约束；
第三步、加上互信息约束后，在所述时频域U形网络模型的训练阶段，所述时频域U形网络模型的重构目标函数
表示为下式(2)：
式(2)中，I(·,·)表示互信息；λ表示互信息约束的惩罚系数；
第三步、优化目标函数
的变分下界：
用p(z1|z2)表示真实的条件分布，使用变分分布q(z1|z2)来近似替代p(z1|z2)，则互信息项I(z1,z2)表示为下式(3)：
式(3)中，H(z1)表示中间潜在表征z1的信息熵；H(z1|z2)表示给定中间潜在表征z2后中间潜在表征z1的条件熵；
表示关于参数z1，z2的数学期望；
表示表示KL散度；
依据上式(3)得到重构目标函数的变分下界
如下式(4)所示：
第四步、选取高斯分布作为变分分布q(z1|z2)，如下式(5)所示：
式(5)中，μ(z2)表示高斯分布的均值，中间潜在变量z2通过1×1卷积层计算得到；
σ(z2)代表高斯分布的方差，采用下式(6)计算得到：
上式(6)中，C、H、W分别表示z1和z2的通道数、高度和宽度；ε是一个正的常数；
表示维度为C的实数域空间；
第五步、将上式(6)代入到上式(5)并取对数后，变分分布q(z1|z2)表示为下式(7)所示：
式(7)中，c是一个常数；
上式(7)将不能求解的复杂的互信息项表述成容易求解编程实现的互信息变分下届，通过上式(7)，所述时频域U形网络模型的中间潜在变量可以从编码器学到更多的监督信息达到先验知识补偿的效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011215182.6A CN112308941B (zh) | 2020-11-04 | 2020-11-04 | 基于互信息的受限视角光声图像重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011215182.6A CN112308941B (zh) | 2020-11-04 | 2020-11-04 | 基于互信息的受限视角光声图像重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112308941A true CN112308941A (zh) | 2021-02-02 |
| CN112308941B CN112308941B (zh) | 2023-06-20 |
Family
ID=74325545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011215182.6A Active CN112308941B (zh) | 2020-11-04 | 2020-11-04 | 基于互信息的受限视角光声图像重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112308941B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140198606A1 (en) * | 2013-01-15 | 2014-07-17 | Helmsholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) | System and method for quality-enhanced high-rate optoacoustic imaging of an object |
| RU2014115603A (ru) * | 2014-04-18 | 2015-10-27 | Федеральное государственное бюджетное учреждение науки Научно-технологический центр уникального приборостроения РАН | Акустооптическое устройство для получения спектральных стереоизображений с перестройкой по спектру |
| CN111507884A (zh) * | 2020-04-19 | 2020-08-07 | 衡阳师范学院 | 一种基于深层卷积神经网络的自适应图像隐写分析方法及*** |
| CN111640069A (zh) * | 2020-04-17 | 2020-09-08 | 上海交通大学 | 基于光感知网络和相位补偿的压缩成像方法、***和装置 |
| US20200342304A1 (en) * | 2019-04-25 | 2020-10-29 | International Business Machines Corporation | Feature importance identification in deep learning models |
| CN111915691A (zh) * | 2019-05-07 | 2020-11-10 | 上海科技大学 | 基于神经网络的图像处理***、方法、终端、及介质 |
-
2020
- 2020-11-04 CN CN202011215182.6A patent/CN112308941B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140198606A1 (en) * | 2013-01-15 | 2014-07-17 | Helmsholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) | System and method for quality-enhanced high-rate optoacoustic imaging of an object |
| RU2014115603A (ru) * | 2014-04-18 | 2015-10-27 | Федеральное государственное бюджетное учреждение науки Научно-технологический центр уникального приборостроения РАН | Акустооптическое устройство для получения спектральных стереоизображений с перестройкой по спектру |
| US20200342304A1 (en) * | 2019-04-25 | 2020-10-29 | International Business Machines Corporation | Feature importance identification in deep learning models |
| CN111915691A (zh) * | 2019-05-07 | 2020-11-10 | 上海科技大学 | 基于神经网络的图像处理***、方法、终端、及介质 |
| CN111640069A (zh) * | 2020-04-17 | 2020-09-08 | 上海交通大学 | 基于光感知网络和相位补偿的压缩成像方法、***和装置 |
| CN111507884A (zh) * | 2020-04-19 | 2020-08-07 | 衡阳师范学院 | 一种基于深层卷积神经网络的自适应图像隐写分析方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112308941B (zh) | 2023-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Solomon et al. | Deep unfolded robust PCA with application to clutter suppression in ultrasound | |
| AU2013400936B2 (en) | Image analysis techniques for diagnosing diseases | |
| Zhou et al. | High spatial–temporal resolution reconstruction of plane-wave ultrasound images with a multichannel multiscale convolutional neural network | |
| CN110097512A (zh) | 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用 | |
| Luo et al. | Bayesian MRI reconstruction with joint uncertainty estimation using diffusion models | |
| US20210287780A1 (en) | Methods for Risk Map Prediction in AI-based MRI Reconstruction | |
| CN115147600A (zh) | 基于分类器权重转换器的gbm多模态mr图像分割方法 | |
| Yancheng et al. | RED-MAM: A residual encoder-decoder network based on multi-attention fusion for ultrasound image denoising | |
| CN110610528A (zh) | 基于模型的双约束光声断层图像重建方法 | |
| Qiao et al. | A pseudo-siamese feature fusion generative adversarial network for synthesizing high-quality fetal four-chamber views | |
| Panda et al. | A 3D wide residual network with perceptual loss for brain MRI image denoising | |
| CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
| Lim et al. | Motion artifact correction in fetal MRI based on a Generative Adversarial network method | |
| CN112819740B (zh) | 一种基于多成份低秩字典学习的医学图像融合方法 | |
| Aja-Fernández et al. | Validation of deep learning techniques for quality augmentation in diffusion MRI for clinical studies | |
| Li et al. | Deep attention super-resolution of brain magnetic resonance images acquired under clinical protocols | |
| Shahid et al. | Feasibility of a generative adversarial network for artifact removal in experimental photoacoustic imaging | |
| Ma et al. | Edge-guided cnn for denoising images from portable ultrasound devices | |
| Seoni et al. | Ultrasound Image Beamforming Optimization Using a Generative Adversarial Network | |
| CN112308941B (zh) | 基于互信息的受限视角光声图像重构方法 | |
| Ekmekci et al. | Quantifying generative model uncertainty in posterior sampling methods for computational imaging | |
| Liu et al. | Progressive residual learning with memory upgrade for ultrasound image blind super-resolution | |
| CN112132790A (zh) | Dac-gan模型构建方法及在乳腺mr图像中的应用 | |
| Singh et al. | Quality analysis of synthetic ultrasound images using co-occurrence texture statistics | |
| CN116597041B (zh) | 一种脑血管病核磁影像清晰度优化方法、***及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |