CN109615674A - 基于混合损失函数3d cnn的动态双示踪pet重建方法 - Google Patents
基于混合损失函数3d cnn的动态双示踪pet重建方法 Download PDFInfo
- Publication number
- CN109615674A CN109615674A CN201811434410.1A CN201811434410A CN109615674A CN 109615674 A CN109615674 A CN 109615674A CN 201811434410 A CN201811434410 A CN 201811434410A CN 109615674 A CN109615674 A CN 109615674A
- Authority
- CN
- China
- Prior art keywords
- tracer
- layer
- dual
- pet
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000700 radioactive tracer Substances 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000000203 mixture Substances 0.000 title claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 30
- 230000009977 dual effect Effects 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000002347 injection Methods 0.000 claims description 3
- 239000007924 injection Substances 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 4
- 241001269238 Data Species 0.000 abstract description 2
- 238000001727 in vivo Methods 0.000 description 8
- 239000000523 sample Substances 0.000 description 8
- VEXRMMJOMMTPKJ-ZVSIBQGLSA-N 1-methyl-3-[(e)-[(1e)-1-(methylcarbamothioylhydrazinylidene)propan-2-ylidene]amino]thiourea Chemical compound CNC(=S)N\N=C\C(\C)=N\NC(=S)NC VEXRMMJOMMTPKJ-ZVSIBQGLSA-N 0.000 description 5
- UTPYTEWRMXITIN-YDWXAUTNSA-N 1-methyl-3-[(e)-[(3e)-3-(methylcarbamothioylhydrazinylidene)butan-2-ylidene]amino]thiourea Chemical compound CNC(=S)N\N=C(/C)\C(\C)=N\NC(=S)NC UTPYTEWRMXITIN-YDWXAUTNSA-N 0.000 description 5
- 230000002285 radioactive effect Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 4
- 239000013078 crystal Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000012879 PET imaging Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000035479 physiological effects, processes and functions Effects 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000004153 glucose metabolism Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000012636 positron electron tomography Methods 0.000 description 1
- 239000000941 radioactive substance Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
- A61M5/007—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests for contrast media
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/037—Emission tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/481—Diagnostic techniques involving the use of contrast agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Vascular Medicine (AREA)
- Anesthesiology (AREA)
- Hematology (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于混合损失函数3D CNN的动态双示踪PET重建方法，其针对双示踪PET数据的3D格式，选用对应的3D卷积核，在立体感受野中进行特征提取(下采样)和重建(上采样)过程，精确地从动态符合计数序列出发，重建出两种不同的双示踪PET的三维浓度分布图。本发明方法可以较好地对同时注射、单次采集的双示踪投影数据进行重建，不需要任何模型的约束，对双示踪剂的种类也无特殊要求。基于本发明方法可以最大限度地缩短双示踪PET所需的扫描时间，除此之外，向训练好的网络模型中输入混合的动态符合计数序列，可以在短时间内输出两种单一示踪剂的动态PET图像，这都有助于重建效率的提高。
Description
技术领域
本发明属于PET成像技术领域，具体涉及一种基于混合损失函数3D CNN的动态双示踪PET重建方法。
背景技术
PET(positron emission tomography，正电子发射断层成像)是一种可以检测人体内生理化学活动的诊断性成像技术，它经常被用来对人体的某些特定部位进行功能成像，从而获得该部位的葡萄糖代谢、血流和乏氧等生理指标。这种对人体内不同位置、不同功能成像的实现主要依赖于不同的示踪物质，研究人员将人体内代谢所需的葡萄糖、蛋白质、核酸等生物大分子标记上具有正电子放射性的放射性同位素(最常用的有11C、13N、15O、18F)，就可以制成需要的放射性示踪剂，而放射性物质经过注射或者口服进入人体后，药物会根据某种生理或者病理的作用原理在体内浓聚，此时药物本身所包含的放射性核素就会发生衰变，产生正电子，正电子遇到人体内游离的电子就会发生湮灭效应，从而产生两个能量同为511keV，运动方向相反的γ光子，γ光子被体外的探测器探测到，进而利用重建算法得恢复出示踪剂在体内的分布情况。
然而，对于身体某一特定部位来说，多方面、多角度的检测可以提供更丰富的信息，从不同方面来刻画肿瘤的生理和功能状态也有助于提高诊断准确率，因此双示踪剂PET成像是十分有必要的。为了节约扫描时间，减轻病人痛苦，提高诊断效率，单次扫描双示踪PET动态成像成为亟需解决的关键技术，由于一次湮灭反应产生的是一对511ekV的γ光子，所以不能从能量的角度对这两种示踪剂进行区分。目前主流的双示踪剂PET重建方法主要有两类：第一类方法对重建出的双示踪剂PET重建图像进行分离，该方法从原始数据出发进行双示踪PET图像的重建，但是计算复杂度高，并依赖于人为构造的双示踪模型，临床应用性不强。第二类方法将分离算法融入双示踪剂PET的分离过程中，直接重建出两种放射性示踪剂的浓度分布情况，该方法是在预先重建好的混合PET图像基础上进行分离，但此类方法的分离精度很大程度上取决于重建水平的好坏，限制了分离精度的进一步地提高。除此之外，大部分方法不适用于两种示踪剂同时注射的情况，这不利于最大限度地节省扫描时间，提高机器利用率，减轻病人痛苦。
发明内容
鉴于上述，本发明提供了一种基于混合损失函数3D CNN的动态双示踪PET重建方法，其针对双示踪PET数据的3D格式，选用对应的3D卷积核，在立体感受野中进行特征提取(下采样)和重建(上采样)过程，精确地从动态符合计数序列出发，重建出两种不同的双示踪PET的三维浓度分布图。
一种基于混合损失函数3D CNN的动态双示踪PET重建方法，包括如下步骤：
(1)向生物组织注入由示踪剂I和示踪剂II所组成的混合双示踪剂并进行动态PET探测，得到对应不同时刻的符合计数向量，进而组成反映混合双示踪剂分布情况的三维动态符合计数序列Sdual；
(2)向生物组织先后注入示踪剂I和示踪剂II并进行动态PET探测，得到两组单示踪剂对应不同时刻的符合计数向量，进而组成分别反映示踪剂I和示踪剂II分布情况的三维动态符合计数序列SI和SII；
(3)利用PET图像重建算法计算出动态符合计数序列Sdual、SI和SII所对应的三维动态PET图像序列Xdual、XI和XII；
(4)使Sdual、Xdual、XI和XII组成为样本，根据步骤(1)～(3)重复执行多次以得到大量样本，进而将所有样本分为训练集和测试集；
(5)利用训练集样本中的Sdual作为输入，对应的Xdual作为辅助标签，XI和XII作为主标签，通过三维卷积神经网络(3D CNN)进行训练，得到动态双示踪剂PET重建模型；
(6)从测试集中任取一样本，使该样本中的Sdual输入至所述动态双示踪剂PET重建模型，即可输出得到对应示踪剂I和示踪剂II的三维动态PET图像序列XI和XII。
进一步地，所述步骤(4)中将所有样本分为训练集和测试集，使得训练集与测试集的样本比例大于二分之一。
进一步地，所述步骤(5)中通过三维卷积神经网络进行训练的具体过程如下：
5.1构建一个三维卷积神经网络，其由混合PET图像的重建网络和基于重建后混合图像的分离网络两部分连接构成；
5.2初始化三维卷积神经网络参数，包括每一层的偏置向量、权值矩阵、学习率以及最大迭代次数；
5.3将训练集样本中的Sdual逐一输入至三维卷积神经网络中进行训练，计算重建网络的输出结果与辅助标签Xdual之间的误差Laux以及分离网络的输出结果与主标签[XI，XII]之间的误差Lmain，将误差Laux和Lmain组合成总的损失函数L；通过自适应矩估计算法(adaptive moment estimation，Adam)对整个三维卷积神经网络的参数不断进行更新，直至损失函数L收敛或达到最大迭代次数，从而完成训练得到动态双示踪剂PET重建模型。
进一步地，所述重建网络由两个3D卷积层、一个reshape层和一个concat层依次连接构成；所述reshape层的输出维度与输入Sdual的维度相同，其输出结果作为concat层的输入；所述concat层将两个3D卷积层在时间维度上进行复制连接，其输出结果作为分离网络的输入。
进一步地，所述分离网络由三个下采样块、三个上采样块和一个3D卷积层依次连接构成。
进一步地，所述下采样块包含有八层，第一层为3D卷积层，设置卷积核不改变输入维度大小；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Scale层，对上一层的输出进行缩放和平移；第四层为Relu层，其采用激活函数，输出结果作为第五层的输入；第五层为3D卷积层，设置2×2×2的卷积核进行下采样，其输出相对输入维度减半；第六层为BatchNorm层，对上一层的输出进行归一化；第七层为Scale层，对上一层的输出进行缩放和平移；第八层为Relu层，其采用激活函数，输出结果作为下一个下采样块的输入；经过每一个下采样块，输入的三个维度均会减半。
进一步地，所述上采样块包含有两层，第一层为3D反卷积层，设置卷积核使得输入维度扩大一倍，输出结果作为第二层的输入；第二层为3D卷积层，设置卷积核不改变输入维度大小，其输出结果作为下一个上采样块的输入；经过每一个上采样块，输入的三个维度均会扩大一倍。
进一步地，所述分离网络中最后的3D卷积层，设置1×1×1的卷积核，产生的结果作为整个网络的输出即两种示踪剂三维PET图像在时间维度上的串联。
进一步地，所述损失函数L的表达式如下：
其中，|| ||2为L2范数，β为权重系数，用来调节辅助误差Laux与主误差Lmain之间的比例关系。
本发明方法可以较好地对同时注射、单次采集的双示踪投影数据进行重建，不需要任何模型的约束，对双示踪剂的种类也无特殊要求。基于本发明方法可以最大限度地缩短双示踪PET所需的扫描时间，除此之外，向训练好的网络模型中输入混合的动态符合计数序列，可以在短时间内输出两种单一示踪剂的动态PET图像，这都有助于重建效率的提高。
附图说明
图1为本发明三维卷积神经网络的结构示意图。
图2(a)为复杂大脑模板图像。
图2(b)为Zubal胸腔模板图像。
图3(a)为[11C]DTBZ第9帧的真实图像。
图3(b)为[11C]DTBZ第9帧的预测图像。
图3(c)为[11C]FMZ第9帧的真实图像。
图3(d)为[11C]FMZ第9帧的预测图像。
图4(a)为[62Cu]ATSM第9帧的真实图像。
图4(b)为[62Cu]ATSM第9帧的预测图像。
图4(c)为[62Cu]PTSM第9帧的真实图像。
图4(d)为[62Cu]PTSM第9帧的预测图像。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
本发明基于混合损失函数3D CNN的动态双示踪PET重建方法，包括如下步骤：
(1)准备训练数据。
1.1向生物组织注入由两种不同的示踪剂(示踪剂I和示踪剂II)所组成的混合双示踪剂并进行动态PET探测，得到对应不同时刻的符合计数向量，进而组成反映混合双示踪剂分布情况的动态符合计数序列Sdual；
1.2向生物组织先后注入示踪剂I和示踪剂II并进行动态PET探测，得到两组单示踪剂对应不同时刻的符合计数向量，进而组成分别反映示踪剂I和示踪剂II分布情况的三维动态符合计数序列SI和SII；
1.3利用PET图像重建算法计算出三维动态符合计数序列Sdual、SI和SII所对应的三维动态PET图像序列Xdual、XI和XII；
1.4根据步骤(1)～(3)重复执行多次，得到大量的动态PET图像序列Sdual、Xdual、XI和XII。
(2)训练集和测试集的划分。
从Sdual，Xdual、XI和XII中提取1/3数据作为训练集输入和辅助标签主标签剩下的2/3作为测试集及其真值用作后续的结果评估。其中主标签和真值的格式为：
(3)多损失函数3D CNN的搭建：
构建一个3D CNN，它由混合PET图像的重建(Part I)和基于重建后混合图像的分离(Part II)两部分构成，如图1所示。
3.1重建Part I由两个3D卷积层、一个reshape层和一个concat层构成，利用辅助损失函数进行监督。第一层3D卷积层设置64×1×1的卷积核，产生64个feature map，作为下一层的输入；第二层3D卷积层设置64×64×1的卷积核，产生4096个feature map，作为下一层的输入；reshape层将输出的feature map重新组合成大小与输入相同的三维图像，其输出结果作为concat层的输入；concat层将两个3D卷积层的输出在时间维度上进行复制连接，作为Part II的输入。
3.2分离Part II由三个下采样块、三个上采样块、一个3D卷积层构成。
每一个下采样块的构成为：第一层为3D卷积层，设置卷积核的大小为3×3×17，不改变输入维度大小，产生18个feature map，作为下一层的输入；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Scale层，对上一层的输出进行缩放和平移；第四层为Relu层，这是一个激活函数，其输出结果作为下一层的输入；第五层为3D卷积层，设置2×2×2卷积核的下采样，输出相对输入维度减半；第六层为BatchNorm层，对上一层的输出进行归一化；第七层为Scale层，对上一层的输出进行缩放和平移；第八层为Relu层，其输出为下一个下采样块的输入；经过每一个下采样块，三个维度都会就减半，三个下采样块的feature map数量分别设置为18、36、72。
每一个上采样块的构成为：第一层为3D反卷积层，设置卷积核为2×2×2使得输入维度扩大一倍，作为下一层的输入；第二层为3D卷积层，设置卷积核3×3×17，不改变输入维度大小，作为下一个上采样块的输入；经过每一个上采样块，三个维度都会扩大一倍，三个上采样块的feature map数量分别设置为72、36、18。
3.3最后一层是3D卷积层，设置1×1×1的卷积核，产生一个feature map作为整个网络的输出，为两种示踪剂三维图像在时间维度上的串联。
(4)初始化网络，设置训练相关参数：
将每一层的权重矩阵和偏置向量设为0，将优化方式设置为Adam，学习率设置为10-6，batchsize设为1，Laux和Lmain之间的比例系数β设置为5。
(5)将训练集输入此网络进行训练，训练的过程如下：
将训练集(输入辅助标签主标签)输入网络进行训练，同时计算Part I的输出结果与辅助标签之间辅助误差Laux，第二部分的输出结果与主标签之间的主误差Lmain，将两部分误差函数组合成总误差函数L如下：
其中，第一项为输出的混合重建预测值和辅助标签的二范数，作为辅助误差项Laux；第二项为示踪剂I和示踪剂II的预测值与其真值之间的二范数之和，作为主误差项Lmain；β为权重因子，用来调整Laux与Lmain之间的比重关系。
以下我们通过模拟实验来验证本发明方法的重建结果。
(1)选择模板。
训练数据包含两组组不同的示踪剂对，每组示踪剂对采用不同的模板，每一个模板都由不同的感兴趣区域(Region of interest，ROI)构成，不同的感兴趣区域表示不同的生化环境。图2(a)是包含4个感兴趣区域的复杂大脑模板，[11C]FMZ+[11C]DTBZ这组示踪剂即采用此模板；图2(b)是Zubal胸腔模板，[62Cu]ATSM+[62Cu]PTSM这组示踪剂即采用此模板。
(2)模拟示踪剂进入体内之后的运动过程。
采用基于动力学参数的双房室模型模拟双示踪剂在体内的运动情况，利用动力学微分方程组求解放射性核素衰变后在体内的稳定的浓度分布图；采用基于动力学参数的单房室模型模拟单一示踪剂在体内的运动情况，利用动力学微分方程组求解放射性核素衰变后在体内的稳定的浓度分布图。
(3)模拟PET的扫描过程。
本实验使用Monte Carlo的GATE来对PET***进行建模，它能够模拟PET的整个采集过程；模拟型号为SHR74000，是日本滨松光子学株式会社设计的一台全身PET/CT成像***，SHR74000-PET扫描仪有6个晶体环，每个环包括48个探测器模块，每个探测器模块包含一个16×16阵列的LYSO晶体，其中晶体环的半径为826mm。当三组双示踪剂和单一示踪剂浓度分布图输入蒙特卡洛***中，便可以生成对应的动态计数序列。
(4)重建过程；利用经典的ML-EM重建算法对正弦图进行重建，得到模拟的放射性示踪剂对在体内的浓度分布。
(5)训练过程；从[11C]FMZ+[11C]DTBZ、[62Cu]ATSM+[62Cu]PTSM所产生的模拟数据中抽出2/3作为训练数据输入到网络中去。
(6)测试过程；利用剩余的1/3用来验证网络的有效性。
图3(a)～图3(b)分别为[11C]DTBZ的第9帧模拟放射性浓度分布图和经过训练的3DCNN得到的预测的放射性浓度分布图，图3(c)～图3(d)分别为[11C]FMZ的第9帧模拟反射性浓度分布图和经过训练的3D CNN得到的预测的放射性浓度分布图；图4(a)～图4(b)分别为[62Cu]PTSM的第9帧模拟放射性浓度分布图和经过训练的3D CNN得到的预测的放射性浓度分布图，图4(c)～图4(d)分别为[62Cu]ATSM的第9帧模拟反射性浓度分布图和经过训练的3DCNN得到的预测的放射性浓度分布图。
将预测的图像与模拟真实图像对比可以发现搭建的3D CNN能够很好地完成双示踪PET图像的重建，其有效性得到验证。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (8)
1.一种基于混合损失函数3D CNN的动态双示踪PET重建方法，包括如下步骤：
(1)向生物组织注入由示踪剂I和示踪剂II所组成的混合双示踪剂并进行动态PET探测，得到对应不同时刻的符合计数向量，进而组成反映混合双示踪剂分布情况的三维动态符合计数序列Sdual；
(2)向生物组织先后注入示踪剂I和示踪剂II并进行动态PET探测，得到两组单示踪剂对应不同时刻的符合计数向量，进而组成分别反映示踪剂I和示踪剂II分布情况的三维动态符合计数序列SI和SII；
(3)利用PET图像重建算法计算出动态符合计数序列Sdual、SI和SII所对应的三维动态PET图像序列Xdual、XI和XII；
(4)使Sdual、Xdual、XI和XII组成为样本，根据步骤(1)～(3)重复执行多次以得到大量样本，进而将所有样本分为训练集和测试集；
(5)利用训练集样本中的Sdual作为输入，对应的Xdual作为辅助标签，XI和XII作为主标签，通过三维卷积神经网络进行训练，得到动态双示踪剂PET重建模型；
(6)从测试集中任取一样本，使该样本中的Sdual输入至所述动态双示踪剂PET重建模型，即可输出得到对应示踪剂I和示踪剂II的三维动态PET图像序列XI和XII。
2.根据权利要求1所述的动态双示踪PET重建方法，其特征在于：所述步骤(4)中将所有样本分为训练集和测试集，使得训练集与测试集的样本比例大于二分之一。
3.根据权利要求1所述的动态双示踪PET重建方法，其特征在于：所述步骤(5)中通过三维卷积神经网络进行训练的具体过程如下：
5.1构建一个三维卷积神经网络，其由混合PET图像的重建网络和基于重建后混合图像的分离网络两部分连接构成；
5.2初始化三维卷积神经网络参数，包括每一层的偏置向量、权值矩阵、学习率以及最大迭代次数；
5.3将训练集样本中的Sdual逐一输入至三维卷积神经网络中进行训练，计算重建网络的输出结果与辅助标签Xdual之间的误差Laux以及分离网络的输出结果与主标签[XI，XII]之间的误差Lmain，将误差Laux和Lmain组合成总的损失函数L；通过自适应矩估计算法对整个三维卷积神经网络的参数不断进行更新，直至损失函数L收敛或达到最大迭代次数，从而完成训练得到动态双示踪剂PET重建模型。
4.根据权利要求3所述的动态双示踪PET重建方法，其特征在于：所述重建网络由两个3D卷积层、一个reshape层和一个concat层依次连接构成；所述reshape层的输出维度与输入Sdual的维度相同，其输出结果作为concat层的输入；所述concat层将两个3D卷积层在时间维度上进行复制连接，其输出结果作为分离网络的输入。
5.根据权利要求3所述的动态双示踪PET重建方法，其特征在于：所述分离网络由三个下采样块、三个上采样块和一个3D卷积层依次连接构成。
6.根据权利要求5所述的动态双示踪PET重建方法，其特征在于：所述下采样块包含有八层，第一层为3D卷积层，设置卷积核不改变输入维度大小；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Scale层，对上一层的输出进行缩放和平移；第四层为Relu层，其采用激活函数，输出结果作为第五层的输入；第五层为3D卷积层，设置2×2×2的卷积核进行下采样，其输出相对输入维度减半；第六层为BatchNorm层，对上一层的输出进行归一化；第七层为Scale层，对上一层的输出进行缩放和平移；第八层为Relu层，其采用激活函数，输出结果作为下一个下采样块的输入；经过每一个下采样块，输入的三个维度均会减半。
7.根据权利要求5所述的动态双示踪PET重建方法，其特征在于：所述上采样块包含有两层，第一层为3D反卷积层，设置卷积核使得输入维度扩大一倍，输出结果作为第二层的输入；第二层为3D卷积层，设置卷积核不改变输入维度大小，其输出结果作为下一个上采样块的输入；经过每一个上采样块，输入的三个维度均会扩大一倍。
8.根据权利要求5所述的动态双示踪PET重建方法，其特征在于：所述分离网络中最后的3D卷积层，设置1×1×1的卷积核，产生的结果作为整个网络的输出即两种示踪剂三维PET图像在时间维度上的串联。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811434410.1A CN109615674B (zh) | 2018-11-28 | 2018-11-28 | 基于混合损失函数3d cnn的动态双示踪pet重建方法 |
| US16/367,012 US11508101B2 (en) | 2018-11-28 | 2019-03-27 | Dynamic dual-tracer PET reconstruction method based on hybrid-loss 3D convolutional neural networks |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811434410.1A CN109615674B (zh) | 2018-11-28 | 2018-11-28 | 基于混合损失函数3d cnn的动态双示踪pet重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109615674A true CN109615674A (zh) | 2019-04-12 |
| CN109615674B CN109615674B (zh) | 2020-09-18 |
Family
ID=66005837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811434410.1A Active CN109615674B (zh) | 2018-11-28 | 2018-11-28 | 基于混合损失函数3d cnn的动态双示踪pet重建方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11508101B2 (zh) |
| CN (1) | CN109615674B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111166368A (zh) * | 2019-12-19 | 2020-05-19 | 浙江大学 | 基于预训练gru的单扫描双示踪剂pet信号分离方法 |
| CN111476859A (zh) * | 2020-04-13 | 2020-07-31 | 浙江大学 | 一种基于3D Unet的动态双示踪PET成像方法 |
| CN111920436A (zh) * | 2020-07-08 | 2020-11-13 | 浙江大学 | 基于多任务学习三维卷积编解码网络的双示踪剂pet分离方法 |
| CN113808106A (zh) * | 2021-09-17 | 2021-12-17 | 浙江大学 | 一种基于深度学习的超低剂量pet图像重建***及方法 |
| WO2022217984A1 (zh) * | 2021-04-14 | 2022-10-20 | 浙江大学 | 一种基于注意力机制的低剂量双示踪剂pet重建方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10839543B2 (en) * | 2019-02-26 | 2020-11-17 | Baidu Usa Llc | Systems and methods for depth estimation using convolutional spatial propagation networks |
| CN113947642B (zh) * | 2021-10-18 | 2024-06-04 | 北京航空航天大学 | 一种x空间磁粒子成像解卷积方法 |
| CN114596379A (zh) * | 2022-05-07 | 2022-06-07 | 中国科学技术大学 | 基于深度图像先验的图像重建方法、电子设备及存储介质 |
| CN114998249B (zh) * | 2022-05-30 | 2024-07-02 | 浙江大学 | 一种时空注意力机制约束的双示踪pet成像方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8917925B1 (en) * | 2014-03-28 | 2014-12-23 | Heartflow, Inc. | Systems and methods for data and model-driven image reconstruction and enhancement |
| CN104616005A (zh) * | 2015-03-10 | 2015-05-13 | 南京宜开数据分析技术有限公司 | 一种领域自适应的人脸表情分析方法 |
| US20160267326A1 (en) * | 2015-03-10 | 2016-09-15 | Fringefy Ltd. | Image abstraction system |
| CN106887025A (zh) * | 2017-01-16 | 2017-06-23 | 浙江大学 | 一种基于栈式自编码器的混合示踪剂动态pet浓度分布图像重建的方法 |
| CN106910185A (zh) * | 2017-01-13 | 2017-06-30 | 陕西师范大学 | 一种基于cnn深度学习的dbcc分类模型及构建方法 |
| CN107133997A (zh) * | 2017-04-11 | 2017-09-05 | 浙江大学 | 一种基于深度神经网络的双示踪剂pet重建方法 |
| CN107862275A (zh) * | 2017-11-01 | 2018-03-30 | 电子科技大学 | 人体行为识别模型及其构建方法和人体行为识别方法 |
| CN108062543A (zh) * | 2018-01-16 | 2018-05-22 | 中车工业研究院有限公司 | 一种面部识别方法及装置 |
| CN108108723A (zh) * | 2018-01-19 | 2018-06-01 | 深圳市恩钛控股有限公司 | 一种基于深度学习的人脸特征提取方法 |
| CN108389226A (zh) * | 2018-02-12 | 2018-08-10 | 北京工业大学 | 一种基于卷积神经网络和双目视差的无监督深度预测方法 |
| CN108475415A (zh) * | 2015-12-21 | 2018-08-31 | 商汤集团有限公司 | 用于图像处理的方法和*** |
-
2018
- 2018-11-28 CN CN201811434410.1A patent/CN109615674B/zh active Active
-
2019
- 2019-03-27 US US16/367,012 patent/US11508101B2/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8917925B1 (en) * | 2014-03-28 | 2014-12-23 | Heartflow, Inc. | Systems and methods for data and model-driven image reconstruction and enhancement |
| CN104616005A (zh) * | 2015-03-10 | 2015-05-13 | 南京宜开数据分析技术有限公司 | 一种领域自适应的人脸表情分析方法 |
| US20160267326A1 (en) * | 2015-03-10 | 2016-09-15 | Fringefy Ltd. | Image abstraction system |
| CN108475415A (zh) * | 2015-12-21 | 2018-08-31 | 商汤集团有限公司 | 用于图像处理的方法和*** |
| CN106910185A (zh) * | 2017-01-13 | 2017-06-30 | 陕西师范大学 | 一种基于cnn深度学习的dbcc分类模型及构建方法 |
| CN106887025A (zh) * | 2017-01-16 | 2017-06-23 | 浙江大学 | 一种基于栈式自编码器的混合示踪剂动态pet浓度分布图像重建的方法 |
| CN107133997A (zh) * | 2017-04-11 | 2017-09-05 | 浙江大学 | 一种基于深度神经网络的双示踪剂pet重建方法 |
| CN107862275A (zh) * | 2017-11-01 | 2018-03-30 | 电子科技大学 | 人体行为识别模型及其构建方法和人体行为识别方法 |
| CN108062543A (zh) * | 2018-01-16 | 2018-05-22 | 中车工业研究院有限公司 | 一种面部识别方法及装置 |
| CN108108723A (zh) * | 2018-01-19 | 2018-06-01 | 深圳市恩钛控股有限公司 | 一种基于深度学习的人脸特征提取方法 |
| CN108389226A (zh) * | 2018-02-12 | 2018-08-10 | 北京工业大学 | 一种基于卷积神经网络和双目视差的无监督深度预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| DONGSHENG RUAN 等: "Separation of a Mixture of Simultaneous Dual-Tracer PET Signals: A Data-Driven Approach", 《IEEE TRANSACTIONS ON NUCLEAR SCIENCE》 * |
| KYUNGSANG KIM 等: "Penalized PET Reconstruction using CNN Prior", 《2017 IEEE NUCLEAR SCIENCE SYMPOSIUM AND MEDICAL IMAGING CONFERENCE PROCEEDINGS (NSS/MIC)》 * |
| 易生 等: "基于多列深度3D卷积神经网络的手势识别", 《计算机工程》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111166368A (zh) * | 2019-12-19 | 2020-05-19 | 浙江大学 | 基于预训练gru的单扫描双示踪剂pet信号分离方法 |
| CN111476859A (zh) * | 2020-04-13 | 2020-07-31 | 浙江大学 | 一种基于3D Unet的动态双示踪PET成像方法 |
| CN111476859B (zh) * | 2020-04-13 | 2022-09-16 | 浙江大学 | 一种基于3D Unet的动态双示踪PET成像方法 |
| CN111920436A (zh) * | 2020-07-08 | 2020-11-13 | 浙江大学 | 基于多任务学习三维卷积编解码网络的双示踪剂pet分离方法 |
| WO2022217984A1 (zh) * | 2021-04-14 | 2022-10-20 | 浙江大学 | 一种基于注意力机制的低剂量双示踪剂pet重建方法 |
| CN113808106A (zh) * | 2021-09-17 | 2021-12-17 | 浙江大学 | 一种基于深度学习的超低剂量pet图像重建***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109615674B (zh) | 2020-09-18 |
| US20200167974A1 (en) | 2020-05-28 |
| US11508101B2 (en) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109615674A (zh) | 基于混合损失函数3d cnn的动态双示踪pet重建方法 | |
| CN109009179B (zh) | 基于深度置信网络的相同同位素标记双示踪剂pet分离方法 | |
| CN106887025B (zh) | 一种基于栈式自编码器的混合示踪剂动态pet浓度分布图像重建的方法 | |
| CN107133997B (zh) | 一种基于深度神经网络的双示踪剂pet重建方法 | |
| CN109993808B (zh) | 一种基于dsn的动态双示踪pet重建方法 | |
| CN105894550B (zh) | 一种基于tv和稀疏约束的动态pet图像和示踪动力学参数同步重建方法 | |
| CN104657950B (zh) | 一种基于Poisson TV的动态PET图像重建方法 | |
| CN106204674B (zh) | 基于结构字典和动力学参数字典联合稀疏约束的动态pet图像重建方法 | |
| CN108986916B (zh) | 基于栈式自编码器的动态pet图像示踪剂动力学宏参数估计方法 | |
| CN105678821B (zh) | 一种基于自编码器图像融合的动态pet图像重建方法 | |
| CN109717891A (zh) | 一种基于深度学习的pet散射校正方法 | |
| CN100412877C (zh) | 人体内物质代谢功能信息可视化的计算机模拟方法 | |
| CN107346556A (zh) | 一种基于块字典学习和稀疏表达的pet图像重建方法 | |
| CN108550172A (zh) | 一种基于非局部特性和全变分联合约束的pet图像重建方法 | |
| CN107146263B (zh) | 一种基于张量字典约束的动态pet图像重建方法 | |
| O’farrell et al. | Luminal fluid motion inside an in vitro dissolution model of the human ascending colon assessed using magnetic resonance imaging | |
| Qing et al. | Separation of dual-tracer PET signals using a deep stacking network | |
| CN107146218A (zh) | 一种基于图像分割的动态pet图像重建及示踪动力学参数估计方法 | |
| CN111166368B (zh) | 基于预训练gru的单扫描双示踪剂pet信号分离方法 | |
| CN111920436A (zh) | 基于多任务学习三维卷积编解码网络的双示踪剂pet分离方法 | |
| CN111476859B (zh) | 一种基于3D Unet的动态双示踪PET成像方法 | |
| CN104063887A (zh) | 一种基于Low Rank的动态PET图像重建方法 | |
| Lian et al. | Spatiotemporal attention constrained deep learning framework for dual-tracer PET imaging | |
| CN115984401A (zh) | 一种基于模型驱动深度学习的动态pet图像重建方法 | |
| CN103263275A (zh) | 一种基于h无穷滤波的pet生理参数的重构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |