CN113367717B - 一种锥束x射线荧光成像方法、***、终端以及存储介质 - Google Patents
一种锥束x射线荧光成像方法、***、终端以及存储介质 Download PDFInfo
- Publication number
- CN113367717B CN113367717B CN202110576925.0A CN202110576925A CN113367717B CN 113367717 B CN113367717 B CN 113367717B CN 202110576925 A CN202110576925 A CN 202110576925A CN 113367717 B CN113367717 B CN 113367717B
- Authority
- CN
- China
- Prior art keywords
- image
- imaging
- fluorescence
- ray
- contrast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000002213 X-ray fluorescence microscopy Methods 0.000 title claims abstract description 35
- 238000003384 imaging method Methods 0.000 claims abstract description 140
- 238000010521 absorption reaction Methods 0.000 claims abstract description 43
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 41
- 238000000799 fluorescence microscopy Methods 0.000 claims abstract description 37
- 238000003062 neural network model Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000000926 separation method Methods 0.000 claims abstract description 7
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000003325 tomography Methods 0.000 claims description 16
- 230000005284 excitation Effects 0.000 claims description 12
- 238000004876 x-ray fluorescence Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 239000002105 nanoparticle Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 2
- 239000000523 sample Substances 0.000 description 25
- 238000010586 diagram Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 239000012472 biological sample Substances 0.000 description 3
- 239000003068 molecular probe Substances 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000002086 nanomaterial Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229960000074 biopharmaceutical Drugs 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000001748 luminescence spectrum Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003147 molecular marker Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 150000002910 rare earth metals Chemical group 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
- A61B6/4035—Arrangements for generating radiation specially adapted for radiation diagnosis the source being combined with a filter or grating
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
- A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
- A61B6/4085—Cone-beams
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/484—Diagnostic techniques involving phase contrast X-ray imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/485—Diagnostic techniques involving fluorescence X-ray imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本申请涉及一种锥束X射线荧光成像方法、***、终端以及存储介质。包括：通过X射线相衬‑荧光成像装置采集成像目标的相衬投影图像，并同步采集成像目标的表面荧光图像；对相衬投影图像进行信息分离与提取，得到成像目标的吸收衬度图像、折射衬度图像以及散射衬度图像，并分别对吸收衬度图像、折射衬度图像及散射衬度图像进行三维重建；将吸收衬度图像、折射衬度图像及散射衬度图像的三维重建图像和表面荧光图像输入训练好的XLCT三维重建深度卷积神经网络模型，通过XLCT三维重建深度卷积神经网络模型输出成像目标的锥束XLCT荧光图像；本申请可以有效地降低锥束XLCT三维重建方程求解的病态程度，实现快速高分辨的锥束X射线荧光成像。
Description
技术领域
本申请属于光学分子成像技术领域，特别涉及一种锥束X射线荧光成像方法、***、终端以及存储介质。
背景技术
光学分子成像技术是利用特异的分子探针发光，用光学成像***检测分子标记物发出的光学信号，并经过算法重建恢复分子探针的空间分布从而得到细胞或组织的功能图像的一种成像技术。光学分子成像技术是一种对活体状态的生物组织的生理过程和病理变化过程进行细胞分子水平的定性或定量研究的重要技术手段。在近二十年，生物光学分子影像技术在肿瘤研究及生物制药等领域得到迅速的发展与应用，根据成像机制不同，目前具有代表性的光学分子影像技术主要可分为：自发荧光断层成像技术(BLT)及荧光分子断层成像技术(FMT)。其中BLT是生物发光成像不需要外部光源的激发，而FMT需要外部的光源来激发生物体内的荧光分子发光。FMT的优势在于其可用的荧光探针种类相比于BLT要丰富很多，且对应发光光谱更广，可以同时对多种目标分子进行标记，但缺点是外部的激发光源不仅是分子探针受到激发也可能是同时激发毛发、软骨等生物体的其他物质，即发生自体荧光现象，从而产生严重的噪声，极大降低成像信噪比。BLT的优势在于其不需要体外光源的激发，没有自体荧光现象的发生，因此它的信噪比和灵敏度更高，但其缺点是探针的种类非常有限，荧光强度通常也非常微弱，因此对成像设备的要求非常严苛。
近年来，荧光纳米材料的合成带来了一种新的光学分子成像技术，即X射线荧光断层成像技术(XLCT)，该技术利用注射进生物组织内的具有特异性的荧光纳米探针在X射线激发下产生荧光。这类荧光纳米材料主要含有Eu、Lu、Ce、Pr等稀土类原子，这些原子在受到X射线照射时会产生近红外光，从而实现特定目标的成像。相比于传统的光学分子成像技术，XLCT可用的探针种类较为丰富，其激发的目标光源强度也比较强，也可以避免自体的干扰，具有较高的灵敏度。另外，XLCT由于X射线的强穿透能力，可以实现更深的分子成像，同时可以结合传统的X射线成像技术为荧光断层图像的重建提供更多先验信息从而减轻重建问题求解的病态程度。
目前，已有的XLCT成像方法主要分为窄束XLCT成像方法和锥束XLCT成像方法。窄束XLCT成像方法的特征是用限束器将X射线光源约束为束线再激发荧光纳米颗粒，这样每次成像X射线只激发束线经过路径上的荧光纳米颗粒，然后再进行束线扫描，最后通过相关的重建算法实现三维断层成像。其成像重建过程类似于传统的束线X射线CT成像技术，优点是可以直接利用X射线束的直线穿透性直接定位目标光源的空间位置信息，不存在荧光重建问题求解的病态性，其空间分辨率取决于X射线束的截面大小，可以实现较高的空间分辨率。但其缺点是扫描过程复杂繁琐，成像耗时长，射线利用效率低等问题。锥束XLCT成像方法将是未来XLCT成像技术发展的主流方向，目前已有的锥束XLCT成像方法都是依靠传统锥束X射线CT成像提供成像样品的结构信息作为XLCT重建的先验信息，而无法更多地提供样品的物质组成或电荷密度分布等更关键的先验信息，因此现有的锥束XLCT重建方程求解仍然面临严重的病态性，极大地限制了锥束XLCT成像方法三维重建的准确性，也很难对结构及组成成分复杂的生物样品实现高质量高分辨率的锥束XLCT成像。
发明内容
本申请提供了一种锥束X射线荧光成像方法、***、终端以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种锥束X射线荧光成像方法，包括：
通过X射线相衬-荧光成像装置采集成像目标的相衬投影图像，并同步采集所述成像目标的表面荧光图像；
对所述相衬投影图像进行信息分离与提取，得到所述成像目标的吸收衬度图像、折射衬度图像以及散射衬度图像，并分别对所述吸收衬度图像、折射衬度图像及散射衬度图像进行三维重建；
将所述吸收衬度图像、折射衬度图像及散射衬度图像的三维重建图像和表面荧光图像输入训练好的XLCT三维重建深度卷积神经网络模型，通过所述XLCT三维重建深度卷积神经网络模型输出成像目标的锥束XLCT荧光图像。
本申请实施例采取的技术方案还包括：所述X射线相衬-荧光成像装置包括相衬成像光路和荧光成像光路，所述相衬成像光路为Talbot-Lau成像装置，用于在开启X射线光源后对所述成像目标进行吸收、折射及散射三个衬度的相衬成像，同时所述成像目标中的荧光纳米颗粒在所述X射线光源的激发下产生激发荧光并被所述荧光成像光路接收，生成所述成像目标的表面荧光图像。
本申请实施例采取的技术方案还包括：所述相衬成像光路包括X射线光源、源光栅、相位光栅、样品台、分析光栅和X射线平板探测器，所述源光栅、相位光栅、样品台、分析光栅和X射线平板探测器均安装于三轴精密运动平台上，且所述样品台可360度水平自由旋转；所述分析光栅可±45度水平旋转及±15度垂直方向的偏转；
所述荧光成像光路包括微弱信号探测器及黑盒，并与所述相衬成像光路中共用同一样品台；所述黑盒由可遮挡红外波段及可见光波段光波的材料构成，并将所述样品台及微弱信号探测器罩在暗盒内，所述微弱信号探测器***还设置有X射线屏蔽层。
本申请实施例采取的技术方案还包括：所述XLCT三维重建深度卷积神经网络模型包括12个卷积层，第一个卷积层为输入层，最后一个卷积层是输出层，其余10个卷积层由多模态图像信息提取结构串联或并联而成；
所述XLCT三维重建深度卷积神经网络模型的激活函数为Leaky-ReLU函数。
本申请实施例采取的技术方案还包括：所述输入层包括四个输入端，分别为三维吸收衬度图像输入端、三维折射衬度图像输入端、三维散射衬度图像输入端以及表面荧光图像输入端。
本申请实施例采取的技术方案还包括：每个所述多模态图像信息提取结构均有三个并行的卷积运算通道：通道1中两个串联卷积层的卷积核大小均为1*1，所述通道1用于保证网络输出图像的分辨率与输入图像相同；通道2中两个串联卷积层的卷积核大小分别为1*3和3*1，通道3中两个串联卷积层的卷积核大小分别为1*5和5*1，所述通道2和通道3用于反映两种不同模式图像中邻域像素相互间的运算可能包含的对应关系。
本申请实施例采取的技术方案还包括：所述通过所述XLCT三维重建深度卷积神经网络模型输出成像目标的锥束XLCT荧光图像具体为：
从所述吸收衬度图像、折射衬度图像及散射衬度图像中获取所述成像目标的内部结构信息，并从所述吸收衬度图像、折射衬度图像中求解出成像目标的电荷密度分布信息及等效原子序数分布信息，将所述内部结构信息、电荷密度分布信息及等效原子序数分布信息作为先验知识，从所述成像目标的表面荧光图像中得到相应的目标荧光光源的三维空间分布信息，对所述成像目标进行锥束XLCT荧光图像重建。
本申请实施例采取的另一技术方案为：一种锥束X射线荧光成像***，包括：
图像采集模块：用于通过X射线相衬-荧光成像装置采集成像目标的相衬投影图像，并同步采集所述成像目标的表面荧光图像；
相衬图像处理模块：用于对所述相衬投影图像进行信息分离与提取，得到所述成像目标的吸收衬度图像、折射衬度图像以及散射衬度图像，并分别对所述吸收衬度图像、折射衬度图像及散射衬度图像进行三维重建；
荧光成像模块：用于将所述吸收衬度图像、折射衬度图像及散射衬度图像的三维重建图像和表面荧光图像输入训练好的XLCT三维重建深度卷积神经网络模型，通过所述XLCT三维重建深度卷积神经网络模型输出成像目标的锥束XLCT荧光图像。
本申请实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现所述锥束X射线荧光成像方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制锥束X射线荧光成像。
本申请实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述锥束X射线荧光成像方法。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的锥束X射线荧光成像方法、***、终端以及存储介质利用X射线相衬-荧光成像装置获取成像目标的表面荧光图像、吸收衬度图像、折射衬度图像以及散射衬度图像，以此得到的成像目标的内部结构信息，并从吸收衬度图像、折射衬度图像中求解出成像样品的电荷密度分布信息及等效原子序数分布信息，将内部结构信息、电荷密度分布信息及等效原子序数分布信息作为锥束XLCT三维重建时所需的先验信息，然后利用深度卷积网络从成像目标的内部信息及表面荧光信息中提取出成像目标荧光光源的三维空间分布信息，实现快速高分辨的锥束X射线荧光成像。相对于现有技术，本申请至少具有以下优点：
1、本申请利用X射线相衬-荧光成像装置获取锥束XLCT三维重建时所需的先验信息，相比于单纯利用传统X射线吸收衬度成像作为XLCT三维重建时的先验信息，可以有效地降低锥束XLCT三维重建方程求解的病态程度。
2、本申请的XLCT三维重建深度卷积神经网络模型可以更容易地融合各种模态成像方式获得的信息，能够快速准确地重建出目标荧光的空间分布信息，并且训练好的模型可以方便地迁移到同类生物样品的其他不同生命活动的观察及研究实验中，无需重新训练，因此可以在实验过程中设置特定的实验样品用于网络模型的训练而使宝贵的目标实验样品减少遭受的辐射剂量，同时也提高了实验效率。
附图说明
图1是本申请实施例的锥束X射线荧光成像方法的流程图；
图2是本申请实施例的X射线相衬-荧光成像装置的结构示意图；
图3是本申请实施例的XLCT三维重建深度卷积神经网络模型的训练过程示意图；
图4为本申请实施例的XLCT三维重建深度卷积神经网络模型的结构示意图；
图5为本申请实施例的锥束X射线荧光成像***结构示意图；
图6为本申请实施例的终端结构示意图；
图7为本申请实施例的存储介质的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
针对现有技术的不足，本申请实施例的锥束X射线荧光成像方法利用X射线相衬成像方法采集成像目标的相衬投影图像，并同步采集成像目标的表面荧光信息，根据相衬投影图像提取成像目标的结构、组成成分及电子密度分布等内部信息作为XLCT重建的先验信息，然后利用深度卷积网络从成像目标的内部信息及表面荧光信息中提取出成像目标荧光光源的三维空间分布信息，从而实现成像目标的锥束XLCT荧光图像重建。
具体地，请参阅图1，是本申请实施例的锥束X射线荧光成像方法的流程图。本申请实施例的锥束X射线荧光成像方法包括以下步骤：
S10：通过X射线相衬-荧光成像装置采集成像目标的相衬投影图像，并同步采集成像目标的360度表面荧光图像；
本步骤中，请一并参阅图2，是本申请实施例的X射线相衬-荧光成像装置的结构示意图。本申请实施例的X射线相衬-荧光成像装置包括相衬成像光路和荧光成像光路。荧光成像光路与相衬成像光路轴线处于同一水平面，且垂直于相衬成像光路。相衬成像光路为Talbot-Lau成像装置，相衬成像光路由微焦斑X射线光源31、源光栅32、相位光栅33、用于放置样品3的样品台、分析光栅34和X射线平板探测器35组成，其中源光栅32、相位光栅33、样品台、分析光栅34和X射线平板探测器35均安装于三轴精密运动平台上，可实现X、Y、Z三个维度的电控精密移动，且样品台可实现360度水平自由旋转，以满足CT扫描的要求；分析光栅35可实现±45度水平旋转及±15度垂直方向的偏转，以满足相衬光路调节校准的要求。
荧光成像光路包括微弱信号探测器36及黑盒，并与相衬成像光路中共用同一样品台，可实现同步成像。黑盒由可遮挡红外波段及可见光波段光波的材料构成，并将样品台及微弱信号探测器罩在暗盒37内。微弱信号探测器***设置有一定的X射线屏蔽层，以防护X射线对微弱信号探测器电子元器件的损害。
开启相衬成像光路的X射线光源后，通过相衬成像光路对成像目标进行多个衬度的相衬成像，同时成像目标中的荧光纳米颗粒在X射线的激发下产生激发荧光并被微弱信号探测器接收，实现成像目标的表面荧光成像。
S11：对相衬投影图像进行信息分离与提取，分别得到成像目标的吸收衬度图像、折射衬度图像以及散射衬度图像，并分别对吸收衬度图像、折射衬度图像及散射衬度图像进行三维重建；
本步骤中，从相衬投影图像中提取的吸收衬度图像、折射衬度图像以及散射衬度图像不仅可以更全面的反映成像目标的结构、组成成分等内部结构信息，还可以从吸收衬度图像与折射衬度图像中求解出成像目标的电荷密度分布信息以及等效原子序数分布信息，电荷密度分布信息以及等效原子序数分布信息是影响荧光在成像目标中传输性质的关键因素。另外，散射衬度图像反映了成像目标对X射线的散射性质，这与成像目标对荧光的散射性质也具有非常强的关联性。因此，这三种衬度的图像能够为网络模型提供充分的先验信息，从而极大地降低XLCT重建问题求解的病态程度。
S12：将吸收衬度图像、折射衬度图像及散射衬度图像的三维重建图像和360度表面荧光图像输入训练好的XLCT三维重建深度卷积神经网络模型，通过XLCT三维重建深度卷积神经网络模型输出成像目标的锥束XLCT荧光图像。
请参阅图3，是本申请实施例的XLCT三维重建深度卷积神经网络模型的训练过程示意图。本申请实施例的XLCT三维重建深度卷积神经网络模型训练方法包括以下步骤：
S20：采集多个成像样品的窄束XLCT表面荧光图像，并对窄束XLCT表面荧光图像进行三维重建；
本步骤中，采集的窄束XLCT表面荧光图像将作为网络模型的训练标签。
S21：通过X射线相衬-荧光成像装置采集成像样品的相衬投影图像，并同步采集成像样品的360度表面荧光图像；
S22：对相衬投影图像进行信息分离与提取，分别得到吸收衬度图像、折射衬度图像及散射衬度图像，并分别对吸收衬度图像、折射衬度图像及散射衬度图像进行三维重建；
S23：将吸收衬度图像、折射衬度图像及散射衬度图像的三维重建图像和360度表面荧光图像作为深度卷积网络模型的训练样本，并将窄束XLCT表面荧光图像的三维重建图像作为深度卷积网络模型的训练标签，对深度卷积网络模型进行监督学习训练，得到训练好的XLCT三维重建深度卷积神经网络模型；
本步骤中，请一并参阅图4，为本申请实施例的XLCT三维重建深度卷积神经网络模型的结构示意图。该模型共有12个卷积层，其中第一个卷积层是输入层，包括四个输入端，分别为三维吸收衬度图像输入端、三维折射衬度图像输入端、三维散射衬度图像输入端以及360度表面荧光图像输入端。网络模型的最后一个卷积层是输出层，输出为相应的XLCT荧光图像。其余的10个卷积层由多模态图像信息提取结构串联或并联而成，其中每个多模态图像信息提取结构均有三个并行的卷积运算通道：通道1中两个串联卷积层的卷积核大小均为1*1，该通道可以保证网络输出图像的分辨率与输入图像相同；通道2中两个串联卷积层的卷积核大小分别为1*3和3*1，通道3中两个串联卷积层的卷积核大小分别为1*5和5*1，通道2和通道3的作用是反映两种不同模式图像中邻域像素相互间的运算可能包含的对应关系。网络模型中所用的激活函数均为Leaky-ReLU函数。
基于上述网络结构，从吸收衬度图像、折射衬度图像中求解出成像样品的电荷密度分布信息及等效原子序数分布信息，将内部结构信息、电荷密度分布信息及等效原子序数分布信息作为先验知识，XLCT三维重建深度卷积神经网络模型学习由微弱信号探测器获得的表面荧光图像与目标荧光光源的三维空间分布信息之间的物理映射关系，从而极大地降低XLCT重建问题求解的病态程度。经过学习训练后的网络模型可以从新的成像目标的表面荧光图像中得到相应的目标荧光光源的三维空间分布信息，从而实现成像目标的锥束XLCT荧光图像重建。
基于上述，本申请实施例的锥束X射线荧光成像方法利用X射线相衬-荧光成像装置获取成像目标的表面荧光图像、吸收衬度图像、折射衬度图像以及散射衬度图像，以此得到的成像目标的内部结构信息，并从吸收衬度图像、折射衬度图像中求解出成像样品的电荷密度分布信息及等效原子序数分布信息，将内部结构信息、电荷密度分布信息及等效原子序数分布信息作为锥束XLCT三维重建时所需的先验信息，然后利用深度卷积网络从成像目标的内部信息及表面荧光信息中提取出成像目标荧光光源的三维空间分布信息，实现快速高分辨的锥束X射线荧光成像。相对于现有技术，本申请至少具有以下优点：
1、本申请利用X射线相衬-荧光成像装置获取锥束XLCT三维重建时所需的先验信息，相比于单纯利用传统X射线吸收衬度成像作为XLCT三维重建时的先验信息，可以有效地降低锥束XLCT三维重建方程求解的病态程度。
2、本申请的XLCT三维重建深度卷积神经网络模型可以更容易地融合各种模态成像方式获得的信息，能够快速准确地重建出目标荧光的空间分布信息，并且训练好的模型可以方便地迁移到同类生物样品的其他不同生命活动的观察及研究实验中，无需重新训练，因此可以在实验过程中设置特定的实验样品用于网络模型的训练而使宝贵的目标实验样品减少遭受的辐射剂量，同时也提高了实验效率。
请参阅图5，为本申请实施例的锥束X射线荧光成像***结构示意图。本申请实施例的锥束X射线荧光成像***40包括：
图像采集模块41：用于通过X射线相衬-荧光成像装置采集成像目标的相衬投影图像，并同步采集成像目标的360度表面荧光图像；
相衬图像处理模块42：用于对相衬投影图像进行信息分离与提取，分别得到成像目标的吸收衬度图像、折射衬度图像以及散射衬度图像，并分别对吸收衬度图像、折射衬度图像及散射衬度图像进行三维重建；
荧光成像模块43：用于将吸收衬度图像、折射衬度图像及散射衬度图像的三维重建图像和360度表面荧光图像输入训练好的XLCT三维重建深度卷积神经网络模型，通过XLCT三维重建深度卷积神经网络模型输出成像目标的锥束XLCT荧光图像。
请参阅图6，为本申请实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述锥束X射线荧光成像方法的程序指令。
处理器51用于执行存储器52存储的程序指令以控制锥束X射线荧光成像。
其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图7，为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种锥束X射线荧光成像方法，其特征在于，包括：
通过X射线相衬-荧光成像装置采集成像目标的相衬投影图像，并同步采集所述成像目标的表面荧光图像；所述X射线相衬-荧光成像装置包括相衬成像光路和荧光成像光路，所述相衬成像光路为Talbot-Lau成像装置，用于在开启X射线光源后对所述成像目标进行吸收、折射及散射三个衬度的相衬成像，同时所述成像目标中的荧光纳米颗粒在所述X射线光源的激发下产生激发荧光并被所述荧光成像光路接收，生成所述成像目标的表面荧光图像；所述相衬成像光路包括X射线光源、源光栅、相位光栅、样品台、分析光栅和X射线平板探测器，所述源光栅、相位光栅、样品台、分析光栅和X射线平板探测器均安装于三轴精密运动平台上，且所述样品台可360度水平自由旋转；所述分析光栅可±45度水平旋转及±15度垂直方向的偏转；所述荧光成像光路包括微弱信号探测器及黑盒，并与所述相衬成像光路中共用同一样品台；所述黑盒由可遮挡红外波段及可见光波段光波的材料构成，并将所述样品台及微弱信号探测器罩在黑盒内，所述微弱信号探测器***还设置有X射线屏蔽层；
对所述相衬投影图像进行信息分离与提取，得到所述成像目标的吸收衬度图像、折射衬度图像以及散射衬度图像，并分别对所述吸收衬度图像、折射衬度图像及散射衬度图像进行三维重建；
将所述吸收衬度图像、折射衬度图像及散射衬度图像的三维重建图像和表面荧光图像输入训练好的X射线荧光断层成像三维重建深度卷积神经网络模型，通过所述X射线荧光断层成像三维重建深度卷积神经网络模型输出成像目标的锥束X射线荧光断层成像荧光图像。
2.根据权利要求1所述的锥束X射线荧光成像方法，其特征在于，所述X射线荧光断层成像三维重建深度卷积神经网络模型包括12个卷积层，第一个卷积层为输入层，最后一个卷积层是输出层，其余10个卷积层由多模态图像信息提取结构串联或并联而成；
所述X射线荧光断层成像三维重建深度卷积神经网络模型的激活函数为Leaky-ReLU函数。
3.根据权利要求2所述的锥束X射线荧光成像方法，其特征在于，所述输入层包括四个输入端，分别为三维吸收衬度图像输入端、三维折射衬度图像输入端、三维散射衬度图像输入端以及表面荧光图像输入端。
4.根据权利要求2所述的锥束X射线荧光成像方法，其特征在于，每个所述多模态图像信息提取结构均有三个并行的卷积运算通道：通道1中两个串联卷积层的卷积核大小均为1*1，所述通道1用于保证网络输出图像的分辨率与输入图像相同；通道2中两个串联卷积层的卷积核大小分别为1*3和3*1，通道3中两个串联卷积层的卷积核大小分别为1*5和5*1，所述通道2和通道3用于反映两种不同模式图像中邻域像素相互间的运算可能包含的对应关系。
5.根据权利要求1至4任一项所述的锥束X射线荧光成像方法，其特征在于，所述通过所述X射线荧光断层成像三维重建深度卷积神经网络模型输出成像目标的锥束X射线荧光断层成像荧光图像具体为：
从所述吸收衬度图像、折射衬度图像及散射衬度图像中获取所述成像目标的内部结构信息，并从所述吸收衬度图像、折射衬度图像中求解出成像目标的电荷密度分布信息及等效原子序数分布信息，将所述内部结构信息、电荷密度分布信息及等效原子序数分布信息作为先验知识，从所述成像目标的表面荧光图像中得到相应的目标荧光光源的三维空间分布信息，对所述成像目标进行锥束X射线荧光断层成像荧光图像重建。
6.一种锥束X射线荧光成像***，其特征在于，包括：
图像采集模块：用于通过X射线相衬-荧光成像装置采集成像目标的相衬投影图像，并同步采集所述成像目标的表面荧光图像；所述X射线相衬-荧光成像装置包括相衬成像光路和荧光成像光路，所述相衬成像光路为Talbot-Lau成像装置，用于在开启X射线光源后对所述成像目标进行吸收、折射及散射三个衬度的相衬成像，同时所述成像目标中的荧光纳米颗粒在所述X射线光源的激发下产生激发荧光并被所述荧光成像光路接收，生成所述成像目标的表面荧光图像；所述相衬成像光路包括X射线光源、源光栅、相位光栅、样品台、分析光栅和X射线平板探测器，所述源光栅、相位光栅、样品台、分析光栅和X射线平板探测器均安装于三轴精密运动平台上，且所述样品台可360度水平自由旋转；所述分析光栅可±45度水平旋转及±15度垂直方向的偏转；所述荧光成像光路包括微弱信号探测器及黑盒，并与所述相衬成像光路中共用同一样品台；所述黑盒由可遮挡红外波段及可见光波段光波的材料构成，并将所述样品台及微弱信号探测器罩在黑盒内，所述微弱信号探测器***还设置有X射线屏蔽层；
相衬图像处理模块：用于对所述相衬投影图像进行信息分离与提取，得到所述成像目标的吸收衬度图像、折射衬度图像以及散射衬度图像，并分别对所述吸收衬度图像、折射衬度图像及散射衬度图像进行三维重建；
荧光成像模块：用于将所述吸收衬度图像、折射衬度图像及散射衬度图像的三维重建图像和表面荧光图像输入训练好的X射线荧光断层成像三维重建深度卷积神经网络模型，通过所述X射线荧光断层成像三维重建深度卷积神经网络模型输出成像目标的锥束X射线荧光断层成像荧光图像。
7.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利要求1-5任一项所述的锥束X射线荧光成像方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制锥束X射线荧光成像。
8.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至5任一项所述锥束X射线荧光成像方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110576925.0A CN113367717B (zh) | 2021-05-26 | 2021-05-26 | 一种锥束x射线荧光成像方法、***、终端以及存储介质 |
| PCT/CN2021/138057 WO2022247234A1 (zh) | 2021-05-26 | 2021-12-14 | 一种锥束x射线荧光成像方法、***、终端以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110576925.0A CN113367717B (zh) | 2021-05-26 | 2021-05-26 | 一种锥束x射线荧光成像方法、***、终端以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113367717A CN113367717A (zh) | 2021-09-10 |
| CN113367717B true CN113367717B (zh) | 2022-11-22 |
Family
ID=77571977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110576925.0A Active CN113367717B (zh) | 2021-05-26 | 2021-05-26 | 一种锥束x射线荧光成像方法、***、终端以及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113367717B (zh) |
| WO (1) | WO2022247234A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113367717B (zh) * | 2021-05-26 | 2022-11-22 | 中国科学院深圳先进技术研究院 | 一种锥束x射线荧光成像方法、***、终端以及存储介质 |
| CN114137002B (zh) * | 2021-11-18 | 2023-07-14 | 北京航空航天大学 | 一种基于衬度间增强的低剂量x射线差分相位衬度成像方法 |
| CN115684222B (zh) * | 2022-12-21 | 2023-04-11 | 济南汉江光电科技有限公司 | 一种快速低剂量的x射线多模态ct***及成像方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101304684A (zh) * | 2005-11-10 | 2008-11-12 | 皇家飞利浦电子股份有限公司 | 用于光荧光层析成像的吸收和散射图重构 |
| CN106137129A (zh) * | 2016-06-28 | 2016-11-23 | 中国科学院深圳先进技术研究院 | 荧光散射光学断层成像***及方法 |
| CN108680589A (zh) * | 2018-05-31 | 2018-10-19 | 北京航空航天大学 | 基于横向错位光栅的x射线光栅差分相位衬度三维锥束计算机层析成像方法及装置 |
| JP2018179795A (ja) * | 2017-04-14 | 2018-11-15 | コニカミノルタ株式会社 | Ｘ線位相コントラスト撮影装置 |
| CN109147049A (zh) * | 2018-07-28 | 2019-01-04 | 天津大学 | 用于x射线光动力治疗的影像重建方法 |
| US10634890B1 (en) * | 2018-10-26 | 2020-04-28 | General Electric Company | Miniaturized microscope for phase contrast and multicolor fluorescence imaging |
| CN111089870A (zh) * | 2019-12-12 | 2020-05-01 | 中国科学院苏州生物医学工程技术研究所 | 基于两次成像的x射线光栅相衬成像方法及***、存储介质、设备 |
| CN111103275A (zh) * | 2019-12-24 | 2020-05-05 | 电子科技大学 | Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法 |
| CN112568923A (zh) * | 2020-12-10 | 2021-03-30 | 中国科学院深圳先进技术研究院 | X射线相位衬度图像提取方法、装置、终端及存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7693256B2 (en) * | 2008-03-19 | 2010-04-06 | C-Rad Innovation Ab | Phase-contrast X-ray imaging |
| CN102221565B (zh) * | 2010-04-19 | 2013-06-12 | 清华大学 | X射线源光栅步进成像***与成像方法 |
| DE102016204046B4 (de) * | 2016-03-11 | 2018-05-24 | Siemens Healthcare Gmbh | Verfahren und Röntgenvorrichtung zur interferometrischen Röntgen-2D-Bildgebung |
| US11154196B2 (en) * | 2017-06-20 | 2021-10-26 | Siemens Healthcare Gmbh | Deep-learnt tissue deformation for medical imaging |
| JP7069670B2 (ja) * | 2017-12-04 | 2022-05-18 | コニカミノルタ株式会社 | Ｘ線撮影システム |
| CN108169257B (zh) * | 2017-12-08 | 2019-08-13 | 中国科学院高能物理研究所 | 具有三种定量成像机制的纳米ct三维成像方法 |
| CN111915733B (zh) * | 2020-08-11 | 2022-10-25 | 天津大学 | 基于LeNet网络的三维锥束X射线发光断层成像方法 |
| CN113367717B (zh) * | 2021-05-26 | 2022-11-22 | 中国科学院深圳先进技术研究院 | 一种锥束x射线荧光成像方法、***、终端以及存储介质 |
-
2021
- 2021-05-26 CN CN202110576925.0A patent/CN113367717B/zh active Active
- 2021-12-14 WO PCT/CN2021/138057 patent/WO2022247234A1/zh active Application Filing
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101304684A (zh) * | 2005-11-10 | 2008-11-12 | 皇家飞利浦电子股份有限公司 | 用于光荧光层析成像的吸收和散射图重构 |
| CN106137129A (zh) * | 2016-06-28 | 2016-11-23 | 中国科学院深圳先进技术研究院 | 荧光散射光学断层成像***及方法 |
| JP2018179795A (ja) * | 2017-04-14 | 2018-11-15 | コニカミノルタ株式会社 | Ｘ線位相コントラスト撮影装置 |
| CN108680589A (zh) * | 2018-05-31 | 2018-10-19 | 北京航空航天大学 | 基于横向错位光栅的x射线光栅差分相位衬度三维锥束计算机层析成像方法及装置 |
| CN109147049A (zh) * | 2018-07-28 | 2019-01-04 | 天津大学 | 用于x射线光动力治疗的影像重建方法 |
| US10634890B1 (en) * | 2018-10-26 | 2020-04-28 | General Electric Company | Miniaturized microscope for phase contrast and multicolor fluorescence imaging |
| CN111089870A (zh) * | 2019-12-12 | 2020-05-01 | 中国科学院苏州生物医学工程技术研究所 | 基于两次成像的x射线光栅相衬成像方法及***、存储介质、设备 |
| CN111103275A (zh) * | 2019-12-24 | 2020-05-05 | 电子科技大学 | Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法 |
| CN112568923A (zh) * | 2020-12-10 | 2021-03-30 | 中国科学院深圳先进技术研究院 | X射线相位衬度图像提取方法、装置、终端及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Jin Wu，et al.Fusion imaging of fluorescent and phase-contrast X-ray computed tomography using synchrotron radiation in medical biology.《Proceedings of SPIE》.2006,第6318卷 * |
| Pouyan Mohajerani，et al.FMT-PCCT:Hybrid Fluorescence Molecular Tomography—X-Ray Phase-Contrast CT Imaging of Mouse Models.《IEEE TRANSACTIONSON MEDICALI MAGING》.2014,第33卷(第7期), * |
| 欧鸽.基于多尺度分解的图像融合方法研究.《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》.2021,(第2期), * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022247234A1 (zh) | 2022-12-01 |
| CN113367717A (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113367717B (zh) | 一种锥束x射线荧光成像方法、***、终端以及存储介质 | |
| US11583237B2 (en) | Method and measuring apparatus for an X-ray fluorescence measurement | |
| US10285659B2 (en) | Stored luminescence computed tomography | |
| Banhart | Advanced tomographic methods in materials research and engineering | |
| Zhang et al. | Quantitative imaging of Gd nanoparticles in mice using benchtop cone-beam X-ray fluorescence computed tomography system | |
| CN109493328A (zh) | 医学图像显示方法、查看设备以及计算机设备 | |
| US9230319B2 (en) | Method of reconstructing a biological tissue image, and method and apparatus for acquiring a biological tissue image | |
| US11145431B2 (en) | System and method for nanoscale X-ray imaging of biological specimen | |
| Zan et al. | High-resolution multicontrast tomography with an X-ray microarray anode–structured target source | |
| JPWO2020022038A1 (ja) | 情報処理装置、情報処理方法、情報処理システム、およびプログラム | |
| Lakshmanan et al. | Design and implementation of coded aperture coherent scatter spectral imaging of cancerous and healthy breast tissue samples | |
| US20110188629A1 (en) | Method and apparatus for measuring properties of a compound | |
| Yu et al. | Medipix-based spectral Micro-CT | |
| Gutjahr et al. | Dual energy CT kidney stone differentiation in photon counting computed tomography | |
| Stampfl et al. | SYNAPSE: An international roadmap to large brain imaging | |
| Meloni et al. | Cardiovascular applications of photon-counting CT technology: a revolutionary new diagnostic step | |
| Fang et al. | Super-fast three-dimensional focused X-ray luminescence computed tomography with a gated photon counter | |
| CN109589126A (zh) | 基于宽光束小步长扫描方式的x射线发光断层成像方法 | |
| Michelet et al. | Quantitative reconstruction of PIXE-tomography data for thin samples using GUPIX X-ray emission yields | |
| Lun et al. | Fast three-dimensional focused x-ray luminescence computed tomography | |
| Badea et al. | Investigations on X-ray luminescence CT for small animal imaging | |
| Lun et al. | X-ray luminescence imaging for small animals | |
| Spencer et al. | Coded aperture coherent scatter spectral imaging for assessment of breast cancers: an ex-vivo demonstration | |
| CN110292392A (zh) | 一种荧光ct稀疏角度投影自吸收校正方法 | |
| US11437218B2 (en) | Apparatus and method for nanoscale X-ray imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |