CN100518628C - 可调用多种成像算法的在体荧光分子成像建模方法 - Google Patents

Abstract

可调用多种成像算法的在体荧光分子成像建模方法属于荧光分子成像技术领域，其特征在于，该方法是通过计算机控制荧光分子成像仪来实现的，在该计算机中设有微软主控制界面程序；硬件控制程序包；软件库实验数据转换及算法参数交互模块，内含C语言库及MATLAB软件的动态链接库格式DLL文件；重建算法程序库，内含有限元分析软件和MATLAB软件的内核。此外，还有开源图像处理库。本发明能自动实现荧光分子成像，而且可实现荧光团密度和位置的重建算法，还能很方便地更新算法内核。

Description

可调用多种成像算法的在体荧光分子成像建模方法

技术领域：

本发明属于荧光分子成像应用技术，涉及一种利用各种技术调用多种荧光分子断层成像重建算法对仿体或小动物进行在体荧光团重建的应用方法。并提供可进行多项荧光分子成像的实验，包括透射、反射成像与断层成像的应用软件。

背景技术：

现代社会，癌症及各种心血管疾病日益威胁着人们的健康。尤其是癌症，其存活率低、病人所受痛苦大。现代医学对癌症，尤其是晚期癌症，尚无非常有效的治疗手段，而肿瘤学上最大的挑战之一是如何找到一种早期检测的方法，这是癌症是否能够成功治疗和提高存活率的关键之一。如何能在癌症的早期就发现变异细胞，是医学上长久以来的重大课题。

近年来，在进行肿瘤在体成像中使用荧光指示剂作为外源性对比剂的方法取得了很大的成就。(见论文Becker A，Hessenius C，Licha K，et al.Receptor-targeted optical imagingof tumors with near-infrared fluorescent ligands[J].Nat Biotech，2001，19：327-331)此外，随着现代科学的发展，发现近红外荧光在基因表达图谱、研究蛋白质功能、受体定位、解释细胞通路和检测小分子蛋白之间的相互作用等生物技术方面有着重要的作用。除了能够进行上述分子水平的功能检测外，与其它成像方式相比，荧光分子成像还在一下几个方面具有优势：(1)由低能量的可见红光激发；(2)成像***成本较低；(3)无电离辐射，染料稳定，不像核素那样衰减，适合长期或频率高的监测；(4)成像结果具有定量性。

但荧光分子成像本身因涉及学术和技术领域广泛(生物光学、医学、应用数学、电子工程和软件工程)，成像方法多样以及成像步骤复杂，导致在将荧光分子成像应用于临床和科研工作的过程中遇到了不少问题：(1)成像过程中需使用多个硬件***、成像仪器设备模块以及多款软件(见附图1、图2及具体实施方法的描述)，这就需要一种集成方法使整套实验流程得以应用。另外，实验人员难以在短时间内做出实验结果，实验的调试及调配占用了很大一部分精力，这也是需要一种方法集成各项技术的原因之一；(2)从得到成像对像(现阶段多为仿体及小动物)的白光图片及荧光图片到转化实验数据及成像对像建模数据的转化再最终到产生重建结果涉及到多种实验数据的格式，实验过程中如何能使数据格式方便转换成为了实验过程中的技术门槛之一；(3)荧光分子断层成像的成像步骤复杂(见图3及具体实施方法的描述)，实验过程中急需一种手段对成像的各个过程和各个步骤加以整体上的调控；(4)荧光分子断层成像重建的算法有很多，如解析解法、蒙特卡罗前向解法、有限元前向解法及CGLS逆问题解法等(见论文V.Ntziachristos，J.Ripoll，L.V.Wang，and R.Weissleder，″Looking and listening to light：the evolution of whole-body photonic imaging，″Nat.Biotechnol.23(3)，2005，pp313-320)，不同的实验需要不同的重建算法进行成像，并且荧光分子断层成像的重建算法也在不断地研究改进之中，需要一个开源的算法平台对算法研究加以改进(5)现有的成像***因其模式固定、成像算法单一，难以满足实验室多种实验的开展和多项理论算法的研究，因此一个有效的集成了多种算法的开源的实验平台可以很好地促进荧光分子断层成像的应用、成像实验的开展以及成像算法的研发与改进。

与本发明相比，现阶段的实验软件平台尚存在采用的成像方法固定单一、算法集成度不够、成像算法单一以及算法开发改进的空间不足的缺点，制约了多种实验的开展以及重建算法的研发；而本实验室之前各成像模块中的数据转换环节和各个成像硬件仪器模块的调节尚主要靠人工进行协调，造成了实验效率低、实验过程缓慢等种种弊端。

发明内容：

本发明的目的是提供一套开源的可将荧光分子成像集成整合应用于多种荧光分子成像实验(主要包括透射、反射成像和断层成像)的使用多种荧光分子断层成像荧光团位置和密度的重建算法[A]及图像分析算法的软件平台。并且软件平台的算法可以方便更新，有利于整个算法的改进和实验结果的快速实现。

所述方法是通过一个计算机来控制一个荧光分子成像仪来实现，其步骤依次如下：

步骤(1).初始化，在所述计算机中建立：

Microsoft Visual C++主控制界面程序，

Labwindows/CVI硬件控制程序包，

软件库实验数据及算法参数模块，内含C语言库及MATLAB软件的动态链接库格式DLL文件，

多种荧光分子断层成像荧光团位置及密度重建算法程序库，内含COMSOL Multiphysics有限元分析软件和/或MATLAB软件的内核，

开源图像处理库，由C语言头文件及动态链接库格式DLL文件组成的CxImage库；

步骤(2).依次按以下步骤进行在体荧光分子成像：

步骤(2.1).启动所述主要界面程序，该主要界面程序调用所述硬件控制程序包中的动态链接格式库文件；

步骤(2.2).所述在体荧光分子成像***初始化

所述***包括：负荷试验对象的实验转台、CCD/电荷耦合器件、激发光光源以及激发光光强监测子***，具体：激发光光源发出的激发光中的一路激发光依次通过分光计、实验对象后形成荧光被CCD电荷耦合器件接收，经分光计后的另一路激发光进入激发光光强监测***，所述硬件控制软件包的输入端与所选CCD电荷耦合器件的数据输出端相连，而该硬件控制软件包的控制指令输出端则与该CCD电荷耦合器件的控制部分输入端相连，所述硬件控制软件包另一个数据输入端与所述激发光光强监测子***的光强数据输出端相连，而该硬件控制软件包的另一输出端与所述激发光光强监测子***的控制部分输入端相连，该硬件控制软件的另一输出端与激发光光光源控制输入端相连。

所述***初始化包括以下步骤：

步骤(2.2.1).至少包括实验转台、设在该激光光强检测子***内的光强检测模块的初始化，

步骤(2.2.2).设定至少包括曝光时间、用户交互界面算法参数、DLL文件格式的实验数据的存放路径，以及拍摄时的各项参数在内的初始参数值；

步骤(2.3).把所述重建算法的参数修改成所述MATLAB软件的数据存储的MAT格式；

步骤(2.4).利用MATLAB中的mcc命令把该MATLAB中的函数转换为可供C语言调用的C语言库；

步骤(2.5).主控制界面程序从所述CCD电荷耦合器件中读取用标签图像文件格式表示的灰度级生成图像矩阵变量，然后，该主界面控制程序再通过调用所述MATLAB软件中专用于对外接口程序调用的所述C语言库的方式编写图片格式转换程序；接着，再把所述图像矩阵转换为所述MAT格式的数据并存储起来供所述重建算法使用；

步骤(2.6).在所述主控制界面的程序中，建立匿名管道把写端口指向目标内核引擎，通过该匿名管道传送数据用来调用所述COMSOL Multiphisics有限元分析的内核引擎，以实现建立在有限元网格基础之上的重建算法；

步骤(2.7).用所述重建算法进行成像对像的建模：

读取由X射线CT断层成像得到的数据或由已知的光学实验用的仿体计算出的数据，对所述数据执行有限元网格前向算法或蒙特卡罗前向算法，再接步骤(2.6)所述方法调用各种算法内核，实现成像光学特性的建模。

这样的开源环境，多种实验方法以及多种所述[A]的重建算法的使用对荧光分子成像的应用与研究都有着很好的促进作用。

附图说明：

图1：本发明的硬件及软件结构示意图：

图示：

控制总线：

数据总线：

(1.1)分光计

(1.2)激发光光线

(1.3)荧光光线

(1.4)电荷耦合器件CCD镜头和滤光片

(1.5)所述[D]格式图片

(1.6)所述[H]格式数据文件

(1.7)所述[E]格式数据文件

(1.8)动态链接方式连接所述[F]或所述[C]的动态链接库格式DLL文件

(1.9)建立匿名管道技术方法与子进程进行通讯

(1.10)以C语言包含头文件方式及动态链接方式连接动态链接库格式DLL文件。

图2：本发明中荧光分子断层成像算法步骤流程图：

(2.1)所述[D]格式实验数据图片

(2.2)所述[H]格式仿体或小动物模型数据

(2.3)所述[H]格式实验数据

(2.4)所述[F]中的矩阵变量

(2.5)COMSOL公司的COMSOL Multiphysics有限元分析软件[J]中对仿体或小动物进行有限元网格分析后得到的光学特性(扩散系数和散射系数)存储的变量

(2.6)所述[H]格式文件存储的所述[A]算法的算法参数

(2.7)所述[J]的逆问题解的结果。

图3：本发明中所述[B]响应调用所述[C]进行硬件控制、图像采集的流程。

图4：本发明中所述[B]响应执行重建及核心算法步骤的流程图。

具体实施方式：

本发明的目的就是通过这样的方法来实现的：首先将以微软公司的Microsoft VisualC++编写的主要界面程序[B]调用美国国家仪器公司的虚拟仪器开发***Labwindows/CVI编写的硬件控制程序包[C]进行硬件及成像设备的调控。使用统一的软件平台，对所有硬件进行统一控制、同步触发以及实时的参数、数据存储。在使用过程中，控制平台可以完全自动控制，通过自动执行的程序，尽量避免过多的手工操作，提高实验工作的效率以及可重复性。采集到的荧光分布数据(2维图像)以标签图像文件格式(Tag Image File Format，TIFF)[D]保存，同时以ASCII编码的数据文件格式(data，DAT)[E]保存的还有此幅图像拍摄时的各项参数：包括拍摄时间及日期、转台位置、激发光强监测值、以及电荷耦合器件CCD拍摄参数(曝光时间、各级放大器增益、数据加权模式、制冷器温度)。在获得所述[D]图片数据后，所述[B]调用mathworks公司的数学矩阵实验室软件MATLAB[F]的动态链接库(DynamicLink Library，DLL)[G]及所述[F]中的专用于对外接口程序调用的C语言库将所述[D]格式图片转成所述[F]的数据存储的标准格式MAT格式[H]，供后续算法调用。同时为达到多种重建方法的目的，所述[B]通过匿名管道技术调用所述[A]的重建算法程序及有限元分析软件内核，实现荧光分子断层成像荧光团的位置和密度的重建。而用户只需通过改写或是更改调用的m文件就可方便更新软件平台的算法内核。

本发明的优点和效果在于：首次实现用于荧光分子成像的开源的实验及算法开发的软件平台和集成环境，可以自动地实现荧光分子成像。并且实验的核心算法可以很方便地更新：只需要修改或是更换写有算法的m文件，再重新导入匿名管道写端口，即可实现算法更新。甚至还可实现其它功能，如解PDE的算法。另外，实验功能及所述[A]的重建算法多样：目前可以实现反射成像实验(见论文RB Schulz，J Ripoll，V Ntziachristos.Experimentalfluorescence tomography of tissues with noncontact measurements.Medical Imaging，IEEE Transactions on，2004，Vol.23，Issue 4.)、透射成像实验(Sachin Patwardhan，SharonBloch，Samuel Achilefu，and Joseph Culver.Time-dependent whole-body fluorescencetomography of probe bio-distributions in mice.Optics Express，Vol.13，Issue 7，pp.2564-2577)、360度旋转仿体及小动物断层成像实验(见论文Nikolaos Deliolanis，TobiasLasser，Damon Hyde，Antoine Soubret，Jorge Ripoll，and Vasilis Ntziachristos.Free-space fluorescence molecular tomography utilizing 360°geometry projections.Optics Letters，Vol.32，Issue 4，pp.382-384)、点光源平板成像实验(见论文VasilisNtziachristos，Gordon Turner，Joshua Dunham，Stephen Windsor，Antoine Soubret，JorgeRipoll，and Helen A.Shih.Planar fluorescence imaging using normalized data.Journalof Biomedical Optics--November/December 2005-Vol.10，Issue 6，064007)以及三维轮廓提取实验(A.Laurentini.The Visual Hull Concept for Silhouette-Based ImageUnderstanding.IEEE Transactions on Pattern Analysis and Machine Intelligence，Volume 16，Issue 2，pp.150-162)，目前可以应用的不同算法有：解析解法(见论文Daifa Wang，Xiaolei Song，Jing Bai，Adaptive-mesh-based algorithm for fluorescencemolecular tomography using analytical solution.Optics Express，2007，15(15)：9722-9730)、蒙特卡罗前向解法(见论文Lihong Wang，Steven L.Jacques and Liqiong Zheng.MCML—Monte Carlo modeling of light transport in multi-layered tissues.ComputerMethods and Programs in Biomedicine.Volume 47，Issue 2，July 1995，pp 131-146)、有限元前向解法(见论文D.Wang，X.Song，and J.Bai，″A novel adaptive mesh basedalgorithm for fluorescence molecular tomography using analytical solution，″，Opt.Express 15，2007，pp 9722-9730)、自适应共轭梯度(CGLS)逆问题解法(见论文D.Wang，X.Song，and J.Bai，″A novel adaptive mesh based algorithm for fluorescence moleculartomography using analytical solution，″，Opt.Express 15，2007，pp9722-9730)、Tikhonov正则化逆问题解法(见论文Ahmed Serdaroglu，Birsen Yazici and VasilisNtziachristos.Fluorescence Molecular Tomography Based on a priori Information.Proc.of the Optical Soc.Am.(OSA)Biomed.Opt.Meeting，2006)以及牛顿迭代逆问题解法(见论文Amit Joshi，Wolfgang Bangerth，Kildong Hwang，John C.Rasmussen，and Eva M.Sevick-Muraca.Fully adaptive FEM based fluorescence optical tomography fromtime-dependent measurements with area illumination and detection.Medical Physics，May 2006，Vol.33，Issue 5，pp.1299-1310)。

实施例：如图1图2所示包括负荷试验对象的实验转台、CCD/电荷耦合器件、激发光光源、激发光光强监测子***、计算机。

实验转台包括：两套步进电机(竖直高度调整、旋转)及配套驱动控制器、丝杠传动***、架台以及电源、FPGA控制通讯电路等。

电荷耦合器件CCD成像设备包括：Andor公司iXon系列低温制冷CCD及其配套PCI接口数据采集卡。

激发光光源包括：卤钨灯、激光器、激发光滤光片组、光纤、透镜等。

激发光强监测***包括：光强计、美国国家仪器公司NI数据采集卡。

计算机成像设备控制软件(既所述[C])采用美国国家仪器公司的Labwindows/CVI虚拟仪器开发***，有限元网格前向解软件采用COMSOL公司的COMSOL Multiphysics有限元分析软件[即所述J]，荧光分子断层成像荧光团位置、密度的重建算法(既所述[A])程序还包含以mathworks公司的数学矩阵实验室软件包MATLAB(既所述[F])为内核编写的程序，程序的主界面(既所述[B])采用微软公司的Microsoft Visual C++开发***，其中图像分析采用开源的由Davide Pizzolato编写的由C语言头文件及动态链接库格式DLL文件组成的CxImage库[I]。

本发明步骤及实现功能如下：

(a)开启各模块电源，启动所述[B]。所述[B]通过所述[C]的动态链接调用方式调用所述[C]编写的动态连接库格式DLL文件；

(b)自动或手动控制各设备初始化，包括

1)机械转台通讯连接检查，初始0位置标定；

2)激发光强监测模块初始化，采集卡通道、增益、偏置初始化；

3)低温制冷CCD制冷***启动，待设备降温至工作温度后方可执行后续步骤。

(c)设定拍摄参数，包括曝光时间、各级放大器增益、像素加权模式等。

(d)设定自动拍摄模式，开始拍摄。***将按照设定方式，在指定角度按照指定拍摄参数拍摄，并自动将所得到的数据以所述[D]格式保存于指定目录，同时以所述[E]格式保存此幅图像拍摄时的各项参数：包括拍摄时间及日期、转台位置、激发光强监测值、以及电荷耦合器件CCD拍摄参数(曝光时间、各级放大器增益、数据加权模式、制冷器温度)。

(e)通过文件打开对话框操作选择要打开的所述[A]的重建算法的程序文件(断层成像)或是图像分析的程序文件(透射或反射成像)。同时根据用户打开文件的路径设定了以后进行操作的“当前路径”，方便后续算法的实施。

(f).用户交互界面设定算法参数(激光光源数目、仿体半径、算法迭代次数)，并指定所述[D]格式数据的存放路径。然后通过调用所述[F]中的专用于对外接口程序调用的C语言库，将交互界面对所述[A]的重建算法的参数修改存成所述[H]格式供所述[A]的重建算法读取调用。

(g).利用所述[F]中的mcc命令编译所述[F]中的函数为可供C语言调用的动态连接库格式DLL文件。所述[B]通过调用所述[F]中的专用于对外接口程序调用的C语言库[K]的方式调用编写好的图片格式转换程序。在图片格式转换程序中，首先读取步骤(c)产生的所述[D]图片的灰度值生成图像矩阵变量，再进行裁减等适当的数据处理。然后因为调用了所述[F]的库文件，因此可以方便地将图像矩阵转换为所述[H]格式的数据存储起来供所述[A]的重建算法使用。

(h).在所述[B]建立匿名管道，将写端口指向目标内核引擎，通过匿名管道传送数据流调用COMSOL Multiphysics有限元分析***等核心算法的内核引擎，达到实现“基于有限元网格”的所述[A]的重建算法；其它所述[A]的重建算法，如解析解法、Tikhonov正则化法和牛顿迭代法也可通过匿名管道技术实现调用与通信。若要求在实验中使用其它的所述[A]的重建算法，只需要修改或是更换写有算法的m文件，再重新导入匿名管道写端口，即可实现算法更新，真正达到一种技术方法实现多种算法的开源软件平台的良好效果。

(i).在所述[A]的重建算法中，首先进行成像对像(仿体、小动物)的建模。通过读取由x射线CT断层成像得到的数据进行有限元网格前向算法，或是通过执行蒙特卡罗前向算法，由(h)步骤调用各种算法的内核，达到对成像对像光学特性进行建模的目的。然后读取(g)步骤图片格式转换的结果，结合前向解的结果调用多种逆问题算法解逆问题，达到对荧光团的位置及密度进行定量成像的目的。

(j).所述[B]通过调用所述[I]图像处理库进行图像处理工作：显示(d)步骤生成的所述[D]文件，进行伪彩、透明及三维显示等显示功能；采用由日本学者大津提出的自适应最大类间方差法实现图像的灰度域值分割及ROI选定的功能。

(k).使用在交互界面中添加密码输入和密码校验的密码保护方法对实验数据进行简单的管理归档和安全保护的功能。

Claims (3)

1.可调用多种成像算法的在体荧光分子成像建模方法，其特征在于：所述方法是通过一个计算机来控制一个在体荧光分子成像***来实现，其步骤依次如下：

步骤(1).初始化，在所述计算机中建立：

Microsoft Visual C++主控制界面程序，

Labwindows/CVI硬件控制程序包，

软件库实验数据及算法参数模块，内含C语言库及MATLAB软件的动态链接库格式DLL文件，多种针对荧光分子断层成像荧光团位置及密度重建的算法程序库，内含COMSOL Multiphysics有限元分析软件和MATLAB软件的内核，

开源图像处理库，和由C语言头文件及动态链接库格式DLL文件组成的CxImage库；

步骤(2).依次按以下步骤进行在体荧光分子成像：

步骤(2.1).启动主控制界面程序，所述主控制界面程序调用所述硬件控制程序包中的动态链接格式库文件；

步骤(2.2).所述在体荧光分子成像***初始化：

所述***包括：负荷试验对象的实验转台、CCD电荷耦合器件、激发光光源以及激发光光强监测子***，具体：激发光光源发出的激发光中的一路激发光依次通过分光计、实验对象后形成荧光被CCD电荷耦合器件接收，经分光计后的另一路激发光进入激发光光强监测子***，所述硬件控制程序包的输入端与所选CCD电荷耦合器件的数据输出端相连，而该硬件控制程序包的控制指令输出端则与该CCD电荷耦合器件的控制部分输入端相连，所述硬件控制程序包另一个数据输入端与所述激发光光强监测子***的光强数据输出端相连，而该硬件控制程序包的另一输出端与所述激发光光强监测子***的控制部分输入端相连，该硬件控制程序包的又一输出端与激发光光源控制输入端相连；

所述***初始化包括以下步骤：

步骤(2.2.1).至少包括实验转台和设在该激光光强监测子***内的光强监测模块的初始化，

步骤(2.2.2).设定至少包括DLL文件格式的实验数据的存放路径、曝光时间、用户交互界面算法参数、各级放大器增益和像素加权模式在内的初始参数值；

步骤(2.3).把所述重建算法的参数修改成所述MATLAB软件的数据存储的MAT格式；

步骤(2.4).利用MATLAB中的mcc命令把该MATLAB中的函数转换为可供C语言调用的C语言库；

步骤(2.5).主控制界面程序从所述CCD电荷耦合器件中读取用标签图像文件格式表示的灰度级生成图像矩阵变量，然后，该主控制界面程序再通过调用所述MATLAB软件中专用于对外接口程序调用的所述C语言库的方式编写图片格式转换程序；接着，再把所述图像矩阵转换为所述MAT格式的数据并存储起来供所述重建算法使用；

步骤(2.6).在所述主控制界面的程序中，建立匿名管道把写端口指向目标内核引擎，通过该匿名管道传送数据用来调用所述COMSOL Multiphisics有限元分析的内核引擎，以实现建立在有限元网格基础之上的重建算法；

步骤(2.7).用所述重建算法进行成像对像的建模：

读取由X射线CT断层成像得到的数据或由已知的光学实验用的仿体计算出的数据，对所述数据执行有限元网格前向算法或蒙特卡罗前向算法，再接步骤(2.6)的方法调用各种算法内核，实现成像光学特性的建模。

2.根据权利要求1所述的可调用多种成像算法的在体荧光分子成像建模方法，其特征在于，所述重建算法至少包括：解析解法、自适应共轭梯度逆问题解法、正则化逆问题解法以及牛顿迭代逆问题解法。

3.根据权利要求1所述的可调用多种成像算法的在体荧光分子成像建模方法，其特征在于，在经过步骤(1)和步骤(2)之后，有一个主控制界面程序根据监测的激发光光强来控制激发光光强的反馈调节的步骤。

Images