CN101615289A - 切片组织的三维采集及多层图像融合方法 - Google Patents

Abstract

本发明公开了一种切片组织的三维采集及采集后多层图像的融合方法。本发明的切片组织三维采集，以初始焦平面位置为中心，在切片厚度范围内更新位置进行多层图像采集，同时保存每层的切片图像。本发明的多层图像的融合，采取分区域融合方法，基于图像中像素的清晰度，选取待融合图像中清晰度较高的区域，更新模板图像，最终达到整张切片图像的清晰度优化。同时，采用分配权重的方法对边界区域的像素点进行平滑，有效地抑制了伪边缘的产生。使用本发明的方法，提高了数字图像对切片组织特征的再现精度。有效地减轻了医生的工作负担，并为远程诊断提供了基础。

Description

切片组织的三维采集及多层图像融合方法

技术领域

本发明属于医疗和生物切片图像的多层采集及融合技术领域。更具体地说，本发明涉及一种用于切片组织的多层融合图像处理方法。

背景技术

图像融合技术是多传感器信息融合中可视信息的融合，它利用各种成像传感器不同的成像方式，为不同的影像提供互补信息，增加图像信息量，减少原始图像数据量，提高对环境的适应性，以获得更可靠、更准确的有用信息供观察或进一步处理。它是一门综合了传感器、信号处理、图像处理和人工智能等的新兴技术。近年来，图像融合已成为一种十分重要和有用的图像分析与计算机视觉技术。它在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。

在病理诊断、基因检测、药物分析、血液分析等领域都会用制作切片的方式来保存组织信息。然而，由于切片本身存在制作难、无法复制、易褪色等特点，难以长久保存。现在，随着科技的发展，切片组织的数字化技术可以把切片组织图像完整地保存到电脑中，解决了切片组织复制和保持的问题。

但是，在切片组织采集中，由于切片本身具有一定的厚度，并且整张切片的厚度呈现不均匀分布。现有的切片采集技术，仅限于分区域对焦采集和三维采集，对区域内不同焦平面上的切片特征无法做到真实清晰重现。本发明将图像融合技术与三维采集相结合，使这一问题得到了解决。

发明内容

为解决由于切片组织组织厚薄不均而无法得到清晰的组织图像的问题。需要在对切片组织分块对焦采集的基础上，加入三维分层采集以及多层图像融合。即在相同的成像条件下，镜头聚焦相同组织区域的不同层上的多个图像，通过图像融合可得到这个组织区域内所有目标都聚焦清晰后的图像。在本发明中，所述层的含义如下：切片组织中的组织尽管很薄，也是三维立体的，在不同的水平面(焦平面)上的图像并不一样。每个焦平面即为一层。

本发明公开了一种切片组织的三维分层采集及图像融合方法，所述方法包括以下步骤：

(1)对于切片组织组织的一个任一选定区域，该区域是指医生或操作者根据需要可任意选定，在图像处理中，这个区域被称作“感兴趣区域”(ROI，Region of Interest)，切片图像采集设备在初始焦平面的位置上，采集当前层上的切片组织图像数据并保存；

(2)以上述初始焦平面位置为基准，在切片组织组织厚度范围内向上或向下移动切片，每移动设定距离，就采集该层上的图像数据并保存，直到设置的移动上下限时，停止该特定区域的切片图像采集；所述切片组织组织是立体的、三维的，立体的切片组织组织图像可以分解成一层一层的不同焦平面上的图像。

(3)进行多层图像融合，将上述多幅不同焦距下所采集的图像中各自最清晰的部分融合到一幅图像中，从而形成清晰度最佳的图像。所述多层图像融合也可以通过不保存每层的图像，边采集图像边融合的方式实现。

在进行多层图像融合时，在将多层切片图像分割成若干区域的基础上，对每个区域求取其局部对比度来反映图像聚焦清晰区域与模糊区域之间的差异。利用每块区域局部对比度将整个图像划分成清晰区域和模糊区域，再将清晰区域与模糊区域相邻的所有块区域划为边界区域，在本发明中，以由于图像融合而产生的边缘点为中心，上下左右三个像素范围内的区域定义为边界区域。得到图像的三个不同区域划分。对于清晰区域和模糊区域，直接选取清晰区域作为融合后的相应块区域，对于边界区域，采用插值处理。融合后，图像质量得到大幅度提高。对于后续的病理检测具备重要的实用价值。

切片组织图像采集中，对精度要求很高。即使对于一块指定的区域，不同焦平面上，采集的图像也不相同。就像传统的显微镜观察时，医生需要调整物镜的位置，来看清楚一个切片组织的重点区域一样；在自动化的切片图像采集中，也需要模拟重现这个过程，才能够将切片组织的特征真实地重现在数字图像中。这样以来，医生就可以通过在电脑上浏览数字图像，为患者诊断病情，省时、省力、高效。同时，也减少了疏忽大意造成的遗漏。

附图说明

图1是本发明定义的切片图像采集处理流程图；

图2是本发明定义的图像融合处理流程图；

图3是两幅图像融合样例；

图4是融合图像的边缘区域处理示意图；

图5是未加入三维图像采集和图像融合时的切片图像；

图6是加入三维图像采集和图像融合后的切片图像；

图7是图像融合效果对比图。

具体实施方案

下面根据说明书附图并结合优选实施例对本发明的技术方案作进一步详细说明。

本实例选用的计算机***为普通的PC***，操作***为Windows XP HOME版。但是，本领域的技术人员将理解本发明的精神和范围不限于任何一种计算机机型和操作***，以及特定的通讯协议。

本实例选用的切片图像采集设备为实用新型专利ZL200620139251.9中介绍的切片组织采集***。该设备可以将显微镜下可观察的切片上的组织图像通过高分辨率的CCD工业相机传给PC，并可在PC上观察或者保存为图像格式的文件。

在此给出的实施例和示例用以说明本发明和它的实际应用，并且因此使得本领域的技术人员能够做出和使用本发明。但这仅仅是一个简单的示例，实际上对本发明的具体应用还可以根据实际不同的情况加以改进。

本实例的实现过程包括切片组织图像的三维分层图像采集和图像融合两个部分。图1所示为切片组织图像采集处理流程图，下面根据图1对本发明的切片图像采集流程做一个简单描述。

对于切片组织的一个特定区域，首先根据初始焦平面的位置，采集当前层上的切片图像数据；然后，以此位置为基准，在切片厚度范围内向上\向下移动切片，每移动一定步长(通常是切片组织厚度的1/10左右，本发明适用于任何厚度的切片，在本实施例中切片组织的厚度通常在2～3μm级，切片与物镜之间距离的改变是通过电机驱动机械传动实现的，步长、即一个脉冲对应的距离在0.2～0.3μm级，大约是切片组织厚度的十分之一)，就停止移动并采集该层上的图像；当基准位置(也就是初始焦平面位置)，即焦平面A位置的上下步长处的图像采集完毕后，步长加1，继续移动并采集图像；当步长超过预先设定的移动上下限时，停止图像采集，图像采集完成。优选地，所述预先设定的移动上下限为切片最大厚度值或最小厚度值的一半；在实际操作中，切片组织一次移动一个脉冲的距离。切片组织先由初始焦平面的位置向上移动，每次移动一个脉冲的距离，并采集该焦平面的图像，移动五次；回到初始焦平面的位置；向下移动，每次移动一个脉冲的距离，并采集该焦平面的图像，移动五次。)

移动切片到指定位置(101)：

在本实例***工作之前，用户需要自己手动将需要采集的切片放置到切片架上。切片架可以取出，以方便用户放置切片。本***支持的切片类型为标准切片HE，Immunity，ISH，Frozen。

移动切片是通过电机控制来移动的，本***的移动精度很高，可达到1微米以内，由于该***不是本发明内容的重点，因此不再详细描述。流程图后面的移动切片到新的位置均是指利用电机控制***来进行移动。

计算初始焦平面位置A(102)：

使用CCD相机连续采集多层切片图像，通过比较每层图像的清晰度，选择清晰度最高的那一层作为初始焦平面位置。本发明中，称此位置为焦平面A。

这个问题实际上是图像清晰度度量问题。对一幅图像来说，如果上面的目标边缘(在本发明中，所述目标边缘指的是切片组织组织的边缘)非常锐化，看上去就很清晰；如果目标边缘梯度(本发明中的“目标边缘梯度”指的是切片组织组织边缘处的梯度，这个值大，边缘就清晰；反之就模糊)较小，看上去就比较模糊。因此，边缘梯度的度量可以用来评价一幅图像的清晰度差异。目前边缘梯度的度量方法有很多种，这里我们优选用边缘的平方和(S)来度量图像的清晰度。

$S=\underset{(i,j\∈I)}{\mathrm{\Σ}}C{(i,j)}^2$

其中C(i，j)表示图像中第i行j列像素的清晰度。

同时， $C(i,j)=\sqrt{{(I(i,j-1)-I(i,j+1))}^2+{(I(i-1,j)-I(i+1,j))}^2}\text{,}$ I(i，j)为图像中第i行，第j列上的数据灰度值。其中，i和j的取值范围是整幅图像中i行j列中的点。

这样，对采集到的每一幅图像都用上面的公式来计算清晰度，求出来的S最大的图像就是最清晰的焦平面。

保存该位置的图像(103)：

因为后续还有图像融合的过程，因此，需要把这些中间过程的图像数据加以保存。把采集到的图像保存可以有很多方法，这里就不再详细叙述。为了节省时间，实际上采集中间过程图像的同时就可以进行图像融合的工作。

向上移动切片并采集图像(104)

此处需要将切片连续向上移动5次，于是首先将计数器置零。

给电机一个脉冲信号，电机驱动机械传动，使切片向上移动一定的距离。(此处简称为一个脉冲的距离)。这个距离与设备本身的精度相关。在本实例选用的切片组织图像采集***中，一个脉冲对应的距离精度在0.2～0.3μm级，大约为切片组织厚度的十分之一。

保存该层的切片图像。与103相同。

计数器增1。当计数器的值大于等于5的时候，即认为超出切片的上表面，不再向上移动。计数器的值小于5的时候，继续向上移动切片，并采集图像。

切片移动到焦平面A(105)

给电机5个脉冲信号，使切片向下移动5个脉冲的距离，回到焦平面A所在位置。

向下移动切片并采集图像(106)

此处需要将切片连续向下移动5次，于是首先将计数器置零。

给电机一个脉冲信号，电机驱动机械传动，使切片向下移动一个脉冲的距离。

保存该层的切片图像。与103相同。

计数器增1。当计数器的值大于等于5的时候，即认为超出切片的下表面，不再向下移动。计数器的值小于5的时候，继续向下移动切片，并采集图像。在将切片组织组织按照以上方法采集图像并保存以后，需要对采集的各层图像进行图像融合，所谓图像融合是指把来自不同条件下的同一场景或目标的两幅或多幅图像融合起来以提高图像的清晰度和可识别性，获得单一图像所不能提供的特征信息的过程。图像融合主要是根据各图像中像素的一定大小邻域内边缘的强度和数量来对当前像素的清晰度进行度量，将两幅或者多幅图像的综合清晰度最好的像素融合到一幅图像中，便形成了最清晰的图像。

在此过程中，需要解决两个关键性问题。第一，待融合图像之间，会存在或多或少的偏移，即两幅图像中反映切片组织相同部分特征的像素不一定处于两幅图像的对应位置。第二，抑制图像融合时产生的噪声，即原本不存在的伪边缘。下面详细说明。

图像融合的流程请参见流程图2所示。

图像融合包括以下步骤：

模板图像(201)

顾名思义，图像融合就是把多层图像最清晰的部分融合成为一幅图像，相当于把三维信息压缩到二维平面的一个过程。因此，首先需要把清晰度最高的一幅图像，即初始焦平面时获得的图像，作为模板图像保存起来。寻找清晰度最高的图像的过程也是计算当前最清晰焦平面的过程(102)。请参照前面的具体描述。

读入图像(202)

读入一层切片图像，作为当前图像，进行后续的与模板图像融合的操作。

在实际操作中，出于效率的考虑，采集完一层的图像，就进入当前层图像与模板图像的融合过程。为了更清晰地说明本发明的实施方法，才将三维采集与图像融合分开描述。

图像对准(203)

此处解决待融合图像之间存在偏移的问题。

在采集医学图像的过程中，由于机械等原因，各图像之间的内容在水平方向或者(和)垂直方向上会存在一定的偏移。若直接将各图像最清晰的部分融合在一起，最终的结果图像中内容也会存在错位。严重影响图像的质量。

为了避免这个问题，我们在进行图像融合之前，选取模板图像作为参考，每一幅待融合的图像均以模板图像为参照目标，通过两图像的相关性来计算相对偏移量：

$\mathrm{Corr}=\frac{I_1(i,j)*I_2(m,n)}{\sqrt{\underset{i,j}{\mathrm{\Σ}}{I}_1^2(i,j)}*\sqrt{\underset{m,n}{\mathrm{\Σ}}{I}_2^2(m,n)}}$

其中，Corr表示图像I₁和图像I₂的相关性，I₁(i，j)表示图像I₁第i行j列像素的灰度值，I₂(m，n)表示图像I₂第m行n列像素的灰度值。将待融合图像作一定范围(水平方向或者(和)垂直方向)的偏移，计算其与模板图像之间的相关性，当获得最大相关性时，即认为寻找到最佳的偏移位置，然后根据此偏移量将图像调整到正常的状态。即水平偏移量和垂直偏移量分别为Corr取得最大值时，i与m的差和j与n的差。

图像融合(204)

计算当前待融合图像各个区域的清晰度，在将当前待融合的图像和模板图像对准后，进一步将当前图像相对于模板图像的清晰度更高的区域部分替换到模板图像上。

更新模板图像、即将融合后的模板图像作为新的模板图像；

如果对消除了偏移后的两幅图像，直接进行融合。那么融合后的图像中必然存在若干明显的伪边缘，影响图像融合的效果。本发明中伪边缘是指切片组织中原本不存在的在图像采集及处理过程中产生的噪声。伪边缘产生的原因是其周边像素的像素值来源于不同图像，而这些像素值又差异较大。

本发明采取的处理方法是，在进行图像融合时，首先进行图像清晰度C(i，j)的计算。这也是图像融合的预处理过程，为抑制噪声做准备。

利用当前像素的梯度在水平和垂直两个方向上的分量的平方和来高效准确地对该像素的清晰度进行刻画：

$C(i,j)=\sqrt{{(I(i,j-1)-I(i,j+1))}^2+{(I(i-1,j)-I(i+1,j))}^2}$

其中，C(i，j)表示图像中第i行j列像素的清晰度，I(i，j)表示图像中第i行j列像素的灰度。比较待融合图像中对应点的C(i，j)值，选择清晰度高的点(值较大的点)作为融合结果。举例说明如下：

图3-1和3-2是两幅准备进行融合操作的图像。设图3-1中每个像素点的灰度值为I_a(i，j)，图3-2中每个像素点的灰度值为I_b(i，j)，分别计算图3-1和图3-2中每个像素点的清晰度C_a(i，j)和C_b(i，j)，则融合后图像3-4的每个像素点的灰度值为

$I_R(i,j)=\left\{\begin{array}{cc}{I}_a(i,j)& C_a(i,j)\&GreaterEqual;C_b(i,j)\\ I_b(i,j)& C_a(i,j)<C_b(i,j)\end{array}\right.$

在融合后的图像3-4中，存在数个有伪边缘的边界区域(在本发明中，以由于图像融合而产生的边缘点为中心，上下左右三个像素范围内的区域定义为边界区域)，这是由于该区域的像素值来源于差异较大的两幅或者多幅图像造成的。借助一个标识图像说明这个问题，如图3-3所示，对应融合后的图像3-4中的每个像素点，如果来源于图像3-1，使用黑色标记；反之如果来源于图像3-2，使用白色标记。在图3-3中，可以清楚地看到边缘的位置。

下面说明抑制伪边缘的方法：本实施方案采用分配权重的方法对边界区域的像素点进行平滑。

在图4中，设曲线是融合后图像中存在的一个边缘。选取曲线上任一点O，设点O在图3-1中对应的灰度值为I_a(i_o，j_o)，在图3-2中对应的灰度值为I_b(i_o，j_o)。图像融合后，点O的灰度值为I_R(i_o，j_o)。

I_R(i_o，j_o)＝I_a(i_o，j_o)*N_a+I_b(i_o，j_o)*N_b

N_a和N_b分别是图3-1和3-2中对应像素对O点灰度值的权重。权重由O点的8个邻域点(以O为中心，3*3矩阵内的其余8个像素点)在3-1和3-2两幅图像中的分布状况决定。以图4为例，8个邻域点中，4个分布在图3-1中，其余4个分布在图3-2中。于是，N_a＝4/8；

N_b＝4/8。

代入公式I_R(i_o，j_o)＝I_a(i_o，j_o)*N_a+I_b(i_o，j_o)*N_b

则I_R(i_o，j_o)＝I_a(i_o，j_o)*4/8+I_b(i_o，j_o)*4/8

对边缘区域(边缘点上下左右三个像素范围内)中的每个点，使用上述方法，修正公式 $I_R(i,j)=\left\{\begin{array}{cc}{I}_a(i,j)& C_a(i,j)\&GreaterEqual;C_b(i,j)\\ I_b(i,j)& C_a(i,j)<C_b(i,j)\end{array}\right.$ 取得的像素点的灰度值，得到最终的融合图像，如图3-4所示。

更新模板图像(205)

经过步骤(204)的计算后，以融合后的图像作为新的模板图像，并进行接下来的融合操作，直至采集到的图像全部融合完毕。

图像融合后的效果参见后面的附图5-7.

图5和图6分别是一幅图像融合前后的对比图像，图7是整个组织融合前后的对比图像，可以明显看出经过图像融合后的图像就看上去更加平滑、清晰、真实、自然。

Claims (8)

1、一种切片组织的三维图像采集及多层图像融合方法，其特征在于，所述方法包括以下步骤：

(1)对于切片组织的一个任一选定区域，切片图像采集设备在初始焦平面上，采集当前层上的切片图像数据并保存；

(2)以上述初始焦平面为基准，通过在切片组织厚度范围内向上或向下移动切片或镜头来改变焦平面，每移动设定距离，就采集该切片层上的图像数据并保存，当向上或向下移动达到预先设置的移动上下限时，停止该选定区域的三维图像采集；

(3)进行多层图像融合，结合上述多幅不同焦平面上采集的图像的清晰度，将清晰度高的部分融合到一幅图像中，从而形成最佳的融合图像。

2、根据权利要求1所述的方法，其特征在于：所述的设定距离由用户指定，优选为切片组织的厚度的1/10。

3、根据权利要求1所述的方法，其特征在于：在所述初始焦平面位置上所采集的切片组织图像数据被认为是所有采集的图像中清晰度最高的图像，在进行多层图像融合时，首先以在初始焦平面位置上采集的图像数据作为图像融合的模板图像。

4、根据权利要求3所述的方法，其特征在于：

读入一幅保存过的除初始焦平面位置以外的切片组织图像，计算当前图像各个区域的清晰度，将当前读入的图像和模板图像进行对准，并将当前图像相对于模板图像的清晰度更高的区域部分与模板图像的相对应部分进行融合；

更新模板图像、即将融合后的图像作为新的模板图像；

再读入其它一幅切片层的图像，按上述方式进行图像融合，直到将所有采集并保存的切片层图像全部融合完成。

5、根据权利要求4所述的方法，其特征在于：

在两幅图像进行融合前，将待融合图像作水平方向或垂直方向的偏移，所述偏移可以按照但不限于以下方式进行：根据下式计算被融合图像或称模板图像和待融合图像的相关性，当获得最大相关性时，即认为寻找到被融合图像的最佳偏移位置，然后根据此偏移量将被融合图像调整到正常的状态，

$\mathrm{Corr}=\frac{I_1(i,j)*I_2(m,n)}{\sqrt{\underset{i,j}{\mathrm{\&Sigma;}}{I}_1^2(i,j)}*\sqrt{\underset{m,n}{\mathrm{\&Sigma;}}{I}_2^2(m,n)}}$

其中，Corr表示模板图像和待融合图像的相关性，I₁(i，j)表示图像I₁第i行j列像素的灰度值，I₂(m，n)表示图像I₂第m行n列像素的灰度值，水平偏移量和垂直偏移量分别为Corr取得最大值时，i与m的差和j与n的差。

6、根据权利要求4所述的方法，其特征在于：对融合后图像的边界区域的伪边缘进行抑制，去除因直接数据融合而产生的噪声。

7、根据权利要求6所述的方法，其特征在于：可以但不限于采用分配权重的方法对融合后图像的边界区域的伪边缘进行抑制：选取融合后图像边界区域上的任一点，设该点在待融合图像中对应的灰度值为I_a(i_o，j_o)，在模板图像或称被融合图像中对应的灰度值为I_b(i_o，j_o)，图像融合后，其灰度值为I_R(i_o，j_o)，

I_R(i_o，j_o)＝I_a(i_o，j_o)*N_a+I_b(i_o，j_o)*N_b

N_a和N_b分别是A图和B图中对应像素对O点灰度值的权重，权重由该点的8个邻域点融合前的两幅图像中的分布状况决定。

8、根据权利要求1-3所述的方法，其特征在于：所述多层图像融合也可以通过不保存每层的图像，边采集图像边融合的方式实现。

Images