CN103970775A - 一种基于对象空间位置关系的医学图像检索方法 - Google Patents

Abstract

本发明公开了一种基于对象空间位置关系的医学图像检索方法，属于图像处理技术领域。本发明提取分割后图像中主要对象的形状和位置关系等特征，并采用了由粗到精的检索策略计算两幅图像间内容的相似程度。本发明方法步骤包括：(1)输入医学图像并进行分割，得到图像中主要对象所占的区域；(2)对每一块区域提取它们的形状和位置关系等特征，作为该对象的特征；(3)根据各个简单对象的特征进行一轮快速匹配；(4)在相对较小的结果子集上进行尺度函数匹配；(5)根据用户所提交示例图像中对象间的空间位置关系，对上一步匹配得到的图像进行空间位置关系匹配，并将检索得到的图像按照相似度从大到小返回给用户作为输出。本发明能够根据图像对象间的任意空间布局及其属性实现图像检索，为利用底层特征和空间位置关系形成检索提供了新的内容表达方法和计算方法。

Description

一种基于对象空间位置关系的医学图像检索方法

技术领域

本发明涉及图像分割及特征提取处理，属于图像处理领域。

技术背景

随着现代影像和图像处理技术的深入发展，近年来可供临床、教学和研究使用的医学图像数量正在迅速膨胀，例如仅University Hospital ofGeneva放射科每天产生的图像数量就达12000幅。所以，在众多的图像中，医学工作者和相关科研人员如何快速、准确地找到所需要的图像成为急待解决的问题。

自从20世纪70年代以来，在数据库***和计算机视觉两大研究领域的共同推动下，图像检索技术逐渐成为一个非常活跃的研究领域。早期的图像检索使用的是文本标注方法(Text-base Image Retrieval，TBIR)，当时流行的图像检索***是将图像作为数据库中存储的一个对象，用关键字或自由文本对其进行描述。查询操作是基于该图像的文本描述进行精确匹配或概率匹配，有些***的检索模型还有词典支持。然而，完全基于文本的图像检索技术存在着严重的问题。目前的计算机视觉和人工智能技术都无法对图像进行自动文本标注，而必须依赖人工对图像做出标注。这项工作不但费时费力，而且手工标注往往是不准确或不完整的，还不可避免地带有主观性。

医学图像不同于一般图像，医学图像灰度分辨率高、空间分辨率高、图像相似性大、所含信息量大、颜色类型少等特点，因此，基于视觉特征(内容)的图像检索技术CBIR更适合。

基于内容的图像检索技术至今已有十多年的发展历史，由于此项技术的广阔的应用前景和巨大的商业价值，因此迅速成为研究热点，各种利用图像的内容，如颜色、纹理、形状等图像视觉特征检索图像的技术应运而生。其基本思想是根据图像所包含的色彩、纹理、形状及对象的空间关系等信息，建立图像的特征矢量，检索方法是根据图像的多维特征矢量进行相似性匹配。这项技术涉及计算机视觉、图像处理、图像理解、人工智能、机器学习、统计学、数据库及心理学等众多领域的技术。其应用领域涉及到多媒体数据库、军事领域、建筑和工程设计、时尚和室内装演设计、旅游业和广告业、地理信息***和遥感***、电子图书馆、商标管理、医疗图像管理、公安***以及卫星图像管理等，是一个很有发展前途的研究方向。

目前，各大研究机构和公司，如IBM、MIT、Columbia、Stanford、UIUC、UCSB、Berkeley、Microsoft等都推出了各自的图像检索***。图1给出了一个典型的CBIR***的基本结构框架，***主要由图像查询子***和图像数据库子***两部分组成，数据库子***的主要功能是建立和维护整个图像库及相关文件，其核心是视觉特征提取与识别技术。图像查询子***的主要功能是负责与用户的交互和度量数据库中图像与用户提交的查询图像之间的相似性。当用户提交查询图像后，对它进行分析并提取特征矢量，按照相应的相似性度量准则在图像库中进行匹配，最后根据相似度顺序把查询结果返回给用户。

图像的视觉特征的提取和表达是基于内容的图像检索技术的基础。视觉特征可分为通用的视觉特征和领域相关的视觉特征。前者用于描述所有图像共有的特征，与图像的具体类型和内容无关，主要包括颜色、纹理和形状等；后者则建立在对所描述图像内容的某些先验知识或假设的基础上，与具体的应用领域紧密相关，例如，人的面部特征或指纹特征等。本发明则讨论基于通用的对象空间位置关系特征的检索方法。

发明内容

在图像检索处理过程中，一般人们首先通过基于底层特征的分割方法发现物体，然后再通过它们的形状、纹理和拓扑关系等特征来进一步地识别物体。当图像中有明显物体出现时，例如，对于一幅常见的风景画，图像的内容可以由组成这幅风景画的对象(如天空、陆地、山脉、建筑物等)的形状和位置关系等特征来表示，如图2所示。如果另一幅图像也包含有这些相似的对象，我们就认为这两幅图像的内容是相似的。

本发明提出的基于对象空间位置关系的医学图像检索方法正是遵循了上面的原理，概括而言，可以将整个检索过程分为三步：首先，对医学图像进行分割，得到图像中主要对象所占的区域；然后，对每一块区域提取它们的形状和位置关系等特征，作为该对象的特征；最后，根据图像中各对象的特征，计算两幅图像间内容的相似程度，并实现检索。该方法使图像检索可以按照图像对象间的任意空间布局及其属性来计算，为利用底层特征和空间位置关系形成检索提供了新的内容表达方法和计算方法。

在整个图像检索过程中，为了兼顾检索效率与检索精度的要求，我们采用了由粗到精的检索策略，如图3所示图像检索流程。最左部分表示：当图像被加入到图像库时，我们需要同时保存原始图像、从图像中分割出来的对象以及从对象中提取出的特征。最右部分表示：在检索阶段，用户可以提交一个示例图像，***自动分割出图像中的显著对象，并以所得到的对象作为用户的查询要求。

在整个检索过程中，***先根据各个简单对象的特征进行一个快速匹配，然后在相对较小的结果子集上进行尺度函数(Size Function)匹配，最后，要根据用户所提交示例图像中对象间的空间位置关系，对上一步匹配得到的图像进行空间位置关系匹配，并将检索得到的图像按照相似度从大到小返回给用户。本文将从以下四个方面对发明内容进行详细阐述：

一、基于区域查询的特征匹配

广义上讲，当我们把整幅图像作为一个大区域的时候，对整幅图像全局特征的查询也可以看作是区域查询。在这里我们所指的区域查询即是广义上的图像查询。我们把区域查询的进行广义化，主要是为了满足用户查询的需要，在用户的查询中可能包含这样的区域，区域的视觉特征和某图像的全局特征相似，用户希望提交的区域用这幅图像的全局特征来说明，在这种情况下，我们需要把一幅图像作为查询的一个区域。

区域查询可划分为单区域查询和多区域查询，所谓单区域查询即在查询中指定一个区域，找到与之相似的包含该区域的图像，这时并不需要考虑区域内的空间位置关系，即我们针对图像中分割出来的某一个对象进行查询；多区域查询包含多个区域，不仅要考虑区域的视觉特征和空间属性，还要考虑区域间的空间位置关系，即我们要考虑的图像对象间特征匹配以及后面要进行的空间位置关系匹配。

在查询中指明单区域的空间属性时，我们对区域的中心坐标和最小边框索引，这样可以对绝对空间位置进行查询。

区域的空间位置属性由区域的空间中心(x，y)和最小边框MBR(区域所覆盖的最小外接矩形决定，位置和大小是区别区域的有用的属性)，这里，我们用这样的属性来计算区域的位置和大小的相似性。

1、区域间中心点的空间距离由欧氏距离给出：

$d_{q,t}^s=\sqrt{{(x_q-x_t)}^2{+(y_q-y_t)}^2}$ (公式1)

2、在许多情况下，用户并不关心所查找的区域的准确位置，只要它落在指定的区域即可，这样，用户可以灵活地指定查询中每个区域的空间范围，当一个目标区域落在空间范围内，目标区域的空间距离指定为0，否则，其距离为欧氏距离，表达式如下：

(公式2)

这里，(x_min，y_max)和(x_max，y_min)分别为空间范围的左上角和右下角坐标。

空间四叉树是一个有效的区域中心点索引方法，四叉树通过对区域分组可以快速存取二维数据。对区域位置在(x_t，y_t)的查询采用先序遍历空间四叉树得到最近的组。当用户说明了一个空间范围查询，则需要考虑多个组以便在范围内的点的距离

区域中心位置并不足以表示所提取的图像区域的空间位置，所以需要对它们的最小边框MBR进行索引，一个空间查询可以指定一个用于查找的矩形并找到与其重叠的目标区域。使用R-tree来索引区域的MBR，R-tree是一个索引k-D矩形的通用动态结构，这里k＝2，R-tree可以看作由空间分组重叠而成的层次结构，在空间查找时可以只访问少数的分组。

空间大小是区域的一个重要视觉特性，尤其是其空间面积和空间延伸。两个区域q和t间的面积的距离是绝对距离：

$d_{q,t}^a=|{\mathrm{area}}_q-{\mathrm{area}}_t|$ (公式3)

区域的空间延伸的比较由MBR的宽度和高度决定，两个区域q和t间的宽度和高度的距离是：

$d_{q,t}^m=\sqrt{{(w_q-w_t)}^2+{(h_q-h_t)}^2}$ (公式4)

把这些方法和特征度量结合起来，用户可以指定查询构造，这样面向图像区域的查询由对每种视觉特征和空间特征及关系分别进行并行地查询计算，单个区域的距离度量由颜色特征、纹理特征、形状特征的距离度量及其权重给出，用户也可以对每个特性指定一个相对权重α。

二、基于尺度函数的相似性度量

在离散的情况下，一个对象Γ可以看成是由一个点集V＝{(x，y)|(x，y)∈Γ}构成，从V出发，我们可以构造一个图G＝<V，E>，其中，V和E分别为顶点集和边集。

E＝{e(x₁，y₁，x₂，y₂)|(x₁，y₁)∈V，(x₂，y₂)∈V，|x₁-y₁|≤1，|x₂-y₂|≤1}

其中e(x₁，y₁，x₂，y₂)代表连接两点(x₁，y₁)与(x₂，y₂)的边。这里是认为Γ上相邻的点有一条边相连。在实际应用中，我们可以用采样的方法，选取Γ上部分点作为顶点。这样，我们就把一个对象Γ用一个图表示出来。

然后，选取合适的测度函数用如下方法计算尺度函数的值：

Step1：

E←{e(x₁，y₁，x₂，y₂)|(x₁，y₁)∈V or(x₂，y₂)∈V}

Step2：从G中去掉的顶点以及与这些顶点相连的边，形成一个新的图G：

V←V-V，E←E-E，G←<V，E>

Step3：在新的图G中，计算至少有一个顶点(x，y)满足的连通子图的个数，并将这个数目作为的值。

由此可见，尺度函数是一种有关对象形状的特征表示方法，在这一表示方法中，不仅包含了对象的局部特征，而且还包含了对象的整体拓扑关系。对测度函数两个对象“A”和“B”之间的距离可以用如下方法计算：

(公式5)

其中，D是某个合适的区域。这种相似性度量方法，其关键问题是选取合适的测度函数

三、对象间空间位置关系的表示与匹配

为了描述区域集合Ω＝{A₁，A₂，…，A_n}的空间位置关系，将各区域的重心向X轴和Y轴投影，在X轴和Y轴上分别得到两个集合串与如图4所示。

具有如下性质：

(1) $X_t^{\mathrm{\&Omega;}}\&NotEqual;\mathrm{\&Phi;},(i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,s),$ $X_t^{\mathrm{\&Omega;}}\&cap;X_j^{\mathrm{\&Omega;}}=\mathrm{\&Phi;},(i\&NotEqual;j),$ $\{A_1,A_2,\&CenterDot;\&CenterDot;\&CenterDot;,A_n\}=\underset{i=1}{\overset{s}{\mathrm{\&cup;}}}{X}_i^{\mathrm{\&Omega;}},$ 也就是说是集合{A₁，A₂，…，A_n}的一个划分。

(2)如果|(A_i)_x-(A_j)_x|＜ε， 则其中(A_t)_x表示A_i的重心在X轴上的投影关于X轴的坐标，ε是预先确定的一个常数。这一性质表明，当两个区域的投影坐标相差不大时，应归为同一类，这主要是考虑到在实际计算时，本身有误差的存在。

(3)如果 i＜j，则(A_i)_x＜(A_j)_x。

同理，也有类似的性质。

用这两个集合串，我们便可以方便地描述区域集合个元素之间的相对空间位置关系。对两个区域集合Ω₁＝{A₁，A₂，…，A_n}与Ω₂＝{B₁，B₂，…，B_n}，如果存在一一对应并且，在这种对应之下： 则称Ω₁与Ω₂具有相同的相对空间位置关系。这时，我们还可以定义它们的结构距离：

${\mathrm{dis}}_F({\mathrm{\&Omega;}}_1,{\mathrm{\&Omega;}}_2)=\underset{t,j=1}{\overset{n}{\mathrm{\&Sigma;}}}|d(A_i,A_j)-d(F\left(A_i\right),F\left(A_j\right))|$ (公式6)

其中d(A_i，A_j)表示A_i与A_j的重心之间的距离。dis_F(Ω₁，Ω₂)可以看作是对Ω₁与Ω₂的绝对空间位置关系的相似度的一种度量方式，dis_F(Ω₁，Ω₂)越小，表明Ω₁与Ω₂的空间结构越相似。

以上描述了图像中对象间空间位置关系的表示问题，那么对于空间位置关系的匹配问题，我们首先用一个实际例子来说明。

假设用户在一幅图像的平面上标有A、B、C、D四个区域，如图4所示，图像库中的某个图像所包含的区域如图5，并且，通过区域相似度计算，已确定了匹配关系： 我们的问题是：在图5中，是否存在区域子集 $\{a,b,c,d\}\&Subset;\left\{\mathrm{1,2,3,4,5,6}\right\},$ 使得 并且{a，b，c，d}与{A，B，C，D}有相同的相对空间位置关系？由图可知，这一问题的答案是：a＝1，b＝2，c＝3，d＝4。

在一般情况下，这个匹配问题可描述为：

[已知]：Ω₁＝{A₁，A₂，…，A_n}、Ω₂＝{B₁，B₂，…，B_n}，

$A_i\&LeftRightArrow;S_i(i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;n,S_i\&SubsetEqual;{\mathrm{\&Omega;}}_2)$

[求解]：a_i(i＝1，2，…n)，使其满足：a_i∈S_i(i＝1，2，…n)，并且，在映射之下，{a₁，a₂，…，a_n}与{A₁，A₂，…，A_n}有相同的相对空间位置关系。

为了解决这一问题，我们提出如下的求解算法：

Step1：输入Ω₁、Ω₂及其匹配关系 $A_i\&LeftRightArrow;S_i(i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;n,S_i\&SubsetEqual;{\mathrm{\&Omega;}}_2)$

Step2： ${\mathrm{\&Omega;}}_2\&LeftArrow;\underset{i=1}{\overset{n}{\mathrm{\&cup;}}}{S}_i$

Step3：对S_i(i＝1，2，…n)中的元素用A_i来标识

Step4：求出与

Step5：找出中的所有子串并要求：

$X_i^{{\mathrm{\&Omega;}}_1}\&SubsetEqual;X_{m_i}^{{\mathrm{\&Omega;}}_2}(i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,s^{{\mathrm{\&Omega;}}_1}).$ 如果没有符合条件的子串，则返回：问题无解。

Step6：对所找出的每个子串

Step6.1： ${\mathrm{\&Omega;}}_2\&LeftArrow;\underset{i=1}{\overset{s^{{\mathrm{\&Omega;}}_1}}{\mathrm{\&cup;}}}{X}_{m_i}^{{\mathrm{\&Omega;}}_2}$

Step6.2：求出与

Step6.3：找出中的所有子串并要求：

$Y_i^{{\mathrm{\&Omega;}}_1}\&SubsetEqual;Y_{m_i}^{{\mathrm{\&Omega;}}_2}(i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,t^{{\mathrm{\&Omega;}}_1})$

Step6.4：对所找出的每个子串

Step6.4.1：对每个A_i，找出与使得 $A_i\&Element;X_{p_i}^{{\mathrm{\&Omega;}}_1}\&cap;Y_{q_i}^{{\mathrm{\&Omega;}}_1}$

Step6.4.2：在中选取被标识为A_i的Ω₂中的元素a_i

Step6.4.3：输出匹配

Step7：算法结束

该算法要比一般的空间关系匹配算法简单明了，并能够有效地实现基于图像中对象空间位置关系的检索策略。

四、医学图像检索算法

基于上述工作，将具体的检索算法描述如下：

设图像分割得到的对象集为Ω₁＝{A₁，A₂，…，A_n}

Step1：输入对象集Ω₁＝{A₁，A₂，…，A_n}，确定常数ε₁及ε₂

Step2：对每一个A_i(i＝1，2，…n)：

Step2.1：提取A_i的特征量

Step2.2：ShapeNo_t←特征库中与A_i的特征量距离dis_f小于ε₁的记录的对象编号

Step2.3：将ImageNo_t置为空集

Step2.4：对ShapeNo_t中的每个对象号s_j：用尺度函数方法确定其与A_i的距离如果则从图像库中选取所有对象号为s_j的图像号，并将其并入集合ImageNo_t，否则，从ShapeNo_t中去掉s_j

Step2.5：标识映射A_i→ShapeNo_t

Step3： $\mathrm{ImageNo}\&LeftArrow;\underset{i=1}{\overset{n}{\mathrm{\&cap;}}}\mathrm{ImageN}{o}_i$

Step4：ImageNo←ImageNo中与{A₁，A₂，…，A_n}有相同的相对空间位置关系的图像

Step5：对ImageNo中的每个图像，计算其与{A₁，A₂，…，A_n}的结构距离，并按结构距离从小到大输出一定数量的图像。

在这一检索算法中，Step2.2对应基于特征的初级检索；Step2.4对应基于尺度函数的相似性匹配；Step4对应对象间空间位置关系的匹配。

附图说明：

为了更清楚地说明本发明实施例或现有技术的技术方案，下面对实施例或现有技术描述中需要给出的附图做简单介绍，下面描述的附图仅仅是本发明的一些实施例。

图1是典型CBIR***的结构图。

图2是由6个对象组成的图像，例如有天空、陆地、山脉、建筑物等对象。

图3是本发明实例实现方法的流程图。

图4是本发明实例中图像对象空间位置关系的二维集合串表示方法示意图。

图5是空间位置关系匹配例图。

图6为查询实例以及使用本发明实例方法得到的肝部CT图像检索结果。

图7为查询实例以及使用本发明实例方法得到的胸部CT图像检索结果。

Claims (4)

1.一种基于对象空间位置关系的医学图像检索方法，其技术特征在于：

(1)对于分割后的待分析图像，将分割所得各区域的重心向X轴和Y轴投影，在X轴和Y轴上分别得到两个集合串与

(2)提出一种简单的空间关系匹配算法，该算法能够计算出一副图像中的区域子集，并且该区域子集与另一副图像中的所有区域具有相同的相对空间位置关系。

(3)将一个对象Γ看成是由一个点集V＝{(x，y)|(x，y)∈Γ}构成，从V出发构造一个图G＝<V，E>，用尺度函数表示对象的形状特征，在这一表示方法中，不仅包含了对象的局部特征，而且还包含了对象的整体拓扑关系。

(4)基于上述工作，设图像分割得到的对象集为Ω₁＝{A₁，A₂，…，A_n}，提出完整、具体的检索算法，实现了基于特征的初级检索、基于尺度函数的相似性匹配以及对象间空间位置关系的匹配，最终按结构距离从小到大输出一定数量的图像作为检索结果。

2.根据权利要求1所述的基于对象空间位置关系的医学图像检索方法，其特征在于：

我们认为空间大小是区域的一个重要视觉特性，尤其是其空间面积和空间延伸。

计算两个区域q和t间的面积的距离是绝对距离：

$d_{q,t}^a=|{\mathrm{area}}_q-{\mathrm{area}}_t|$

区域的空间延伸的比较由最小边框MBR的宽度和高度决定，两个区域q和t间的宽度和高度的距离计算方法为：

$d_{q.t}^m=\sqrt{{(w_q-w_t)}^2+{(h_q-h_t)}^2}$

3.根据权利要求1所述的基于对象空间位置关系的医学图像检索方法，其特征在于：

对于两个区域集合Ω₁＝{A₁，A₂，…，A_n}与Ω₂＝{B₁，B₂，…，B_n}，当其满足以下条件时，它们之间具有相同的相对空间位置关系：

(1)存在一一对应

(2)在这种对应之下： $F\left(X_i^{{\mathrm{\&Omega;}}_1}\right)=X_i^{{\mathrm{\&Omega;}}_2},$ $F\left(Y_i^{{\mathrm{\&Omega;}}_1}\right)=Y_i^{{\mathrm{\&Omega;}}_2}$

否则，定义两个区域集合之间的结构距离为：

${\mathrm{dis}}_F({\mathrm{\&Omega;}}_1,{\mathrm{\&Omega;}}_2)=\underset{i,j=1}{\overset{n}{\mathrm{\&Sigma;}}}|d(A_i,A_j)-d(F\left(A_i\right),F\left(A_j\right))|$

其中d(A_i，A_j)表示A_i与A_j的重心之间的距离。dis_F(Ω₁，Ω₂)是对Ω₁与Ω₂的绝对空间位置关系的相似度的一种度量方式，dis_F(Ω₁，Ω₂)越小，表明Ω₁与Ω₂的空间结构越相似。

4.根据权利要求1所述的基于对象空间位置关系的医学图像检索方法，其特征在于：

对测度函数两个对象“A”和“B”之间的距离可以用如下方法计算：

其中，D是某个合适的区域。尺度函数的值用如下方法计算：

Step1：

E←{e(x₁，y₁，x₂，y₂)|(x₁，y₁)∈V or(x₂，y₂)∈V}

Step2：从G中去掉的顶点以及与这些顶点相连的边，形成一个新的图G：

V←V-V，E←E-E，G←<V，E>

Step3：在新的图G中，计算至少有一个顶点(x，y)满足的连通子图的个数，并将这个数目作为的值。