CN102053963B - 一种胸部x线图像检索方法 - Google Patents

Abstract

本发明属计算机信息检索领域，尤其涉及胸部X线图像检索方法，可按如下步骤依次实施：(1)输入胸部X线图像；(2)判断图像文件中是否存在语义描述，若是，则在所述图像文件中提取语义描述；若否，则对输入图像进行语义提取与描述；(3)语义解析为标准文本信息；(4)进行文本搜索；(5)得到相似图像结果集；所述语义提取与描述依次包括如下步骤：(a)图像规范化；(b)肺野分割；(c)依据解剖学位置进行区域划分；(d)纹理特征提取；(e)将待描述图像进行语义映射与描述。本发明可减少人工劳动与条件依赖，检索速度快，效率高。

Description

一种胸部X线图像检索方法

技术领域：

本发明属于计算机信息检索领域，主要涉及胸部X线图像中肺野区域的分割、纹理特征的提取、高层语义映射的胸部X线图像检索方法。

背景技术：

胸部X线图像是心、肺等疾病诊断的常用手段。随着计算机技术在医疗领域的广泛应用，以及PACS(Picture Archiving and Communication Systems，影像归档和通信***)与HIS(Hospital Information System，医院信息***)的应用，使得胸部X线图像总量在不断的扩大，有效的检索对医生的培训、教学、科研与临床诊断将有重要的意义。

传统的检索是通过医生的诊断报告与图像的拍摄信息进行的，这种搜索方式有着它不可避免的弊端。首先，诊断报告不具有规范性，每个医生常常有自己的表达方式，对同一症状的描述会有多种词汇；其次，由于医生的工作量比较大，诊断报告的描述一般不详细，并且肉眼读片难于给出准确的参数估计。采用计算机对胸部X线图像进行肺部语义的自动提取并且进行规范化描述，将会给医生提供更大的方便。将该技术应用到现有的PACS或者其它相关***中，将会增加其在市场中的竞争力。

胸部X线图像的肺部纹理语义的提取与检索技术主要由DICOM图像预处理、肺野区域的分割与划分、特征提取、语义映射和文本检索等几部分组成。随着图像处理与基于内容的图像检索技术的发展，上述各个关键部分的研究都有一定程度的进展。但是，在实际的应用中仍然存在很多问题，主要有以下几点：

(1)基于规则推理的肺野分割算法虽然符合人们的思维方式，可以得到真实的边界，但其运算效率低下，并且与后续的处理过程结合较为不方便。

(2)肺野区域的划分都是以面积相等或相近为依据，这些划分方法忽视了肺野的位置信息，使得划分的子区域因解剖学位置不同而失去了可比性。

(3)目前仍然没有一个可以准确提取胸部X线图像中肺野纹理特征的算法。

(4)采用现阶段的主要算法实现胸部X线图象检索的时间消耗与空间消耗在实际应用中是无法令人们接受的。

发明内容：

本发明旨在克服现有技术的不足之处而提供一种可减少人工劳动与条件依赖，检索速度快，效率高的胸部X线图像检索方法。

为达到上述目的，本发明是这样实现的：

一种胸部X线图像检索方法，可按如下步骤依次实施：

(1)输入胸部X线图像；

(2)判断图像文件中是否存在语义描述，若是，则在所述图像文件中提取语义描述；若否，则对输入图像进行语义提取与描述；

(3)语义解析为标准文本信息；

(4)进行文本搜索；

(5)得到相似图像结果集。

作为一种优选方案，本发明所述语义提取与描述可依次包括如下步骤：

(a)图像规范化；

(b)肺野分割；

(c)依据解剖学位置进行区域划分；

(d)纹理特征提取；

(e)将待描述图像进行语义映射与描述。

作为另一种优选方案，本发明所述图像规范化可依次包括如下步骤：

(a)压缩灰度级；

(b)去除头部、手臂等无关部分并规范为同等尺寸；

(c)去除噪声。

进一步地，本发明所述肺野分割可依次包括如下步骤：

(a)建立肺野区域的形状模型；

(b)建立局部外观模型；

(c)搜索实际分割点。

更进一步地，本发明所述区域划分依次包括如下步骤：

(a)确定区域划分点；

(b)生成区域划分蒙片。

另外，本发明所述纹理特征提取可依次包括如下步骤：

(a)提取每个区域的灰度差分矩阵；

(b)提取统计特征量。

其次，本发明所述语义映射与描述可依次包括如下步骤：

(a)对标准库进行人工语义描述与分类；

(b)对输入图像进行分类与语义描述。

再次，本发明所述步骤(1)中输入胸部X线图像的同时可加入文本信息。

本发明所述建立肺野区域的形状模型中将标准分割库中每幅图像的标准分割点集看作一个向量

X＝[x₀，y₀，x₁，y₁，...x_n-1，y_n-1]^T

其中n为分割点的总数，x与y分别表示分割点的横纵坐标对标准库中M幅图像建立如下的形状模型：

Y＝X+Pb

其中P为M个X向量的协方差矩阵的特征向量所组成的矩阵，b是对输入的不同图像通过搜索迭代而得到的参数，Y表示活动形状。

本发明所述建立局部外观模型中，取每一个分割点所在轮廓的法线方向的2k+1个点的梯度值作为该点的局部特征向量，所述法线方向由其相邻的两点确定，求出M个图像的局部特征向量的平均值。

本发明整体方案包含两部分，分别是语义提取与描述和图像检索。语义提取与描述部分将置入到PACS或其它相关***的图像接收端，也可直接置入DR/CR拍摄工作站中。首先将图像进行规范化、分割出肺野并且按照固定位置进行区域划分，然后从每个区域中分别提出其纹理特征向量并且归一化，最后采用分类器对每个区域进行分类，通过标准类别的语义进行语义描述，这些信息将存储至DICOM文件与相应的数据库中。图像检索部分发布至客户端，为用户提供多种图像检索方式，以给用户提供最大的方便。

语义提取与描述部分包括如下步骤：

步骤一：图像规范化

首先将图像灰度量化为256级，然后进行标准胸部定位(去除头部、手臂和胃以下部分)，再进行对比度调整与去除噪声。

步骤二：肺野分割

先对专家分割好的标准库(分割关键点的个数固定，并且每个分割关键点的解剖学位置固定)进行训练，形成一个形状模型，然后统计每个点的局部特征模型，最后在待分割图像中根据形状模型与局部特征模型进行特征点搜索，完成肺野区域的分割。

步骤三：区域划分

根据放射诊断学，将肺野区域横向划分为内带、中带与外带，纵向划分为上野、中野与下野，左右肺共划分十八个区域。划分时尽可能保证相同的解剖学位置总是划分在同一个区域，各个区域代表着肺野中的位置。

步骤四：纹理特征提取

肺纹理主要由肺部血管投影形成，针对其特征进行分析，对每个区域分别提取对比度、平均灰度差、熵与能量值(角二阶矩)四个纹理特征参数。

步骤五：语义映射与描述

采用分类语义映射的方法。首先对已有的标准库图像采用标准的医学用语进行人工语义描述，包括位置信息、病灶信息和诊断信息等。然后通过计算机程序根据描述的每类语义对标准库中的图像进行归类，同一幅图像可被归到多个类中。其次将待描述图像的每个肺野区域通过分类器映射到对应的标准库类中，最后采用相应的语义对该图像进行描述。

图像检索根据输入情况分为三种检索方式。

第一种方式是文本检索。由用户直接输入文本或者从***提供的文本条件选项中选择，根据文本语义检索到相应的图像。

第二种方式是示例检索，输入为一幅胸部X线图像。首先判断该图像的纹理语义是否已提取，如果未提取，将调用语义提取与描述模块对该图像进行语义提取并存储至图像DICOM文件中；如果已提取，将直接从图像文件中得到语义描述文档，将其作为输入信息检索得到与输入图像相似的图像。

第三种方式是综合文本检索与示例检索。

本发明相对其它检索方法，具有以下几个优点：

第一，减少人工劳动与条件依赖。本方法仅需要人工对比较少量的标准图像库进行一次性语义描述(本过程也可从标准的诊断报告中提取并加以整理而生成)，其余过程均由计算机自动完成。除了必要的查询信息的输入，避免了其它人机交互过程，而且在整个过程中不需要医生诊断报告的必要支持。

第二，检索速度快。相对于基于内容的图像检索，本方法在检索时采用文本语义信息，提高了图像检索速度。相对于传统的基于文本的图像检索，仅仅需要在后台对每幅X线图像一次性执行语义提取与描述即可，检索速度接近于基于文本的图像检索速度。

第三，检索效率高。提供了多种图像检索方式，检索条件可以更加模糊，也可以直接输入一幅图像进行示例检索。语义中加入位置信息与特征信息，检索结果更加准确。

附图说明：

图1为本发明模块发布示意图；

图2为本发明语义提取与描述流程图；

图3a1为本发明非标准胸片；

图3b1为本发明非标准胸片；

图3a为本发明非标准胸片的灰度投影图；

图3b为本发明非标准胸片的灰度投影图；

图4a为本发明肺野分割与区域划分后得到的蒙片；

图4b为本发明肺野分割与区域划分后得到的蒙片；

图4c为本发明肺野分割与区域划分后得到的蒙片；

图5本发明示例检索流程图。

具体实施方式：

结合附图，本发明有两个主要模块，分别为语义提取与描述模块、图像检索模块，可发布至医学图像相关***中，其具体发布方式如图1所示。首先在原有的数据库不变的基础上，创建一个胸部X线标准图像知识库与一个图像语义信息库。其中标准图像知识库包含一定量的标准图像语义信息，标准图像根据类别数量不同而不同，其中每类图像约一百幅左右，每幅图像均由专家给出标准的语义描述，包括位置、症状、程度等。图像语义信息库用来存储通过语义提取与描述模块得到的语义信息。然后将语义提取与描述模块发布到图像采集端与用户端，对未提取语义图像进行语义提取与描述，图像检索模块发布到用户端，为用户提供多元化图像检索。

语义提取与描述流程如图2所示，包括12个步骤。其中，步骤1至步骤3对胸部X线图像(DICOM文件格式)进行规范化处理；步骤4至步骤6根据活动形状模型(ASM)思想分割出肺野区域；步骤7和步骤8按固定位置对肺野进行区域划分；步骤9和步骤10对每个区域提取底层纹理特征；步骤11和步骤12对图像进行语义映射与描述。

步骤1：压缩灰度级

胸部X线图像的灰度级一般为4096级，为了方便显示与减少计算量而将灰度级压缩为256级。首先求出原图像中最大灰度值与最小灰度值，然后求出压缩后的图像Pcp中各像素的灰度值Gcp，公式如下：

G_cp＝(G_scr-G_min)*255/(G_max-G_min)

其中Gscr表示原图像Pscr中各点的像素灰度值，Gmax与Gmin分别表示原图像中的最大与最小灰度值。

步骤2：去除头部、手臂等无关部分并规范为同等尺寸

对图像Pcp进行垂直投影与水平投影，如图3所示，其中图3a中横坐标表示图像像素的水平坐标，纵坐标表示图像对应的水平坐标的所有像素值的总和；图3b中横坐标对应图像像素的垂直坐标，纵坐标表示图像对应的垂直坐标的所有像素值的总和。首先确定左右标准线，在垂直投影中，用投影均值乘以系数(0.8)的值作一条平行于X轴的直线，与左右两峰外侧第一次相交的两个点的横坐标作为图像的左右标准线Xleft与Xright。然后确定上下标准线，在水平投影中寻找满足如下两个条件的点：(1)该点的X坐标值小于图像高度的1/2，且Y坐标值小于投影均值的0.5倍；(2)该点为波谷且Y坐标值最小，将该点的Yup坐标作为图像的上标准线，如果找不到，则为图像上边界。下标准线Ydown的值是以上标准线为基数，加上左右标准线的间距乘以一个系数a，即：

Y_down＝Y_up+a(X_right-X_left)

这样四条标准线都找到了，将其剪裁后，按照标准库的大小进行缩放生成标准图像Ps。

步骤3：去除噪声

为了使后面的特征提取更加准确，对图像Ps进行中值滤波，窗宽为7x7，对窗内的像素进行快速排序，取其中值为滤波后的图像像素值，其中边缘像素不作处理。

步骤4：建立肺野区域的形状模型

将标准分割库中每幅图像的标准分割点集看作一个向量

X＝[x₀，y₀，x₁，y₁，...x_n-1，y_n-1]^T

其中n为分割点的总数，x与y分别表示分割点的横纵坐标。根据主元分析的思想，对标准库中M幅图像建立如下的形状模型：

Y＝X+Pb

其中P为M个X向量的协方差矩阵的特征向量所组成的矩阵，b是对输入的不同图像通过搜索迭代而得到的参数，Y是变化的，表示了活动形状。

步骤5：建立局部外观模型

局部外观模型代表着每一个分割点的局部特征，对每个点都需要建立该模型。取该点所在轮廓的法线方向的2k+1个点的梯度值作为该点的局部特征向量，法线方向由其相邻的两点确定。求出M个图像的局部特征向量的平均值作为局部外观模型。按照从粗到细的思想，建立多精度级局部外观模型。

步骤6：搜索实际分割点

输入一幅图像，按照从粗到细的思想，对每个点的搜索范围建立金字塔模型。在不同精度下采用局部外观模型为特征，城市距离为匹配公式进行搜索得到实际分割点。

步骤7：确定区域划分点

对每个肺野的分割点从0到n-1进行编号，n为分割点的总数，如图4a所示根据每个点的特征预先确定肺野轮廓上8个点的编号，内部四个点由水平方向的两点之间进行等比例取点而得到。

步骤8：生成区域划分蒙片

首先生成一幅与图像Ps同尺寸的灰度图像Pmask，并将背景色填充为黑色，即灰度值为0。然后对每个肺野区域，依次从上而下对每个由分割点与划分点围成的小区域在图像Pmask中进行填充，填充像素值从30到210不等，间隔为10，填充算法采用扫描线填充算法。填充完毕有可能出现错误的填充，如图4b，需要对其进行修正。修正方法为，先求得每个肺野区域的包围矩形，再对该矩形与分割点之间围成的区域填充为背景色，修正后的蒙片如图4c所示。至此，区域划分蒙片已经生成，用于后续的处理过程。

步骤9：提取每个区域的灰度差分矩阵

在图像Ps每个区域内求出一定偏移量δ＝(r，θ)的两点的灰度差是k的概率P_δ(k)(k＝0，1，...，255)，其中，Ps中两点在同一区域内的判断方法为，在Pmask中与其相同坐标的两点的灰度值相同。

步骤10：提取统计特征量

计算四个特征值组成特征向量，分别为对比度(Contrast)、能量(角二阶矩ASM)、熵(Entropy)和灰度差均值(Mean)，公式如下：

$\mathrm{Contrast}=\underset{0}{\overset{255}{\mathrm{\Σ}}}{k}^2{P}_{\mathrm{\δ}}\left(k\right)$

$\mathrm{ASM}=\underset{0}{\overset{255}{\mathrm{\Σ}}}{\left\{P_{\mathrm{\δ}}\left(k\right)\right\}}^2$

$\mathrm{Entropy}=-\underset{0}{\overset{255}{\mathrm{\Σ}}}{P}_{\mathrm{\δ}}\left(k\right)\log \left\{P_{\mathrm{\δ}}\left(k\right)\right\}$

$\mathrm{Mean}=\underset{0}{\overset{255}{\mathrm{\Σ}}}k{P}_{\mathrm{\δ}}\left(k\right)$

最后对其进行归一化处理。

步骤11：对标准库进行人工语义描述与分类

首先对已有的标准库中的图像由医生或专家对其采用标准语义进行描述，包括病症名称、程度、位置等信息，该过程将会有专用的软件辅助医生或专家进行描述。然后对图像的区域按其描述语义进行分类，若某区域中无语义描述，则将其归为正常类别中。最后对所有的标准库中的图像进行分割并提取特征向量。本过程只进行一次，但其后可不断的增加类别。

步骤12：对输入图像进行分类与语义描述

对待描述图像的每个区域采用k-近邻法进行分类，其中k取值为(C+1)，C为标准库中的类别总数。为了提高k-近邻法的运行速度，在进行搜索之前，先对标准库的纹理特征向量集创建K维搜索树(K-D树)，统计搜索到最邻近的C+1幅图像所属的类别，将待描述图像划分到具有最多图像的类别中，如果这样的类别不止一个，则将其划分到多个类别中。采用所在类别的语义对其进行描述，以XML格式直接存储至DICOM文件中。

本发明的检索部分共分三种方式，具体实施如下：

(1)输入为文本信息

本方式输入信息由两部分组成，一部分是***给出范围，由用户进行选择，如位置信息等；另一部分是直接由用户输入检索关键词。将这两部分信息通过语义解析器转换为标准的文本信息，然后将其提交至常规的文本搜索引擎进行检索。

(2)输入为图像信息

本方式输入信息是一幅胸部X线图像，其检索流程如图5所示。首先判断示例图像是否已经提取过语义，即查看图像文件中是否存在语义描述，如果不存在，则要对输入图像执行本发明的语义提取与描述部分，将输入图像的语义提取出来，通过语义解析器转换为标准的文本信息，然后将其提交至常规的文本搜索引擎进行检索。

(3)输入为文本和图像的综合信息

本方式输入信息既包含文本信息，又包含图像信息，并且需要用户输入或选择这两类信息的逻辑关系(与、或等)与约束条件。首先对检索条件分别提取其语义描述，然后根据用户输入的逻辑关系与约束条件对这两类输入信息的语义描述进行合并形成新的语义描述，最后将其通过语义解析器转换为标准的文本信息并提交至常规的文本搜索引擎进行检索。

本发明语义提取与描述部分运行速度快，语义提取效率高，且每幅图像的语义特征均只执行一次，不做重复性工作。本发明的检索部分给用户提供了一个友好的人机交互界面，相对于传统检索，提供了更多的方便。

可以理解地是，以上关于本发明的具体描述，仅用于说明本发明而并非受限于本发明实施例所描述的技术方案，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换，以达到相同的技术效果；只要满足使用需要，都在本发明的保护范围之内。

Claims (1)

1.一种胸部X线图像检索方法，其特征在于，按如下步骤依次实施：

(1)输入胸部X线图像；在输入胸部X线图像的同时，加入文本信息；

(2)判断图像文件中是否存在语义描述，若是，则在所述图像文件中提取语义描述；若否，则对输入图像进行语义提取与描述；

(3)语义解析为标准文本信息；

(4)进行文本搜索；

(5)得到相似图像结果集；

所述语义提取与描述依次包括如下步骤：

(a₁)图像规范化；

(b₁)肺野分割；

(c₁)依据解剖学位置进行区域划分；

(d₁)纹理特征提取；

(e₁)将待描述图像进行语义映射与描述；

所述图像规范化依次包括如下步骤：

(a₂)压缩灰度级；

(b₂)去除头部、手臂等无关部分并规范为同等尺寸；

(c₂)去除噪声；

所述肺野分割依次包括如下步骤：

(a₃)建立肺野区域的形状模型；

(b₃)建立局部外观模型；

(c₃)搜索实际分割点；

所述区域划分依次包括如下步骤：

(a₄)确定区域划分点；

(b₄)生成区域划分蒙片；

所述纹理特征提取依次包括如下步骤：

(a₅)提取每个区域的灰度差分矩阵；

(b₅)提取统计特征量；

所述语义映射与描述依次包括如下步骤：

(a₆)对标准库进行人工语义描述与分类；

(b₆)对输入图像进行分类与语义描述；

所述建立肺野区域的形状模型中将标准分割库中每幅图像的标准分割点集看作一个向量

X＝[x₀，y₀，x₁，y₁，...x_n-1，y_n-1]^T

其中n为分割点的总数，x与y分别表示分割点的横纵坐标对标准库中M幅图像建立如下的形状模型：

$Y=\stackrel{\‾}{X}+\mathrm{Pb}$

其中P为M个X向量的协方差矩阵的特征向量所组成的矩阵，b是对输入的不同图像通过搜索迭代而得到的参数，Y表示活动形状；

所述建立局部外观模型中，取每一个分割点所在轮廓的法线方向的2k+1个点的梯度值作为该点的局部特征向量，所述法线方向由其相邻的两点确定，求出M个图像的局部特征向量的平均值。

Images