CN106846317B - 一种基于特征提取和相似匹配的医学影像检索方法 - Google Patents

一种基于特征提取和相似匹配的医学影像检索方法 Download PDF

Info

Publication number
CN106846317B
CN106846317B CN201710106121.8A CN201710106121A CN106846317B CN 106846317 B CN106846317 B CN 106846317B CN 201710106121 A CN201710106121 A CN 201710106121A CN 106846317 B CN106846317 B CN 106846317B
Authority
CN
China
Prior art keywords
image
target
outline
value
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710106121.8A
Other languages
English (en)
Other versions
CN106846317A (zh
Inventor
章桦
侯玉翎
李春阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Linking Medical Technology Co ltd
Original Assignee
Beijing Linking Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Linking Medical Technology Co ltd filed Critical Beijing Linking Medical Technology Co ltd
Priority to CN201710106121.8A priority Critical patent/CN106846317B/zh
Publication of CN106846317A publication Critical patent/CN106846317A/zh
Application granted granted Critical
Publication of CN106846317B publication Critical patent/CN106846317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征提取和相似匹配的医学影像检索方法，在放疗计划的流程中，图像配准是一项很重要的关键步骤。放疗计划中图像配准的应用目的是为了找到一个与目标图像最合适的模板图像，经匹配运算后可得到最佳配准结果，供临床靶区勾画、器官剂量模拟或治疗使用。因此，如何搜索到最合适的模板图像是相当重要的。在本方法中透过10个与形态相关的形态特征，结合病史信息，并给予这些特征不同的判别权重，最后选出10组最相近的图像及相关信息，提供给医生选择,经综合考虑下选择最合适的模板图像。经过本方法运算后，可以提供模板图像与目标图像的相似度保证，如此可以提高放疗计划中图像配准运算的适用性与精确度。

Description

一种基于特征提取和相似匹配的医学影像检索方法
技术领域
本发明涉及放疗计划的靶区勾画的配准样本提取方法，具体涉及一种基于特征提取和相似匹配的医学影像检索方法。
背景技术
随着计算机科学和信息技术的不断发展，医学成像技术也得到了迅速发展，各种新的成像设备不断涌现，如计算机断层成像(CT)、数字减影血管造影(DSA)、单光子发断层成像(SPECT)、磁共振成像(MRI)正电子发射断层成像(PET)等。各种成像技术和检查方法都有它的优势与不足，并非一种成像技术可以适用于对人体所有器官的检查和疾病诊断.也不是一种成像技术能取代另一种成像技术，而是相辅相成、相互补充。为了提高诊断正确率，需要综合利用患者的各种图像信息。目前医学图像学的一个明显的发展趋势，是利用信息融合技术，将多种医学图像结合起来，充分利用不同医学图像的特点，在一幅图像上同时表达来自人体的多方面信息，使人体内部的结构、功能等多方面的状况通过图像反映出来，从而更加直观地提供人体解剖、生理及病理等信息。要实现多图像信息融合，最主要的就是完成图像配准,即多幅图像在空间域中达到几何位置和解剖位置上的完全对应。
在放疗领域中，图像配准也是相当重要的课题。传统肿瘤放射治疗过程，是在治疗开始前，基于病人的定位CT，由医师手动来靶区勾画及危及器官，来生成放疗计划，然后在随后的治疗过程中保持放疗计划不变，对病人进行若干分次治疗。这样的治疗模式没有考虑到治疗过程中病人的解剖结构变化，比如肿瘤体积和位置的变化，病人身体轮廓的变化，胃肠充盈状态的变化以及引起的周围危及器官位置的变化等，导致病人实际接受的剂量偏离医生的处方剂量，进而引起肿瘤控制率的下降和正常组织并发症概率的增加。
配准应用在放疗计划中，就是要找到一个与目标图像最合适的模板图像，经匹配运算后可以得到最佳配准结果，供临床靶区勾画、器官剂量模拟或治疗使用。因此，如何搜索到最合适的模板图像应用在放疗计划的配准算法中，是相当重要的。配准运算结果越准确，可以使后续的靶区勾画或器官剂量模拟或临床治疗更精确。
近年来，随着科技的进步，图像配准应用已经逐渐导入放疗领域中，积极的应用在放疗领域中。目前在医学图像配准的发展上。基于DEMONS的理论来改良的图像配准方式，是目前的主流之一。但是不论应用何种图像配准方式，找寻最相近的样本来完成配准运算，绝对是事半功倍的方法。
发明内容
为了克服现有图像配准技术中存在的不足，本发明提供一种基于特征提取和相似匹配的医学影像检索方法，使临床在勾画靶区及危及器官时，应用图像配准技术可以处理里的更快更精确，很好地满足临床需要。
为实现上述目的，本发明提供一种基于特征提取和相似匹配的医学影像检索方法，包括以下步骤：
步骤1、读取病人的影像和病史资料，所述资料包括图像信息和文字信息；
步骤2、将步骤1所得到的资料进行预处理，分为图像预处理与文字预处理；
步骤2.1、图像预处理：将原始图像作转档、正规化、分割，提取目标信息；所述目标信息包括目标图像和目标图像轮廓；其中，若原始图像为2DDICOM图像，则直接进行转档；若原始图像为3D DICOM图像，则先将3DDICOM图像转换为2D DICOM图像组，然后进行转档；
步骤2.2、文字预处理：由病人的文字信息中，得到病人性别、年龄、疾病信息、疾病治病部位、病理与图像报告、先前是否做过放疗及是否有相关并发症；
步骤3、从步骤2.1预处理后的图像或图像组中，提取所需要的10个特征，建立该目标图像的图像ID；
10个特征分别如下：
特征1：2D图像组数量或帧数；
特征2：图像轮廓纵向最长轴；
特征3：图像轮廓横向最长轴；
特征4：取图像轮廓的bounding box纵向1/4处，图像轮廓的最长轴；
特征5：取图像轮廓的bounding box纵向1/2处，图像轮廓的最长轴；
特征6：取图像轮廓的bounding box纵向3/4处，图像轮廓的最长轴；
特征7：取图像轮廓的bounding box横向1/4处，图像轮廓的最长轴；
特征8：取图像轮廓的bounding box横向1/2处，图像轮廓的最长轴；
特征9：取图像轮廓的bounding box横向3/4处，图像轮廓的最长轴；
特征10：图像体积或面积；
步骤4、从步骤2.2预处理后的文字信息中，先经过初步筛选，找出相同的疾病，相同治疗部位的图像组；
步骤5、将步骤3所得到目标图像的图像ID与步骤4提取出的图像组中的所有图像ID做比对，首先比对特征1的相似度，找寻相似的图像组，不符合的则排除；
步骤6、将经由步骤5筛选后的图像组，再次与目标图像ID比对特征2-10的相似度，找寻相似的图像组，不符合的则排除；
步骤7、经由步骤6筛选出来的图像组分别与目标图像组计算图像相似度指标(SSIM)，比较数值越趋近1，则表示越相近，提取最相近的前10组图像，不符合的则排除；
步骤8、在医院***端中显示最相近的10组图像，供临床医师选择，结束。
作为本发明的进一步改进，所述图像信息包括CT图像、锥束CT图像、超声图像、MRI图像、PET图像和X-Ray图像；所述文字信息包括病人基本资料、相关病史、相关并发症、疾病类型、疾病治疗位置、病理及图像诊断报告信息。
作为本发明的进一步改进，所述步骤2.1包括：
步骤2.1.1、判别图像为2D DICOM图像或是3D DICOM图像，本发明中至少有其中之一种图像；
步骤2.1.2、若为3D DICOM图像，则转换档案为2D DICOM序列图像组；
步骤2.1.3、将2D DICOM图像或图像组转换成.bmp或是.jpeg格式；
步骤2.1.4、将图像做直方图均衡化，运算步骤如下：
a、对给定的待处理图像统计其直方图，求出：
Pr(rj)＝nj/N，j＝0,1,…,L-1 (1)
b、根据统计出的直方图采用累积分布函数作变换；
Figure BDA0001233095790000031
c、用新灰度代替旧灰度，求出Sk；
其中N为一幅图像中像素的总数；nj为第j级灰度的像素；Pr(rj)表示原始图像灰度级出现的概率分布；rk为第k个灰度级；T(rk)为建立输入图像与输出图像灰度级之间的对应关系，即新灰度级出现的概率，重新定位累计分布函数Sk；
步骤2.1.5、利用Otsu方法对步骤2.1.4的运算结果做自适应二值化图像，取得基本图像轮廓边缘；
步骤2.1.6、步骤2.1.5完成之后，将会初步分出目标图像基本轮廓；
步骤2.1.7、根据步骤2.1.6的图像基本轮廓，找出能包住图像的最小方形Bounding box，随后对图像做一次膨胀算法与腐蚀算法，可以得到目标图像完整轮廓边缘。
作为本发明的进一步改进，在步骤2.1.5中：
Otsu方法又叫大津法，其在计算过程中不论图像的直方图有无明显的双峰，都能得到记f(i,j)为MxN图像(i,j)点处的灰度值；
假设f(i,j)取值[0,m-1]，记p(k)为灰度值k的频率，则有：
Figure BDA0001233095790000041
假设用灰度值t为阈值分割出的目标与背景分别为：{f(i,j)≦t}和{f(i,j)>t}，
于是目标部分比例：ω0(t)＝∑0≤i≤tp(i) (4)
目标部分点数：N0(t)＝MN∑0≤i≤tp(i) (5)
背景部分比例：ω1(t)＝∑t≤i≤m-1p(i) (6)
背景部分点数：N1(t)＝MN∑t≤i≤m-1p(i) (7)
目标均值：μ0(t)＝∑0≤i≤tip(i)/ω0(t) (8)
背景均值：μ1(t)＝∑t≤i≤m-1ip(i)/ω1(t) (9)
总均值：μ＝ω0(t)μ0(t)+ω1(t)μ1(t) (10)
大津法指出求图像最佳阈值g的公式为：
Figure BDA0001233095790000042
该式右边括号内实际上就是类间方差值，阈值g分割出的目标和背景两部分构成了整幅图像，而目标值μ0(t)，概率为ω1(t)，背景取值μ1(t)，概率为ω0(t)，总均值为μ，根据方差的定义即得该式。
作为本发明的进一步改进，所述步骤5中的筛选阈值为95％或90％或85％或80％或75％。
作为本发明的进一步改进，所述步骤6中的筛选阈值为95％或90％或85％或80％或75％。
作为本发明的进一步改进，在步骤7中：
给定两个图像分别定义为x和y，两张图像的结构相似性可按照以下方式求出：
Figure BDA0001233095790000051
其中μx是x的平均值，μy是y的平均值，
Figure BDA0001233095790000052
是x的差，
Figure BDA0001233095790000053
是y的方差，σxy是x和y的协方差；C1＝(K1L)2，C2＝(K2L)2是用来维持稳定的常数，L是像素值的动态范围，K1＝0.01,K2＝0.03，结构相似性的范围为-1到1；当两张图像一模一样时，SSIM的值等于1。
作为本发明的进一步改进，所述步骤7中的筛选阈值为最趋近1的数值。
作为本发明的进一步改进，所述步骤2中的预处理、所述步骤3中图像的特征ID提取、所述步骤4中图像文字信息的筛选、所述步骤5、所述步骤6、所述步骤7中的快速筛选比对算法、是通过基于GPU、CPU或分布式云计算平台实现的。
与现有技术相比，本发明的有益效果为：
本发明提供了一种基于特征提取和相似匹配的医学影像检索方法，应用于放疗勾画配准领域的方法；在放疗计划中配准的应用就是要找到一个与目标图像最合适的模板图像，经匹配运算得到最佳配准结果后，供临床靶区勾画、器官剂量模拟或治疗使用。因此，如何搜索到最合适的模板图像是相当重要的。在本方法中通过10个与形态相关的形状特征，结合病史信息，并给予这些特征不同的判别权重，最后选出最相近的10组图像及其相关信息(10组图像中将包含男性、女性、孩童、老人等综合选项)，提供给医生选择，经综合考虑下选择最合适的模板图像。经过本方法运算后的图像，可以提供图像的相似度保证，如此可以提高放疗计划中配准运算的适用性与精确度，很好地满足临床需要。
本发明通过基于GPU加速的算法，找寻最相似的配准样本图像，是为了实现在临床放疗中，病人躺倒在病床上之后的几分钟之内完成配准与剂量模拟验证。本发明效率高，节约时间及人力成本，很好的满足了临床需要，可在临床上推广应用，具有显着的社会意义。
附图说明
图1为本发明一种实施例公开的基于特征提取和相似匹配的医学影像检索方法的流程图；
图2为图1中步骤3的特征提取说明图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明公开了一种基于特征提取和相似匹配的医学影像检索方法，应用于放疗靶区勾画配准领域。在放疗计划的流程中，图像配准是一项很重要的关键步骤。放疗计划中图像配准的应用目的是为了找到一个与目标图像最合适的模板图像，经匹配运算后可得到最佳配准结果，供临床靶区勾画、器官剂量模拟或治疗使用。因此，如何搜索到最合适的模板图像是相当重要的。在本方法中透过10个与形态相关的形态特征，结合病史信息，并给予这些特征不同的判别权重，最后选出10组最相近的图像及相关信息，提供给医生选择,经综合考虑下选择最合适的模板图像。经过本方法运算后，可以提供模板图像与目标图像的相似度保证，如此可以提高放疗计划中图像配准运算的适用性与精确度。
下面结合附图对本发明做进一步的详细描述：
如图1所示，本发明提供一种基于特征提取和相似匹配的医学影像检索方法，其包括以下步骤：
步骤1、读取病人的影像和病史资料，资料包括图像信息和文字信息；图像信息包括CT图像、锥束CT图像、超声图像、MRI图像、PET图像和X-Ray图像；文字信息包括病人基本资料、相关病史、相关并发症、疾病类型、疾病治疗位置、病理及图像诊断报告信息。
步骤2、将步骤1所得到的资料进行预处理，具体分为图像预处理与文字预处理；
步骤2.1、图像预处理：将原始图像(一般为DICOM图像格式)做转档，图像正规化，图像分割，最后提取出目标图像与其相关图像信息，对于图像拍摄不规范的图像(组)或是有图像质量问题的图像(组)，将自动判断保留或删除；其中，若原始图像为2D DICOM图像，则直接进行转档；若原始图像为3D DICOM图像，则先将3D DICOM图像转换为2D DICOM图像组，然后进行转档；其中：
步骤2.1.1、判别原始图像为2D DICOM图像或是3D DICOM图像，本发明中至少有其中之一种图像；
步骤2.1.2、若为3D DICOM图像，则转换档案为2D DICOM序列图像组；
步骤2.1.3、将2D DICOM图像或图像组转换成.bmp或是.jpeg格式，便于后续图像处理，本发明中至少转换成其中之一种；
步骤2.1.4、将图像做直方图均衡化，运算步骤如下：
a、对给定的待处理图像统计其直方图，求出：
Pr(rj)＝nj/N，j＝0,1,…,L-1 (1)
b、根据统计出的直方图采用累积分布函数作变换；
Figure BDA0001233095790000071
c、用新灰度代替旧灰度，求出Sk；
其中N为一幅图像中像素的总数；nj为第j级灰度的像素；Pr(rj)表示原始图像灰度级出现的概率分布；rk为第k个灰度级；T(rk)为建立输入图像与输出图像灰度级之间的对应关系，即新灰度级出现的概率，重新定位累计分布函数Sk；
步骤2.1.5、利用Otsu方法对步骤2.1.4的运算结果做自适应二值化图像，取得基本图像轮廓边缘，包括如下步骤：
Otsu方法是一种全局化的动态二值化方法，又叫大津法，还称为最大类间差发，是基于整幅图像的统计征，实现阈值的自动选取。其原理是把图像直方图用某一灰度值分割成两类，分别计算这两类的像素点数和灰度平均值，然后计算它们的类间方差。当被分割成的两类间方差最大时，此灰度值就作为图像二值化处理的阈值。大津法的使用范围比较广，不论图像的直方图有无明显的双峰，都能得到记f(i,j)为MxN图像(i,j)点处的灰度值；
假设f(i,j)取值[0,m-1]，记p(k)为灰度值k的频率，则有：
Figure BDA0001233095790000081
假设用灰度值t为阈值分割出的目标与背景分别为：{f(i,j)≦t}和{f(i,j)>t}，
于是目标部分比例：ω0(t)＝∑0≤i≤tp(i) (4)
目标部分点数：N0(t)＝MN∑0≤i≤tp(i) (5)
背景部分比例：ω1(t)＝∑t≤i≤m-1p(i) (6)
背景部分点数：N1(t)＝MN∑t≤i≤m-1p(i) (7)
目标均值：μ0(t)＝∑0≤i≤tip(i)/ω0(t) (8)
背景均值：μ1(t)＝∑t≤i≤m-1ip(i)/ω1(t) (9)
总均值：μ＝ω0(t)μ0(t)+ω1(t)μ1(t) (10)
大津法指出求图像最佳阈值g的公式为：
Figure BDA0001233095790000082
该式右边括号内实际上就是类间方差值，阈值g分割出的目标和背景两部分构成了整幅图像，而目标值μ0(t)，概率为ω1(t)，背景取值μ1(t)，概率为ω0(t)，总均值为μ，根据方差的定义即得该式；因方差是灰度分布均匀性的一种度量，方差值越大，说明构成图像的两部分差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小，因此使类间方差最大的分割意味着错分概率最小。
步骤2.1.6、步骤2.1.5完成之后，将会初步分出目标图像基本轮廓；
步骤2.1.7、根据步骤2.1.6的图像基本轮廓，找出Bounding box，也就是最小能包住图像的方形，随后对图像做一次膨胀算法(dilation)与腐蚀(erosion)算法，可以得到目标图像完整轮廓边缘；在提取Bounding box需特别注意起始位置的图像，若图像Boundingbox的面积小于一定的大小，则判断此图有定位异常的问题，予以删除。
步骤2.2、文字预处理：由病人的文字资料信息中，得到病人性别，年龄，肿瘤类型，治疗部位，病理与图像报告，先前是否做过放疗，是否有相关并发症…等相关信息；其中目标肿瘤信息与肿瘤部位的信息将会应用在资料库的图像ID筛选；而病人性别，年龄，病理与图像报告等相关信息将会应用在步骤8；
步骤3、从步骤2.1预处理后的图像或图像组中，提取所需要的10个特征，建立该目标图像的图像ID；
如图2所示，10个特征分别如下：
特征1：2D图像组数量或帧数；
特征2：图像轮廓纵向最长轴；
特征3：图像轮廓横向最长轴；
特征4：取图像轮廓的bounding box纵向1/4处，图像轮廓的最长轴；
特征5：取图像轮廓的bounding box纵向1/2处，图像轮廓的最长轴；
特征6：取图像轮廓的bounding box纵向3/4处，图像轮廓的最长轴；
特征7：取图像轮廓的bounding box横向1/4处，图像轮廓的最长轴；
特征8：取图像轮廓的bounding box横向1/2处，图像轮廓的最长轴；
特征9：取图像轮廓的bounding box横向3/4处，图像轮廓的最长轴；
特征10：图像体积或面积；
步骤4、从步骤2.2预处理后的文字信息中，先找出相同的疾病，相同治疗部位的图像组；先将此信息送入资料库中做初步筛选，找出相同的疾病，相同治疗部位的图像组，最后提出符合的图像组；
步骤5、将步骤3所得到目标图像的图像ID与步骤4提取出的图像组中的所有图像ID做比对，主要比对特征1的相似度，由于临床上图像拍摄时，对于每个部位或器官都有规定的拍摄图像间距标准，因此，此参数可用来作为初步评断目标结构大小的特征标准；找寻资料库中图像特征ID与目标图像特征ID相似的图像组，不符合的则排除；其中，筛选阈值为95％或90％或85％或80％或75％，优选筛选阈值为95％，即找寻资料库中图像特征ID与目标图像特征ID相似度>95％以上的图像组；
步骤6、将经由步骤5筛选后的图像组，再次与目标图像ID比对特征2-10的相似度，找寻相似的图像组，不符合的则排除；其中，筛选阈值为95％或90％或85％或80％或75％，优选筛选阈值为95％，即找寻相似度>95％以上的图像组；
步骤7、将经由步骤6筛选后符合资格的图像组，分别与目标图像组计算图像相似度指标(SSIM)，比较数值，其筛选阈值为最趋近1的10个数值，越趋近1则表示越相近，提取最相近的前10组图像，不符合的则排除；
给定两个图像分别定义为x和y，两张图像的结构相似性可按照以下方式求出：
Figure BDA0001233095790000101
其中μx是x的平均值，μy是y的平均值，
Figure BDA0001233095790000102
是x的差，
Figure BDA0001233095790000103
是y的方差，σxy是x和y的协方差；C1＝(K1L)2，C2＝(K2L)2是用来维持稳定的常数，L是像素值的动态范围，K1＝0.01,K2＝0.03，结构相似性的范围为-1到1；当两张图像一模一样时，SSIM的值等于1。
步骤8、在医院***端中显示最相近的10组图像，并显示其相关基本信息，如:年龄、性别，病史等相关信息，提供给临床医师做配准模板图像的选取参考，结束。
优选的，本发明步骤2中的预处理、步骤3中图像的特征ID提取、步骤4中图像文字信息的筛选、步骤5、步骤6、步骤7中的快速筛选比对算法、是通过基于GPU、CPU或分布式云计算平台实现的。
本发明提供了一种基于特征提取和相似匹配的医学影像检索方法，应用于放疗勾画配准领域的方法；在放疗计划中配准的应用就是要找到一个与目标图像最合适的模板图像，经匹配运算得到最佳配准结果后，供临床靶区勾画、器官剂量模拟或治疗使用。因此，如何搜索到最合适的模板图像是相当重要的。在本方法中通过10个与形态相关的形状特征，结合病史信息，并给予这些特征不同的判别权重，最后选出最相近的10组图像及其相关信息(10组图像中将包含男性、女性、孩童、老人等综合选项)，提供给医生选择，经综合考虑下选择最合适的模板图像。经过本方法运算后的图像，可以提供图像的相似度保证，如此可以提高放疗计划中配准运算的适用性与精确度，很好地满足临床需要。
本发明通过基于GPU加速的算法，找寻最相似的配准样本图像，是为了实现在临床放疗中，病人躺倒在病床上之后的几分钟之内完成配准与剂量模拟验证。本发明效率高，节约时间及人力成本，很好的满足了临床需要，可在临床上推广应用，具有显着的社会意义。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于特征提取和相似匹配的医学影像检索方法，其特征在于，包括以下步骤：
步骤1、读取病人的影像和病史资料，所述资料包括图像信息和文字信息；
步骤2、将步骤1所得到的资料进行预处理，分为图像预处理与文字预处理；
步骤2.1、图像预处理：将原始图像作图像格式转换、直方图均衡化、分割，提取目标信息；所述目标信息包括目标图像和目标图像轮廓；其中，若原始图像为2DDICOM图像，则直接进行图像格式转换；若原始图像为3DDICOM图像，则先将3DDICOM图像转换为2DDICOM图像组，然后进行图像格式转换；
步骤2.2、文字预处理：由病人的文字信息中，得到病人性别、年龄、疾病信息、疾病治病部位、病理与图像报告、先前是否做过放疗及是否有相关并发症；
步骤3、从步骤2.1预处理后的图像或图像组中，提取所需要的10个特征，作为该目标图像的图像ID；
10个特征分别如下：
特征1：2D图像组数量或帧数；
特征2：图像轮廓纵向最长轴；
特征3：图像轮廓横向最长轴；
特征4：取图像轮廓的bounding box纵向1/4处，图像轮廓的最长轴；
特征5：取图像轮廓的bounding box纵向1/2处，图像轮廓的最长轴；
特征6：取图像轮廓的bounding box纵向3/4处，图像轮廓的最长轴；
特征7：取图像轮廓的bounding box横向1/4处，图像轮廓的最长轴；
特征8：取图像轮廓的bounding box横向1/2处，图像轮廓的最长轴；
特征9：取图像轮廓的bounding box横向3/4处，图像轮廓的最长轴；
特征10：图像体积或面积；
步骤4、从步骤2.2预处理后的文字信息中，先经过初步筛选，找出相同的疾病，相同治疗部位的图像组；
步骤5、将步骤3所得到目标图像的图像ID与步骤4提取出的图像组中的所有图像ID做比对，首先比对特征1的相似度，找寻相似的图像组，不符合的则排除；
步骤6、将经由步骤5筛选后的图像组，再次与目标图像ID比对特征2-10的相似度，找寻相似的图像组，不符合的则排除；
步骤7、经由步骤6筛选出来的图像组分别与目标图像组计算图像相似度指标(SSIM)，比较数值越趋近1，则表示越相近，提取最相近的前10组图像，不符合的则排除；
步骤8、在医院***端中显示最相近的10组图像，供临床医师选择，结束。
2.如权利要求1所述的基于特征提取和相似匹配的医学影像检索方法，其特征在于，所述图像信息包括CT图像、锥束CT图像、超声图像、MRI图像、PET图像和X-Ray图像；所述文字信息包括病人基本资料、相关病史、相关并发症、疾病类型、疾病治疗位置、病理及图像诊断报告信息。
3.如权利要求1所述的基于特征提取和相似匹配的医学影像检索方法，其特征在于，所述步骤2.1包括：
步骤2.1.1、判别图像为2DDICOM图像或是3DDICOM图像，本发明中至少有其中之一种图像；
步骤2.1.2、若为3DDICOM图像，则转换档案为2DDICOM序列图像组；
步骤2.1.3、将2DDICOM图像或图像组转换成.bmp或是.jpeg格式；
步骤2.1.4、将图像做直方图均衡化，运算步骤如下：
a、对给定的待处理图像统计其直方图，求出：
Pr(rj)＝nj/N，j＝0,1,…,L-1 (1)
b、根据统计出的直方图采用累积分布函数作变换；
Figure FDA0003198589450000021
c、用新灰度代替旧灰度，求出Sk；
其中N为一幅图像中像素的总数；nj为第j级灰度的像素；Pr(rj)表示原始图像灰度级出现的概率分布；rk为第k个灰度级；T(rk)为建立输入图像与输出图像灰度级之间的对应关系，即新灰度级出现的概率，重新定位累计分布函数Sk；
步骤2.1.5、利用Otsu方法对步骤2.1.4的运算结果做自适应二值化图像，取得基本图像轮廓边缘；
步骤2.1.6、步骤2.1.5完成之后，将会初步分出目标图像基本轮廓；
步骤2.1.7、根据步骤2.1.6的图像基本轮廓，找出能包住图像的最小方形Boundingbox，随后对图像做一次膨胀算法与腐蚀算法，可以得到目标图像完整轮廓边缘。
4.如权利要求3所述的基于特征提取和相似匹配的医学影像检索方法，其特征在于，在步骤2.1.5中：
Otsu方法又叫大津法，其在计算过程中不论图像的直方图有无明显的双峰，都能得到记f(i,j)为MxN图像(i,j)点处的灰度值；
假设f(i,j)取值[0,m-1]，记p(k)为灰度值k的频率，则有：
Figure FDA0003198589450000031
假设用灰度值t为阈值分割出的目标与背景分别为：{f(i,j)≦t}和{f(i,j)>t}，
于是目标部分比例：ω0(t)＝∑0≤i≤tp(i) (4)
目标部分点数：N0(t)＝MN∑0≤i≤tp(i) (5)
背景部分比例：ω1(t)＝∑t≤i≤m-1p(i) (6)
背景部分点数：N1(t)＝MN∑t≤i≤m-1p(i) (7)
目标均值：μ0(t)＝∑0≤i≤tip(i)/ω0(t) (8)
背景均值：μ1(t)＝∑t≤i≤m-1ip(i)/ω1(t) (9)
总均值：μ＝ω0(t)μ0(t)+ω1(t)μ1(t) (10)
大津法指出求图像最佳阈值g的公式为：
Figure FDA0003198589450000032
该式右边括号内实际上就是类间方差值，阈值g分割出的目标和背景两部分构成了整幅图像，而目标值μ0(t)，概率为ω1(t)，背景取值μ1(t)，概率为ω0(t)，总均值为μ，根据方差的定义即得该式。
5.如权利要求1所述的基于特征提取和相似匹配的医学影像检索方法，其特征在于，所述步骤5中的筛选阈值为95％或90％或85％或80％或75％。
6.如权利要求1所述的基于特征提取和相似匹配的医学影像检索方法，其特征在于，所述步骤6中的筛选阈值为95％或90％或85％或80％或75％。
7.如权利要求1所述的基于特征提取和相似匹配的医学影像检索方法，其特征在于，在步骤7中：
给定两个图像分别定义为x和y，两张图像的结构相似性可按照以下方式求出：
Figure FDA0003198589450000041
其中μx是x的平均值，μy是y的平均值，
Figure FDA0003198589450000042
是x的差，
Figure FDA0003198589450000043
是y的方差，σxy是x和y的协方差；C1＝(K1L)2，C2＝(K2L)2是用来维持稳定的常数，L是像素值的动态范围，K1＝0.01,K2＝0.03，结构相似性的范围为-1到1；当两张图像一模一样时，SSIM的值等于1。
8.如权利要求1所述的基于特征提取和相似匹配的医学影像检索方法，其特征在于，所述步骤7中的筛选阈值为最趋近1的数值。
9.如权利要求1所述的基于特征提取和相似匹配的医学影像检索方法，其特征在于，所述步骤2中的预处理、所述步骤3中图像的特征ID提取、所述步骤4中图像文字信息的筛选、所述步骤5、所述步骤6、所述步骤7中的快速筛选比对算法、是通过基于GPU、CPU或分布式云计算平台实现的。
CN201710106121.8A 2017-02-27 2017-02-27 一种基于特征提取和相似匹配的医学影像检索方法 Active CN106846317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710106121.8A CN106846317B (zh) 2017-02-27 2017-02-27 一种基于特征提取和相似匹配的医学影像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710106121.8A CN106846317B (zh) 2017-02-27 2017-02-27 一种基于特征提取和相似匹配的医学影像检索方法

Publications (2)

Publication Number Publication Date
CN106846317A CN106846317A (zh) 2017-06-13
CN106846317B true CN106846317B (zh) 2021-09-17

Family

ID=59134147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710106121.8A Active CN106846317B (zh) 2017-02-27 2017-02-27 一种基于特征提取和相似匹配的医学影像检索方法

Country Status (1)

Country Link
CN (1) CN106846317B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688787B (zh) * 2017-09-01 2020-09-29 宜宾学院 基于Gabor小波的近端指间关节纹路识别方法
CN107679219B (zh) * 2017-10-19 2021-05-11 广州视睿电子科技有限公司 匹配方法及装置、交互智能平板及存储介质
US10510145B2 (en) 2017-12-27 2019-12-17 Industrial Technology Research Institute Medical image comparison method and system thereof
CN108921828B (zh) * 2018-06-15 2022-04-22 湖南科技大学 一种复杂场景下不显著焊缝识别方法
CN109101525A (zh) * 2018-06-19 2018-12-28 黑龙江拓盟科技有限公司 一种基于图像对比识别的医疗图像比对方法
CN109166108B (zh) * 2018-08-14 2022-04-08 上海融达信息科技有限公司 一种ct影像肺部异常组织的自动识别方法
CN109934934B (zh) * 2019-03-15 2023-09-29 广州九三致新科技有限公司 一种基于增强现实的医疗图像显示方法及装置
CN110349652B (zh) * 2019-07-12 2022-02-22 之江实验室 一种融合结构化影像数据的医疗数据分析***
CN112395441A (zh) * 2019-08-14 2021-02-23 杭州海康威视数字技术股份有限公司 对象检索的方法和装置
CN112206063A (zh) * 2020-09-01 2021-01-12 广东工业大学 一种多模态多角度牙科种植体配准方法
CN112508773B (zh) * 2020-11-20 2024-02-09 小米科技(武汉)有限公司 图像处理方法及装置、电子设备、存储介质
CN112950623A (zh) * 2021-03-29 2021-06-11 云印技术(深圳)有限公司 一种唛头识别方法及***
CN115938591B (zh) * 2023-02-23 2023-05-09 福建自贸试验区厦门片区Manteia数据科技有限公司 基于放疗的剂量分布区间确定装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101373479A (zh) * 2008-09-27 2009-02-25 华中科技大学 一种乳腺x线摄片计算机图像检索方法及***
CN102306239A (zh) * 2011-07-22 2012-01-04 李宝生 基于锥形束ct图像ct值校正技术的放疗剂量评估和优化方法
CN102509286A (zh) * 2011-09-28 2012-06-20 清华大学深圳研究生院 一种医学图像目标区域勾画方法
CN103247046A (zh) * 2013-04-19 2013-08-14 深圳先进技术研究院 一种放射治疗计划中靶区自动勾画的方法和装置
CN103345746A (zh) * 2013-06-25 2013-10-09 上海交通大学 基于ct-pet的医学影像诊断方法
CN104036109A (zh) * 2014-03-14 2014-09-10 上海大图医疗科技有限公司 基于图像的病例检索、勾画及治疗计划***和方法
CN104117151A (zh) * 2014-08-12 2014-10-29 章桦 一种在线自适应放疗计划优化方法
CN104338240A (zh) * 2014-10-31 2015-02-11 章桦 一种在线自适应放疗计划自动优化方法及装置
CN105956198A (zh) * 2016-06-20 2016-09-21 东北大学 一种基于病灶位置与内容的乳腺图像检索***及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406844B2 (en) * 2002-03-06 2013-03-26 Tomotherapy Incorporated Method for modification of radiotherapy treatment delivery

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101373479A (zh) * 2008-09-27 2009-02-25 华中科技大学 一种乳腺x线摄片计算机图像检索方法及***
CN102306239A (zh) * 2011-07-22 2012-01-04 李宝生 基于锥形束ct图像ct值校正技术的放疗剂量评估和优化方法
CN102509286A (zh) * 2011-09-28 2012-06-20 清华大学深圳研究生院 一种医学图像目标区域勾画方法
CN103247046A (zh) * 2013-04-19 2013-08-14 深圳先进技术研究院 一种放射治疗计划中靶区自动勾画的方法和装置
CN103345746A (zh) * 2013-06-25 2013-10-09 上海交通大学 基于ct-pet的医学影像诊断方法
CN104036109A (zh) * 2014-03-14 2014-09-10 上海大图医疗科技有限公司 基于图像的病例检索、勾画及治疗计划***和方法
CN104117151A (zh) * 2014-08-12 2014-10-29 章桦 一种在线自适应放疗计划优化方法
CN104338240A (zh) * 2014-10-31 2015-02-11 章桦 一种在线自适应放疗计划自动优化方法及装置
CN105956198A (zh) * 2016-06-20 2016-09-21 东北大学 一种基于病灶位置与内容的乳腺图像检索***及方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Contour Propagation Using Feature-Based Deformable Registration for Lung Cancer;Yuhan Yang等;《Hindawi》;20131231;第1-9页 *
Effect of compressed sensing reconstruction on target and organ delineation in cone-beam CT of head-and-neck and breast cancer patients;Hua Zhang等;《Radiotherapy and Oncology》;20140804;第413-417页 *
Eliana M.V＇asquez Osorio B.Sc.等.A Novel Flexible Framework with Automatic Feature Corresp ondence Optimization for Non-Rigid Registration in Radiotherapy.《Medical Physics》.2009, *
Target delineation in post-operative radiotherapy of brain gliomas:Interobserver variability and impact of image registration of MR(pre-operative) images on treatment planning CT scans;Giovanni Mauro Cattaneo等;《Radiotherapy and Oncology》;20051231;第217-223页 *
医学图像融合在***癌调强放疗靶区勾画中的应用研究;胡玉兰;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20140315(第3期);E072-414 *
图像配准技术在图像引导放疗中的应用;袁峥玺等;《中国医学物理学杂志》;20120930;第3628-3631页 *
基于SIFT的三维特征提取及其在医学影像配准中的应用;张瑞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150615(第6期);I138-459 *
基于形变配准的交互式靶区勾画***的设计与实现;王远瑞;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20140415(第4期);I138-607 *

Also Published As

Publication number Publication date
CN106846317A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN106846317B (zh) 一种基于特征提取和相似匹配的医学影像检索方法
US10467757B2 (en) System and method for computer aided diagnosis
Wu et al. Automatic liver segmentation on volumetric CT images using supervoxel‐based graph cuts
EP3432784B1 (en) Deep-learning-based cancer classification using a hierarchical classification framework
Li et al. Dilated-inception net: multi-scale feature aggregation for cardiac right ventricle segmentation
US9218661B2 (en) Image analysis for specific objects
Zhang et al. Intelligent scanning: Automated standard plane selection and biometric measurement of early gestational sac in routine ultrasound examination
Liu et al. Automatic whole heart segmentation using a two-stage u-net framework and an adaptive threshold window
CN111008984A (zh) 医学影像中正常器官的轮廓线自动勾画方法及***
US20210225000A1 (en) Method and device for stratified image segmentation
US9727975B2 (en) Knowledge-based automatic image segmentation
US12039717B2 (en) Region dividing device, method, and program, similarity determining apparatus, method, and program, and feature quantity deriving apparatus, method, and program
Liu et al. A fully automatic segmentation algorithm for CT lung images based on random forest
Depeursinge et al. 3D lung image retrieval using localized features
CN112270676A (zh) 一种mri图像子宫内膜癌肌层浸润深度计算机辅助判断方法
US11854190B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
Kaur et al. Optimized multi threshold brain tumor image segmentation using two dimensional minimum cross entropy based on co-occurrence matrix
Artzi et al. Automatic segmentation, classification, and follow‐up of optic pathway gliomas using deep learning and fuzzy c‐means clustering based on MRI
US20200175674A1 (en) Quantified aspects of lesions in medical images
Tong et al. Automatic lumen border detection in IVUS images using dictionary learning and kernel sparse representation
Edwin et al. Liver and tumour segmentation from abdominal CT images using adaptive threshold method
Jalab et al. Fractional Renyi entropy image enhancement for deep segmentation of kidney MRI
Xu et al. Improved cascade R-CNN for medical images of pulmonary nodules detection combining dilated HRNet
Memiş et al. Computerized 2D detection of the multiform femoral heads in magnetic resonance imaging (MRI) sections with the integro-differential operator
Anwar et al. Segmentation of liver tumor for computer aided diagnosis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant