手部兴趣区域的提取方法及装置
技术领域
本发明涉及图像处理领域,具体涉及一种手部兴趣区域的提取方法及装置。
背景技术
长期以来,风湿性关节炎等关节类疾病严重危害着人们的健康,严重的关节类疾病将会导致关节活动功能减退,甚至丧失。其中,手部关节则是出现风湿性关节炎等疾病的主要部位之一。因此,如何快速、准确地诊断手部关节类疾病成为人们越来越关注的问题。
在实际应用中,可以通过现有的成像技术获取人体某个部位的图像,比如,手部图像。然而,无论所获取的图像是二维还是三维图像,往往只有某些区域是起决定性作用的,这些起决定性作用的区域可以称作兴趣区域。快速、准确地提取兴趣区域,有利于相应部位疾病的诊断。
随着计算机技术的发展,出现了对人体除手部以外的其他部位的兴趣区域的提取技术,比如,***、肾脏等部位。然而,由于人体的不同部位具有不同的结构特点,上述提取技术并不适用于手部兴趣区域的提取。
在现有的手部关节类疾病的临床诊断中,兴趣区域提取仍然主要靠医生手工选取,一方面,这一过程会耗费很多的时间;另一方面,兴趣区域选取的准确性在很大程度上依赖于医生的经验,造成选取结果的不稳定。
发明内容
本发明实施例解决的问题是快速、准确地提取手部的兴趣区域。
为解决上述问题,本发明实施例提供一种手部兴趣区域的提取方法,所述方法包括:
从手部图像中提取手部轮廓;
从已提取的手部轮廓中提取用于表现所述手部轮廓特征的特征点,所述特征点包括:常规特征点和辅助特征点;
根据所述常规特征点或者所述常规特征点和所述辅助特征点,提取所述手部兴趣区域。
可选地,从已提取的手部轮廓中提取用于表现所述手部轮廓特征的常规特征点,包括:以所述手部轮廓中曲率最大的11个特征点为所述常规特征点。
可选地,所述11个特征点包括:5个指尖点,4个指间点以及2个腕部点。
可选地,所述辅助特征点包括:用于表现所述手部轮廓特征的第一辅助特征点以及第二辅助特征点,其中,
所述第一辅助特征点为:以所述手部图像中的食指和中指之间的指间点为起点的射线与手部边缘的交点,所述射线与食指的长度方向垂直;
所述第二辅助特征点为:以所述手部图像中的无名指和小指之间的指间点为起点的射线与手部边缘的交点,所述射线与小指的长度方向垂直。
可选地,所提取的所述兴趣区域为圆形。
可选地,所述根据所述常规特征点或者所述常规特征点和所述辅助特征点,提取手部兴趣区域,包括:
根据所述常规特征点或者所述常规特征点和所述辅助特征点确定所述手部的关节的旋转中心以及凹面中心;
将以所述旋转中心和凹面中心连线的中点为圆心,以与所述手指的长度的比值等于第一预设比例的长度为直径的圆形区域作为所述手部的兴趣区域。
可选地,所述根据所述常规特征点或者所述常规特征点和所述辅助特征点确定所述手部关节的旋转中心以及凹面中心,包括:
确定两个所述腕部常规特征点的中点,以所述中点为第一中点;
确定任一手指上除所述手指指尖的常规特征点以外的两特征点的中点,以所述中点为第二中点;
将至所述第二中点的距离与所述第一中点至所述第二中点的距离的比值等于第二预设比例的第一点作为所述旋转中心,以及将至所述第二中点的距离与所述第一中点至所述第二中点的距离的比值等于第三预设比例的第二点作为所述凹面中心,所述旋转中心以及所述凹面中心均在所述第一中点与所述第二中点之间的线段上。
可选地,在从所述手部图像中提取手部轮廓之前,还包括:对所述手部图像进行预处理。
可选地,从预处理后的手部图像中提取所述手部轮廓,包括:
对所述预处理后的手部图像进行边缘检测,获取最终的边缘图像;
对所述边缘图像进行区域整合,获得最大连通区域以及所述最大连通区域外的像素点;
提取整合后的所述边缘图像的主要区域;
对已提取的主要区域进行形态闭合,以获得所述手部轮廓。
可选地,对预处理后的手部图像进行Canny边缘检测,并采用漫水填充算法对获取到的边缘图像进行区域整合。
本发明的实施例还提供了一种手部兴趣区域的提取装置,所述装置包括:
第一提取单元,用于从手部图像中提取手部轮廓;
第二提取单元,用于从已提取的手部轮廓中提取用于表现所述手部轮廓特征的特征点,所述特征点包括:常规特征点和辅助特征点;
第三提取单元,用于根据所述常规特征点或者所述常规特征点和所述辅助特征点,提取所述手部兴趣区域。
可选地,所述第二提取单元提取的常规特征点为:所述手部轮廓中曲率最大的11个特征点。
可选地,所述11个特征点包括:5个指尖点,4个指间点以及2个腕部点。
可选地,所述辅助特征点包括:用于表现所述手部轮廓特征的第一辅助特征点以及第二辅助特征点,其中,
所述第一辅助特征点为:以所述手部图像中的食指和中指之间的指间点为起点的射线与手部边缘的交点,所述射线与食指长度方向垂直;
所述第二辅助特征点为:以所述手部图像中的无名指和小指之间的指间点为起点的射线与手部边缘的交点,所述射线与小指的长度方向垂直。
可选地,所述第三提取单元包括:
第一确定子单元,用于根据所述常规特征点或者所述常规特征点和所述辅助特征点确定所述手部的关节的旋转中心以及凹面中心;
第二确定子单元,用于将以所述旋转中心和凹面中心连线的中点为圆心,以与所述手指的长度的比值等于第一预设比例的长度为直径的圆形区域作为所述手部的兴趣区域。
可选地,所述第一确定子单元包括:
第一确定模块,用于确定两个所述腕部常规特征点的中点,以所述中点为第一中点;
第二确定模块,用于确定任一手指上除所述手指指尖的常规特征点以外的两特征点的中点,以所述中点为第二中点;
第三确定模块,用于将至所述第二中点的距离与所述第一中点至所述第二中点的距离的比值等于第二预设比例的第一点作为所述旋转中心,以及将至所述第二中点的距离与所述第一中点至所述第二中点的距离的比值等于第三预设比例的第二点作为所述凹面中心,所述旋转中心以及所述凹面中心均在所述第一中点与所述第二中点之间的线段上。
可选地,所述装置还包括:预处理单元,用于对所述手部图像进行预处理。
可选地,所述第一提取单元包括:
边缘检测子单元,用于对预处理后的手部图像进行边缘检测,获取最终的边缘图像;
区域整合子单元,用于对所述边缘图像进行区域整合,获得最大连通区域以及所述最大连通区域外的像素点;
提取子单元,用于提取整合后的边缘图像的主要区域;
形态闭合子单元,用于对已提取的主要区域进行形态闭合,以获得所述手部轮廓。
与现有技术相比,本发明实施例的技术方案具有以下优点:
通过从手部轮廓中提取可以表现手部轮廓特征的特征点,而非通过医生依赖经验直接选取手部兴趣区域,可以使得手部兴趣区域的提取更加快速、准确,有利于手部风湿性关节类疾病的治疗。
附图说明
图1是本发明实施例中手部兴趣区域的提取方法的流程图;
图2是本发明实施例中提取手部轮廓的方法的流程图;
图3是本发明实施例中的手部边缘图像;
图4是对图3中的图像进行区域整合后的图像;
图5是对图4中的图像提取主要区域后的图像;
图6是对图5中主要区域进行形态闭合后的手部轮廓图像;
图7是从图6中获得的手部轮廓中提取常规特征点的图像;
图8是本发明实施例中确定旋转中心和凹面中心的方法的流程图;
图9是根据图8中的方法在图7所示手部轮廓中确定食指兴趣区域的图像;
图10是本发明实施例中手部兴趣区域的提取装置的结构示意图;
图11是本发明实施例中第一提取单元的结构示意图。
具体实施方式
手部关节是发生手部风湿性疾病的主要部位,而手部关节区域作为手部的兴趣区域,往往对治愈手部关节类风湿性疾病具有决定性的作用,因此,快速、准确地提取手部的兴趣区域,有利于手部关节类风湿性疾病的诊断。然而,目前提取手部兴趣区域还只能靠医生凭经验选取,这对手部关节类疾病的诊断带来了不便。
针对上述问题,本发明的实施例提供了一种手部兴趣区域的提取方法,所述方法通过先获得可以表现手部轮廓特征的特征点,进而再根据所获得的特征点确定手部的兴趣区域,而非通过医生凭经验选取手部兴趣区域,可以更加方便手部关节类疾病的诊断,有利于手部风湿性关节类疾病的治疗。
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例作详细地说明。
如图1本发明的实施例一种手部兴趣区域的提取方法所示,所述方法可以包括如下步骤:
步骤110:从手部图像中提取手部轮廓。
其中,所述手部图像可以通过成像技术获得,比如,可以通过电子计算机X射线断层扫描技术(Computed Tomography,CT)获得,也可以采用其他现有的成像技术获得,不再一一举例说明。
在具体实施中,从手部图像中提取手部轮廓之前,可以直接在所获得手部图像中提取手部轮廓,也可以先对所述手部图像进行预处理。比如,可以采用直方图均衡化的算法对所述手部图像进行预处理,以获得对比度更好、色彩更均匀的手部图像,以利于进行后续手部轮廓的提取。
其中,参见图2,为本发明实施例中提取手部轮廓的方法的流程图。如图2所示,对预处理后的手部图像中提取手部轮廓可以包括如下步骤:
步骤210:对预处理后的手部图像进行边缘检测,获取最终的边缘图像。
在具体实施中,可以对预处理后的手部图像进行Canny边缘检测,也可以采用其他算法对预处理后的手部图像进行边缘检测,此处不作限定。
当对预处理后的手部图像进行Canny边缘检测时,可以先对预处理后的手部图像进行平滑处理,比如,将预处理后的手部图像数据与某一高斯模板做卷积,以去除手部图像的噪声;再计算平滑处理后的手部图像中各个像素点的灰度梯度值,以更好地分辨手部轮廓的边缘;最后采用双重阈值法进一步去掉手部轮廓的边缘,即将灰度梯度值大于高阈值的像素点作为手部轮廓强边缘,将灰度梯度值小于低阈值的像素点作为剔除,并且,将灰度梯度值在高阈值和低阈值之间的像素点作为弱边缘。
将按照上述方法所获得的强边缘,以及与所述强边缘连接的弱边缘保留在边缘图像中,以获得最终的边缘图像,所述最终的边缘图像可以参照图3,图3是本发明实施例中的手部边缘图像。
步骤220:对所述边缘图像进行区域整合,获得最大连通区域以及所述最大联通区域外的像素点。
在具体实施中,可以先将所述边缘图像中的小的间隔连接起来,再对所述边缘图像进行区域整合。可以采用多种方法对边缘图像进行区域整合。比如,可以采用漫水填充算法对所述边缘图像进行区域整合。
当采用漫水填充算法对所述边缘图像进行区域整合时,可以先将所述边缘图像中的任意一像素点作为种子像素,并检测所述种子像素的颜色。当种子像素的颜色与所述边缘图像的边缘颜色不同时,则采用填充色对种子像素进行填充,直至覆盖所述边缘图像的所有像素点。其中,所述填充色可以为除背景颜色以外的任意颜色,本发明的实施例中,采用白色作为填充色。这样,从被填充后的边缘图像可以获得最大连通区域,如图4所示,图4为对图3中的图像进行区域整合后的图像。从图4中可以看出,所述最大连通区域为图4中连在一起的白色区域,以及所述最大连通区域外的白色像素点。
步骤230:提取整合后的边缘图像的主要区域。
在具体实施中,可以先找到包含所述最大连通区域的最小凸多边形,去除所述最小凸多边形外的白色像素点以及所述最小凸多边形内的孤立像素点,获得所述边缘图像的主要区域,如图5所示,图5为对图4中的图像提取主要区域后的图像。
步骤240:对已提取的所述主要区域进行形态闭合,以获得所述手部轮廓。
如图6所示,图6为对图5中主要区域进行形态闭合后的手部轮廓图像。在具体实施中,可以对图5中的主要区域进行线性闭合,即先计算所述最大连通区域的方向,再在所述方向上以一定长度的线段为模板,将所述最大连通区域的小间隔连接起来,进而获得如图6所示的手部轮廓。
需要说明的是,可以在对预处理的手部图像进行Canny边缘检测后,采用漫水填充算法对获取到的边缘图像进行区域整合,以更快速、准确地获得手部轮廓。
步骤120:从已提取的手部轮廓中提取用于表现所述手部轮廓特征的特征点,所述特征点包括:常规特征点和辅助特征点。
其中,所述常规特征点可以包括:5个指尖点,4个指间点以及2个腕部点。。如图7从图6中获得的手部轮廓中提取常规特征点的图像所示,所述5个指尖点分别为指尖点1,指尖点3,指尖点5,指尖点7以及指尖点9。4个指间点分别为指间点2,指间点4,指间点6以及指间点8。2个腕部点分别为腕部点10和腕部点11。
在具体实施中,可以通过多种方式获得上述常规特征点,此处不作限定。本发明的实施例中,采用曲率分析的方式获得上述常规特征点,即选取手部轮廓中曲率最大的11个特征点为常规特征点,以使得所获得的常规特征点能够更准确地表现手部的轮廓特征。
在具体实施中,为了确定食指以及小指处的兴趣区域,还需进一步提取用于表现手部轮廓特征的辅助特征点。其中,如图7所示,所述辅助特征点可以包括第一辅助特征点12以及第二辅助特征点13。
具体地,所述第一辅助特征点12为:以食指和中指之间的指间点为起点的射线与手部边缘的交点,即以指间点4为起点的射线与手部边缘的交点,并且所述射线与食指的长度方向垂直。
所述第二辅助特征点13为:以无名指和小指之间的指间点为起点的射线与手部边缘的交点,即以指间点8为起点的射线与手部边缘的交点,所述射线与小指的长度方向垂直。
步骤130:根据所述常规特征点或者所述常规特征点和所述辅助特征点,提取所述手部兴趣区域。
需要说明的是,手部包括多个关节,每个关节对应一个兴趣区域,因此,手部包括多个兴趣区域,每个兴趣区域都分别有一个COR(Center Of Rotation,旋转中心)和CCA(Center Of Concave Articular surface,凹面中心)。比如,食指的关节处的兴趣区域,中指的关节处的兴趣区域,无名指的关节处的兴趣区域,以及小指关节处的兴趣区域。根据所述常规特征点可以确定中指和无名指关节处的兴趣区域,而根据常规特征点和辅助特征点则可以确定食指和小指关节处的兴趣区域。
需要说明的是,采用本发明实施例所提取的兴趣区域可以为圆形,也可以为其他任意形状,此处不作限定。
当所提取的兴趣区域为圆形时,可以先根据所获得的特征点确定手部关节的COR以及CCA,再根据所确定的COR以及CCA确定所述兴趣区域。
根据所确定的COR以及CCA确定所述兴趣区域时,可以COR以及CCA连线的中点作为圆形兴趣区域的圆心,并以与所述手指的长度的比值等于第一预设比例的长度作为圆形兴趣区域的直径。
在具体实施中,本发明实施例中确定旋转中心和凹面中心的过程如图8所示,确定所述圆形兴趣区域的COR以及CCA,可以通过以下步骤进行确定:
步骤810:确定两个所述腕部常规特征点的中点,以所述中点为第一中点;
在本实施例中,以确定食指的兴趣区域为例。参见图9,为根据图8中的方法在图7所示手部轮廓中确定食指兴趣区域的图像。如图9所示,即确定腕部特征点10和腕部特征点11的中点p1,将中点p1作为第一中点。
步骤820:确定任一手指上除所述手指指尖的常规特征点以外的两特征点的中点,以所述中点为第二中点。
如图9所示,当确定食指关节处的兴趣区域时,即确定第一辅助特征点12和指间点4之间连线的中点p2,将中点p2作为第二中点。当确定中指关节处的兴趣区域时,及确定指间点4和指间点6之间连线的中点(未示出),将所述中点作为第二中点。当确定无名指关节处的兴趣区域和小指关节处的兴趣区域时,参照前述进行确定,此处不再赘述。以下均以确定食指关节处的兴趣区域为例进行说明。
步骤830:将至所述第二中点的距离与所述第一中点至所述第二中点的距离的比值等于第二预设比例的第一点作为所述旋转中心,以及将至所述第二中点的距离与所述第一中点至所述第二中点的距离的比值等于第三预设比例的第二点作为所述凹面中心,所述旋转中心以及所述凹面中心均在所述第一中点与所述第二中点之间的线段上。
如图9所示,当确定食指关节处的兴趣区域时,将至p2的距离与p1至p2之间的距离的比值等于第二预设比例的第一点作为COR,而将至p2的距离与p1至p2之间的距离的比值等于第三预设比例的第二点作为CCA。其中COR与CCA均在p1与p2之间的线段上。所述圆形兴趣区域的圆心即为COR与CCA的中点,直径的大小等于第一预设比例与食指长度的乘积。
需要说明的是,所述第一预设比例、第二预设比例以及第三预设比例可以根据历年解剖学上的统计数据获得。比如,1992年北美地区统计的第一预设比例为七分之一,即所述圆形兴趣区域的直径等于手指长度的七分之一,而统计的第二预设比例为十分之一,第三预设比例为七分之一,即COR和CCA均位于p1和p2之间线段上,且COR至p2的距离等于十分之一的p1至p2的线段的长度,CCA。至p2的距离等于七分之一的p1至p2的线段的长度。此外,所述第一预设比例、第二预设比例以及第三预设比例可根据经验得到。
在确定中指关节处的兴趣区域、无名指关节处的兴趣区域以及小指关节处的兴趣区域时,可以参照上述实施例中的描述分别确定各自的COR和CCA,从而可以快速、准确地提取食指、中指、无名指以及小指关节处的兴趣区域。
为了使本领域技术人员更好地理解和实现本发明,以下对上述手部兴趣区域的提取方法所对应的装置进行详细描述。
本发明的实施例一种手部兴趣区域的提取装置如图10所示,所述装置可以包括:第一提取单元1010,第二提取单元1020以及第三提取单元1030。
其中,所述第一提取单元1010用于从手部图像中提取手部轮廓。所述第二提取单元1020用于从已提取的手部轮廓中提取用于表现所述手部轮廓特征的特征点,所述特征点包括:常规特征点和辅助特征点。所述第三提取单元1030用于根据所述常规特征点或者所述常规特征点和所述辅助特征点,提取手部的兴趣区域。
在具体实施中,所述第一提取单元1010在提取手部轮廓之前,所述提取装置还可以包括:预处理单元1040。所述预处理单元1040可以对所获得的手部图像进行预处理,以获得对比度更好、色彩更均匀的手部图像,以利于进行后续手部轮廓的提取。
具体地,本发明实施例中第一提取单元的结构示意图如图11所示,所述第一提取单元可以包括:边缘检测子单元10102,区域整合子单元10104,提取子单元10106以及形态闭合子单元10108。其中,所述边缘检测子单元10102,可以用于对预处理后的手部图像进行边缘检测,获取最终的边缘图像。所述区域整合子单元10104,可以用于对所述边缘图像进行区域整合,获得最大连通区域以及所述最大连通区域外的像素点。所述提取子单元10106,可以用于提取整合后的边缘图像的主要区域。所述形态闭合子单元10108用于对已提取的主要区域进行形态闭合,以获得所述手部轮廓。
在具体实施中,所述边缘检测子单元10102可以对预处理后的手部图像进行Canny边缘检测,而所述区域整合子单元10104可以采用漫水填充算法对所述边缘图像进行区域整合。
在具体实施中,所述第二提取单元1020可以采用曲率分析的方式提取所述常规特征点,即选取所述手部轮廓中曲率最大的11个特征点作为所述常规特征点。
其中,所提取的常规特征点可以包括:5个指尖点,4个指间点以及2个腕部点。所述第二提取单元1020还可以提取用于辅助所述常规特征点确定手部兴趣区域的辅助特征点。所提取的辅助特征点可以包括第一辅助特征点和第二辅助特征点。
所述第一辅助特征点以及第二辅助特征点分别通过以下的方式获得:以所述手部图像中的食指和中指之间的指间点为起点的射线与手部边缘的交点为第一辅助特征点,所述射线与食指的长度方向垂直。以所述手部图像中的无名指和小指之间的指间点为起点的射线与手部边缘的交点为第二辅助特征点,所述射线与小指的长度方向垂直。
需要说明的是,所述提取装置所获得的兴趣区域可以为圆形,也可以为其他任意形状,此处不作限定。
当所获得的兴趣区域为圆形时,所述第三提取单元可以包括:第一确定子单元以及第二确定子单元。其中,所述第一确定子单元用于根据所述常规特征点或者所述常规特征点和所述辅助特征点确定手部关节的COR以及CCA。所述第二确定子单元用于将以COR和CCA连线的中点为中心为圆心,以与所述手指的长度的比值等于第一预设比例的长为直径的圆形区域作为所述手部的兴趣区域。
在确定COR以及CCA时,所述第一确定子单元可以包括:第一确定模块,第二确定模块以及第三确定模块。其中,所述第一确定模块用于确定所述两个腕部常规特征点的中点,并以所述中点为第一中点。所述第二确定模块用于确定任一手指上除所述手指指尖的常规特征点以外的两特征点的中点,并以所述中点为第二中点。所述第三确定模块则用于将至所述第二中点的距离与所述第一中点至所述第二中点的距离的比值等于第二预设比例的第一点作为COR,以及将至所述第二中点的距离与所述第一中点至所述第二中点的距离的比值等于第三预设比例的第二点作为CCA,COR以及CCA均在所述第一中点与所述第二中点之间的线段上。
上述手部兴趣区域提取装置中各单元的配合及工作过程可以参考上述手部兴趣区域提取方法的说明,在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。