CN112381823A - 用于图像的几何特征的提取方法和相关产品 - Google Patents
用于图像的几何特征的提取方法和相关产品 Download PDFInfo
- Publication number
- CN112381823A CN112381823A CN202110040104.5A CN202110040104A CN112381823A CN 112381823 A CN112381823 A CN 112381823A CN 202110040104 A CN202110040104 A CN 202110040104A CN 112381823 A CN112381823 A CN 112381823A
- Authority
- CN
- China
- Prior art keywords
- pixel
- point
- image
- harmonic
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Computer Graphics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于图像的几何特征的提取方法和相关产品,其中提取方法包括根据病灶区域的三维图像数据生成由多个顶点连接而成的二维网格;利用所述多个顶点中的部分顶点形成的闭合曲线将所述二维网格切分成两个拓扑圆盘;将所述两个拓扑圆盘分别映射到两个单位矩形上;利用所述多个顶点的几何特征值来确定所述单位矩形上对应点的像素值;以及基于所述像素值来形成包含所述病灶区域的几何特征的图片。本发明通过对病灶区域提取几何特征并形成图片,实现了高效的特征提取,并且也为针对于病灶区域的进一步研究提供了有效途径。
Description
技术领域
本发明总体涉及图像处理领域。更具体地,本发明涉及一种用于图像的几何特征的提取方法、设备和计算机可读存储介质。
背景技术
病灶区域中包含有助于临床诊断的信息,因此对病灶区域的图像特征的提取显得尤为重要。目前传统的处理方式是提取病灶区域的影像学特征,并将影像学特征用于后续的分析和研究,以期对病灶区域做出评价。然而,如何提取病灶区域的有效特征成为要解决的问题。
发明内容
为了至少解决上面的技术问题,本发明提供一种图像的几何特征的提取方案。利用本发明的方案可以将提取的几何特征以图片形式表示,以便后续的研究和分析。在一些应用场景中,前述获得的图片可以应用于人工智能领域,从而可以利用如深度学习等数据分析的方法对几何特征进行分析并做出评价。鉴于此,本发明在如下的多个方面提供相应的解决方案。
在一个方面中,本发明公开一种用于图像的几何特征的提取方法,包括:根据病灶区域的三维图像数据生成由多个顶点连接而成的二维网格;利用所述多个顶点中的部分顶点形成的闭合曲线将所述二维网格切分成两个拓扑圆盘;将所述两个拓扑圆盘分别映射到两个单位矩形上;利用所述多个顶点的几何特征值来确定所述单位矩形上对应点的像素值;以及基于所述像素值来形成包含所述病灶区域的几何特征的图片。
在一个实施例中,前述方法进一步包括通过以下操作来获得所述闭合曲线:根据所述二维网格的拓扑和网格边的边长来确定基于所述二维网格的拉普拉斯贝尔特拉米矩阵;计算拉普拉斯贝尔特拉米矩阵的绝对值最小的非零特征值所对应的特征函数;根据所述特征函数来确定每个网格顶点的函数值;从所有顶点中选择具有全局最小的函数值的顶点作为所述闭合曲线的所述起点;从与所述起点相邻的多个顶点中选择具有局部最小的函数值的顶点作为第1中间顶点;以及针对于第2~第N中间顶点的第i中间顶点,从与第i-1中间顶点相邻的多个顶点中选择具有局部最小的函数值的顶点作为第i中间顶点,直到返回到所述起点,其中N和i是大于或等于2的正整数;将由所述起点出发、依次经过N个中间顶点后返回到所述起点获得所述闭合曲线。
在另一个实施例中,所述拓扑圆盘映射到单位矩形包括:将所述拓扑圆盘边界映射到单位矩形边界;以及将所述拓扑圆盘的内部点调和映射到单位矩形内,以在所述单位矩形内形成对应的调和像点。
在又一个实施例中,将所述拓扑圆盘的内部点调和映射到单位矩形内以形成对应的调和像点包括:将所述拓扑圆盘的所述内部点初始映射到单位矩形内,以形成初始像点;确定所述单位矩形内所述初始像点之间的调和能量;以及根据调和能量和预设能量梯度阈值来调整所述初始像点的坐标,以获得所述调和像点。
在又一个实施例中,调整所述初始像点的坐标以获得调和映射的调和像点包括反复执行以下的调整和更新操作,直到所述调和能量小于或等于所述预设能量梯度阈值:当所述调和能量大于预设能量梯度阈值时,调整所述初始像点的坐标;根据所述调整后的初始像点的坐标来更新调和能量,以用于下一次与所述预设能量梯度阈值的比较;以及当所述调和能量小于所述预设能量梯度阈值时,将停止调整时的像点作为所述调和映射的调和像点。
在又一个实施例中,其中所述二维网格上顶点的几何特征包括高斯曲率、平均曲率或共形因子,并且其中确定像素值包括:根据网格信息来确定所述顶点的高斯曲率、平均曲率或共形因子;以及根据所述高斯曲率、平均曲率或共形因子确定所述单位矩形上对应点的像素值。
在另外的实施例中,其中确定所述单位矩形上对应点的像素值包括:在所述单位矩形上均匀布置像素点;针对于所述每个像素点来执行以下步骤以获取像素值:判断所述像素点在单位矩形上的位置;以及根据所述位置来确定所述像素点的高斯曲率、平均曲率或共形因子,以便得到所述像素点的像素值。
在一个实施例中,根据像素点在单位矩形上的位置来确定像素值包括:当所述像素点位于所述单位矩形的四个顶点时,根据所述单位矩形的四个顶点的高斯曲率、平均曲率或共形因子确定所述像素点的像素值;当所述像素点位于所述单位矩形的四条边上时,根据所述像素点的具***置利用线性插值获取高斯曲率、平均曲率或共形因子对应的所述像素点的像素值;以及当所述像素点位于所述单位矩形的内部时,根据所述像素点的具***置利用重心坐标插值计算高斯曲率、平均曲率或共形因子对应的所述像素点的像素值。
在另一个方面中,本发明公开了一种用于提取图像的几何特征的设备,包括:处理器;以及与所述处理器相连接的存储器,所述存储器中存储有计算机程序代码,当所述计算机程序代码被执行时,使得所述处理器执行前述方法及多个实施例。
在又一方面中,本发明公开一种计算机可读存储介质,其上存储有提取图像的几何特征的计算机可读指令,所述指令执行前述方法及多个实施例。
通过上述对本发明的方案的简述,本领域技术人员可以理解本发明将病灶区域切分成两个拓扑圆盘,并且将所述两个拓扑圆盘分别映射到两个单位矩形上。进一步地,本发明通过几何特征值来确定所述单位矩形上对应点的像素值并最终形成表示所述病灶区域的几何特征的图片。基于本发明的几何特征提取方式,可以克服现有技术低效或不准确的特征提取,显著提升了几何特征的提取效率和准确性。进一步,通过利用本发明中表示几何特征的图片作为训练数据或源数据,可以训练或获得用于病灶发展研究的预测模型,例如人工智能领域的神经网络模型。由此,通过利用前述的预测模型,还可以对几何特征图片对应的病灶区域的发展趋势做出准确预测,以便进行有效的人为干预。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述描述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
图1是示出根据本发明实施例的一种图像的几何特征的提取方法的流程图;
图2是示出可以用于本发明方案的病灶区域的三维图像数据;
图3是示出根据本发明实施例的获取闭合曲线方法的流程图;
图4是示出根据本发明实施例的示例性三角形网格;
图5a是示出根据本发明实施例的沿闭合曲线切开后获得的第一拓扑圆盘;
图5b是示出根据本发明实施例的沿闭合曲线切开后获得的第二拓扑圆盘;
图6是示出根据本发明实施例的拓扑圆盘内部映射到单位矩形内形成调和映射的调和像点的操作的简化流程图;
图7是示出根据本发明实施例的拓扑圆盘内部映射到单位矩形内形成调和映射的调和像点的操作的详细流程图;
图8是示出根据本发明实施例的形成病灶区域的几何特征图片的操作的流程图;
图9a是示出根据本发明实施例的原始未切分封闭网格的示例性示意图;
图9b是示出根据本发明实施例的确定像素值的示例性示意图;
图10a是示出根据本发明实施例的基于高斯曲率形成的图片;
图10b是示出根据本发明实施例的基于平均曲率形成的图片;
图10c是示出根据本发明实施例的基于共形因子形成的图片;以及
图11是示出根据本发明实施例的用于提取图像的几何特征的设备的方框图。
具体实施方式
下面将结合附图对本公开实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本公开为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例,而并非可以实现本发明的所有实施例。基于本说明书公开的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
图1是示出根据本发明实施例的一种图像的几何特征的提取方法100的流程图。该方法100可以通过包括例如计算机的各类计算设备来实施,其中涉及到的病灶区域的三维图像数据可以是通过例如电子计算机断层扫描(Computed Tomography,“CT”)技术或设备所获得的三维图像数据。
基于上述获得的三维图像数据,在步骤102处,方法100根据病灶区域的三维图像数据生成由多个顶点连接而成的二维网格。在一个实施例中,本领域技术人员可以理解二维网格的生成,其实质是对于布尔型变量(bool)数据外表面的网格生成。在该实施例中,可以利用bool标记前述病灶区域的三维图像区域,并令其为,其中为光滑函数,为三维图像存在的区域。基于前述定义,可以通过表示内部体素,表示外部体素,而(其中0<<1)则表示边界区域,并通过光滑插值计算函数的等值面网格。在一个实施场景中,可以利用例如计算几何算法库(Computational Geometry AlgorithmsLibrary,“CGAL”)执行前述插值来生成二维网格。
在生成上述的二维网格后,接着方法流程前进到步骤104。在该步骤104处,方法100利用多个顶点中的部分顶点形成的闭合曲线将二维网格切分成两个拓扑圆盘(如图5a所示的第一拓扑圆盘和图5b所示的第二拓扑圆盘)。在一个实施例中,可以根据二维网格信息来计算每个顶点的函数值,并且从所有顶点中选择具有全局最小的函数值的顶点作为前述闭合曲线的起点以及具有局部最小的函数值的顶点作为中间点。接着,可以从起点出发、依次经过N个中间顶点后返回到起点,以获得整个闭合曲线。接着,可以沿该闭合曲线将二维网格切分成两个拓扑圆盘。进一步地,在步骤106处,方法100将两个拓扑圆盘分别映射到两个单位矩形上。示例性地,可以将拓扑圆盘的边界映射到单位矩形的边界上。接着,可以将拓扑圆盘的内部点映射到单位矩形的内部,以形成调和映射的调和像点。
在映射到上述的单位矩形后,接着方法流程前进到步骤108。在该步骤108处,方法100利用上述多个顶点的几何特征值来确定单位矩形上对应点的像素值。在一个实施例中,几何特征值可以是高斯曲率、平均曲率或者共形因子。最后,在步骤110处,方法100基于前述像素值来形成表示病灶区域的几何特征的图片。该图片例如可以是图10a所示通过高斯曲率获得的图片,图10b中通过平均曲率获得的图片或者是图10c中通过共形因子获得的图片。
图2是示出可以用于本发明的病灶区域的三维图像数据。结合上述图1的描述,图2中所示网格(即三角形网格)可以是基于图1所示方法100在步骤102处生成的二维网格。进一步,图2中箭头所指的黑色曲线是通过图1所示方法100在步骤104处所获取的闭合曲线。在该实现场景中,本领域技术人员可以根据所述闭合曲线将二维网格切分成两个拓扑圆盘,也即图5a和图5b分别示例性示出的。
图3是示出根据本发明实施例的获取闭合曲线方法300的流程图。这里需要理解的是方法300是图1所示方法100中获取闭合曲线的一种具体实现方式,因此前文关于方法100中闭合曲线的描述也同样适用于方法300。
结合图1所提到的,本发明利用多个顶点中的部分顶点形成的闭合曲线将通过方法100生成的二维网格切分成两个拓扑圆盘。基于此,如图3所示,在步骤302处,方法300可以根据二维网格的拓扑及网格边的边长来计算基于网格的拉普拉斯贝尔特拉米矩阵。这里,二维网格的拓扑可以理解为二维网格的连接关系,其具体可以为三角形网格上各顶点之间的连接关系。当顶点的总数为M为时,则可以形成一个M阶拉普拉斯贝尔特拉米矩阵。为了便于讨论,下面首先结合图4来描述该拉普拉斯贝尔特拉米矩阵。
图4是示出根据本发明实施例的示例性三角形网格。从图4中可以看出,这里示出两个三角形网格,其包括四个顶点,,,和。进一步,顶点和之间形成的边与顶点和之间形成的边之间的夹角为,而顶点和之间形成的边与顶点和之间形成的边之间的夹角为。另外,从图中可以看出和顶点共边。根据这里示例性示出的顶点、边长和夹角,可以通过下式来确定拉普拉斯贝尔特拉米矩阵中的每个元素值,即顶点之间的(关系)权重:
其中:
返回到图3,在上述根据二维网格的拓扑及网格边的边长来计算基于网格的拉普拉斯贝尔特拉米矩阵后,方法300流程前进到步骤304。在该步骤304处,方法300可以对前述矩阵进行计算以获得该矩阵的绝对值最小的非零特征值,从而确定该绝对值最小的非零特征值所对应的特征函数。接着,在步骤306处,方法300可以根据前述特征函数来获取上述二维网格上每个网格顶点处的函数值,并根据该函数值来获取闭合曲线的起点和多个中间点。
在获取上述闭合曲线的起点和多个中间点后,接着方法300在步骤308处从所有顶点中选择具有全局最小的函数值的顶点作为闭合曲线的起点。然后,在步骤310处,方法300从与前述起点相邻的多个顶点中选择具有局部最小的函数值的顶点作为第1中间顶点。接着,在步骤312处,方法300针对于第2~第N中间顶点的每个中间顶点,反复执行以下的针对于中间节点的选择操作,直到返回到所述起点(也即终点):从与第N-1中间顶点相邻的多个顶点中选择具有局部最小的函数值的顶点作为第N中间顶点,这里N可以是大于或等于2的正整数。当完成上述的操作后,方法300就获得了从起点出发、依次经过N个中间节点后返回到起点的闭合曲线,例如图2所示的病灶区域三维图像中黑色曲线所表示的闭合曲线。
图5a和图5b是分别示例性示出根据本发明实施例的沿闭合曲线切开后获得的第一拓扑圆盘和第二拓扑圆盘。如前所述,通过对本发明的方法300所获取的闭合曲线进行切分,就可以获得如图5a和如图5b所示的第一拓扑圆盘和第二拓扑圆盘。
图6是示出根据本发明实施例的拓扑圆盘内部映射到单位矩形内形成调和映射的调和像点的操作600的流程图。这里需要理解的是操作600是图1所示方法100中关于映射操作的一种具体实现方式,因此方法100中关于映射的描述也同样适用于操作600。
如图6所示,在步骤602处,将拓扑圆盘的内部点初始映射到单位矩形内,以形成初始映射后的像点(简称“初始像点”)。在一个实施例中,假设,对于单位矩形的内部点,可以将其坐标初始化为。接着,在步骤604处,确定(例如通过计算设备上的处理器)单位矩形内初始像点之间的调和能量。在一个实施例中,可以定义调和能量为下式:
其中,
如图6进一步所示,在步骤606处,可以根据调和能量和预设能量梯度阈值来调整初始像点的坐标,以便获得调和映射的调和像点。例如,在一个实施场景中,可以预设能量梯度阈值为,并且按照如下公式(5)调整所述初始像点的坐标,即
图7是示出根据本发明实施例的拓扑圆盘内部映射到单位矩形内形成调和映射的调和像点的操作700的详细流程图。这里需要理解的是操作700是图6所示操作600的一种具体实现方式,因此关于操作600所做的描述也同样适用于操作700。
具体地,调整初始像点的坐标以获得调和映射的调和像点可以包括反复执行以下的调整和更新操作(即步骤704和706),直到调和能量小于或等于预设能量梯度阈值(即步骤708)。示例性的实施方式如下:
首先,在步骤704处,当调和能量大于预设能量梯度阈值时,调整初始像点的坐标。在一个实施例中,可以利用上述公式(3)计算调和能量,并假定预设能量梯度阈值为。当调和能量(或调和能量差)大于预设能量梯度阈值时,例如 ,则利用上述公式(5)更新初始像点的坐标,从而获得具有新的坐标的像点。
接着,在步骤706处,根据前述调整后的像点的坐标来更新调和能量,以用于下一次与预设能量梯度阈值的比较。在一个实施例中,根据上述更新后的像点的坐标,利用上述公式(3)计算更新后的调和能量,并且再次在步骤704中与预设能量梯度阈值为作比较。当调和能量大于预设能量梯度阈值时,则执行步骤704中的调整操作和步骤706中的更新操作。
当在步骤708处判断调和能量小于或者等于预设能量梯度阈值时,例如,则将停止调整时的像点的坐标作为所述调和映射的调和像点的坐标。也即是说,将停止调整时的像点作为调和映射的调和像点。可以理解,结合操作600和700,本发明的方案最终可以将拓扑圆盘内部映射到单位矩形内,以形成调和映射的调和像点。
图8是示出根据本发明实施例的形成病灶区域的几何特征图片的操作800的简化流程图。根据不同的应用场景,本发明的几何特征可以是高斯曲率、平均曲率或共形因子中的一个。在一个实施例中,可以根据网格信息来计算所述网格顶点的高斯曲率、平均曲率或共形因子。在一个实施场景中,前述高斯曲率等于2π减去原始未切开的封闭网格顶点处与其相邻网格对应的角度。为了便于理解这里所提到的高斯曲率,首先结合图9a来进行简单的描述。图9a是示出根据本发明实施例的部分原始未切分封闭网格的示例性示意图,其中将该网格中的一个顶点记为P,与顶点P相邻的网格对应的角度分别记为和。当将顶点P处的高斯曲率记为k,则k=。基于该方式,可以计算出原始网格面上所有顶点的高斯曲率值。
关于上述提到的几何特征涉及的平均曲率,在一个实施场景中,首先在未切开的原始网格上计算每个网格面的法向量,并将其相邻面的法向量分别记为和和,定义arc=。当arc小于零时,则该边的平均曲率为边长*[π-acos(arc)];当arc大于零,则该边的平均曲率为边长*acos(arc)。其中,“acos”表示反余弦值。对于点来说,每个点的平均曲率为该点周围所有边的平均曲率求和后的平均值。
关于上述提到的几何特征还涉及的共形因子,在一个实施场景中,首先计算未切分的原始网格面的总面积以及每个顶点的面积,其中每个顶点的面积为所述顶点周围的面积的三分之一。接着,计算调和映射后网格的总面积,其中调和映射后的顶点的面积可以例如为调和映射后网格的总面积的三分之一,则面积比为原总面积/调和映射总面积。由此,每个顶点的共形因子为面积比*调和映射后的顶点的面积/网格总面积。
基于上述的示例性操作,可以获得网格面上每个顶点的高斯曲率、平均曲率或共形因子,并将其计算结果取整后作为单位矩形上对应像素点的像素值。进一步,可以根据得到的像素值来形成表示所述病灶区域的几何特征的图片。具体地,如图8所示,在步骤802处,在所述单位矩形上均匀布置像素点。在一个示例性场景中,可以均匀布置例如256*256个像素点。接着,可以针对所述每个像素点来执行以下步骤(即步骤804和806)以获取像素值。
首先,在步骤804处,将判断上述像素点在单位矩形上的位置。根据不同的情形,像素点可以位于单位矩形的四个顶点上、四条边上或者单位矩形的内部。在一个实施例中,此处的位置判断可以通过结合前述图6和图7所描述的调和像点的坐标来确定。接着,在步骤806处,将根据所述位置来确定所述像素点的高斯曲率、平均曲率或共形因子的值,并且将该值作为所述像素点的像素值。在一个实施例中,当像素点位于所述单位矩形的四个顶点时,将单位矩形的四个顶点的高斯曲率、平均曲率或共形因子作为像素点的像素值。在另一实施例中,当像素点位于单位矩形的四条边上时,利用线性插值来获取(即计算)所述像素点处的高斯曲率、平均曲率或共形因子,作为该像素点的像素值。在又一实施例中,当所述像素点位于单位矩形的内部时,利用重心坐标插值来计算像素点的高斯曲率、平均曲率或共形因子,作为该像素点的像素值。下面将结合图9b来示例性描述对不同位置处的像素点的像素值的确定过程。
图9b是示出根据本发明实施例的确定像素值的示例性示意图。如图9b中左侧所示的水平线和竖直线交织成矩形网格,所述网格大小可以是256*256,并且网格布置有256*256个像素点,例如像素点P1、像素点P2以及像素点P3(其余像素点图中未示出)。图中左侧所示多个三角形网格为单位矩形上的部分调和映射的调和像点连接而成。在一个示例性场景中,可以设三角形网格的顶点分别v1、v2、v3、v4以及v5,并且将v1、v2、v3、v4以及v5各点处的函数值分别记为、以及。在该场景下,所述、以及可以是基于前述描述获得的高斯曲率、平均曲率或共形因子任一种几何特征值,并利用所述几何特征值来确定像素值。
结合上述图9b的描述,在一个实施场景中,当像素点位于所述单位矩形的四个顶点时,例如图9b中所示的像素点P1。在该场景下,像素点P1的像素值即为网格顶点v1处的函数值。所述可以是高斯曲率、平均曲率或共形因子中任一种。
在另一个实施场景中,当像素点位于单位矩形的边界时,例如图9b中所示的像素点P2。在该场景下,像素点P2处的像素值由v1和v2处的函数值确定。具体地,假设v1到像素点P2的边长为 ,v2到像素点P2的边长为,v1到v2的边长为,则基于线性插值获得像素点P2处的像素值=,其中,分别为v1和v2处的函数值。类似地,是高斯曲率、平均曲率或共形因子中任一种。
在又一实施场景中,当像素点位于单位矩形的内部时,例如图9b中示出的像素点P3。在该场景下,像素点P3处的像素值由v3、v4和v5构成的三角形的面积之比并且通过重心坐标插值确定。此处面积比可以理解成v3、v4和v5处的权重。具体地,如图9b右侧图所示,假设v3对应的面积记为S3,v4对应的面积记为S4以及v5对应的面积记为S5,并假设整个三角形面积为S,则像素点P3处的像素值=,其中,分别为v3、v4、v5处的函数值。类似地,也可以是高斯曲率、平均曲率或共形因子中任一种。基于前述描述,各部分面积可以通过三角形的顶点坐标和像素点的坐标确定。例如,在一个示例性场景中,假定v3处的坐标为(x1,y1),v4处的坐标为(x2,y2)以及v5处的坐标为(x3,y3),像素点P3点处的坐标为(),采用重心坐标进行插值,例如:
由上述公式获得v3对应的面积S3,v4对应的面积S4以及v5对应的面积记S5,最终获得像素点P3处的像素值。
基于前述描述确定256*256个像素点的像素值,本发明的方案最终可以形成例如图10a所示的基于高斯曲率形成的图片,例如图10b所示的基于平均曲率形成的图片;或者例如图10c所示的基于共形因子形成的图片。通过对形成表示前述三种几何特征的图片进行例如人工智能领域内的深度学习,从而可以获得病灶发展预测模型并进行相应的预测。
图11是示出根据本发明实施例的用于提取图像的几何特征的设备1100的框图。可以理解的是,实现本发明方案的设备可以是单一的设备(例如计算设备)或包括各种***设备的多功能设备。
如图11中所示,本发明的设备可以包括中央处理器或中央处理单元(“CPU”)1111,其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步,设备1100还可以包括大容量存储器1112和只读存储器(“ROM”) 1113,其中大容量存储器1112可以配置用于存储各类数据,包括各种与病灶区域相关的图像数据、算法数据、中间结果和运行设备1100所需要的各种程序。ROM 1113可以配置成存储对于设备1100的加电自检、***中各功能模块的初始化、***的基本输入/输出的驱动程序及引导操作***所需的数据和指令。
可选地,设备1100还可以包括其他的硬件平台或组件,例如示出的张量处理单元(“TPU”)1114、图形处理单元(“GPU”)1115、现场可编程门阵列(“FPGA”)1116和机器学***台或组件,但这里仅仅是示例性的而非限制性的,本领域技术人员可以根据实际需要增加或移除相应的硬件。例如,设备1100可以仅包括CPU、相关存储设备和接口设备来实现本发明的用于病灶区域几何特征提取的方法。
在一些实施例中,为了便于数据与外部网络的传递和交互,本发明的设备1100还包括通信接口1118,从而可以通过该通信接口1118连接到局域网/无线局域网(“LAN/WLAN”)1105,进而可以通过该LAN/WLAN连接到本地服务器1106或连接到因特网(“Internet”)1107。替代地或附加地,本发明的设备1100还可以通过通信接口1118基于无线通信技术直接连接到因特网或蜂窝网络,例如基于第3代(“3G”)、第4代(“4G”)或第5代(“5G”)的无线通信技术。在一些应用场景中,本发明的设备1100还可以根据需要访问外部网络的服务器1108和数据库1109,以便获得各种已知的图像模型、数据和模块,并且可以远程地存储各种数据,例如用于呈现病灶区域的几何特征的各类数据或指令。
设备1100的***设备可以包括显示装置1102、输入装置1103和数据传输接口1104。在一个实施例中,显示装置1102可以例如包括一个或多个扬声器和/或一个或多个视觉显示器,其配置用于对本发明的显示病灶区域图像的运算过程或者最终结果进行语音提示和/或图像视频显示。输入装置1103可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件,其配置用于接收病灶区域图像数据的输入和/或用户指令。数据传输接口1104可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机***接口(“SCSI”)、串行ATA、火线(“FireWire”)、PCI Express和高清多媒体接口(“HDMI”)等,其配置用于与其他设备或***的数据传输和交互。根据本发明的方案,该数据传输接口1104可以接收来自于CT设备的病灶区域图像或病灶区域图像数据,并且向设备1100传送包括病灶区域的图像数据或各种其他类型的数据或结果。
本发明的设备1100的上述CPU 1111、大容量存储器1112、ROM 1113、TPU 1114、GPU1115、FPGA 1116、MLU 1117和通信接口1118可以通过总线1119相互连接,并且通过该总线与***设备实现数据交互。在一个实施例中,通过该总线1119,CPU 1111可以控制设备1100中的其他硬件组件及其***设备。
以上结合图11描述了可以用于执行本发明的用于提取图像的几何特征的设备。需要理解的是这里的设备结构或架构仅仅是示例性的,本发明的实现方式和实现实体并不受其限制,而是可以在不偏离本发明的精神下做出改变。
还应当理解,本发明示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质,诸如存储介质、计算机存储介质或数据存储设备(可移除的和/或不可移除的)例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性,可移动和不可移动介质,例如计算机可读指令、数据结构、程序模块或其他数据。
基于上文,本发明还公开了一种计算机可读存储介质,其中存储有程序指令,所述程序指令适于由处理器加载并执行:根据病灶区域的三维图像数据生成由多个顶点连接而成的二维网格;利用所述多个顶点中的部分顶点形成的闭合曲线将所述二维网格切分成两个拓扑圆盘;
将所述两个拓扑圆盘分别映射到两个单位矩形上;利用所述多个顶点的几何特征值来确定所述单位矩形上对应点的像素值;以及基于所述像素值来形成表示所述病灶区域的几何特征的图片。总之,该计算机可读存储介质包括了用于执行结合图1-图10所述的处理操作的程序指令。
依据以下条款可更好地理解前述内容:
条款1、一种用于图像的几何特征的提取方法,包括:
根据病灶区域的三维图像数据生成由多个顶点连接而成的二维网格;
利用所述多个顶点中的部分顶点形成的闭合曲线将所述二维网格切分成两个拓扑圆盘;
将所述两个拓扑圆盘分别映射到两个单位矩形上;
利用所述多个顶点的几何特征值来确定所述单位矩形上对应点的像素值;以及
基于所述像素值来形成包含所述病灶区域的几何特征的图片。
条款2、根据条款1所述的提取方法,进一步包括通过以下操作来获得所述闭合曲线:
根据所述二维网格的拓扑和网格边的边长来确定基于所述二维网格的拉普拉斯贝尔特拉米矩阵;
计算所述拉普拉斯贝尔特拉米矩阵的绝对值最小的非零特征值所对应的特征函数;
根据所述特征函数来确定每个网格顶点的函数值;
从所有顶点中选择具有全局最小的函数值的顶点作为所述闭合曲线的所述起点;
从与所述起点相邻的多个顶点中选择具有局部最小的函数值的顶点作为第1中间顶点;以及
针对于第2~第N中间顶点的第i中间顶点,从与第i-1中间顶点相邻的多个顶点中选择具有局部最小的函数值的顶点作为第i中间顶点,直到返回到所述起点,其中N和i是大于或等于2的正整数;
将由所述起点出发、依次经过N个中间顶点后返回到所述起点获得所述闭合曲线。
条款3、根据条款1或2所述的提取方法,其中所述拓扑圆盘映射到单位矩形包括:
将所述拓扑圆盘边界映射到单位矩形边界;以及
将所述拓扑圆盘的内部点调和映射到单位矩形内,以在所述单位矩形内形成对应的调和像点。
条款4、根据条款1-3中的任意一条款所述的提取方法,
其中将所述拓扑圆盘的内部点调和映射到单位矩形内以形成对应的调和像点包括:
将所述拓扑圆盘的所述内部点初始映射到单位矩形内,以形成初始像点;
确定所述单位矩形内所述初始像点之间的调和能量;以及
根据调和能量和预设能量梯度阈值来调整所述初始像点的坐标,以获得所述调和像点。
条款5、根据条款1-4中的任意一条款所述的提取方法,其中调整所述初始像点的坐标以获得调和映射的调和像点包括反复执行以下的调整和更新操作,直到所述调和能量小于所述预设能量梯度阈值:
当所述调和能量大于预设能量梯度阈值时,调整所述初始像点的坐标;
根据所述调整后的初始像点的坐标来更新调和能量,以用于下一次与所述预设能量梯度阈值的比较;以及
当所述调和能量小于所述预设能量梯度阈值时,将停止调整时的像点的坐标作为所述调和映射的调和像点。
条款6、根据条款1-5中的任意一条款所述的提取方法,其中所述二维网格上顶点的几何特征包括高斯曲率、平均曲率或共形因子,并且其中确定像素值包括:
根据网格信息来确定所述顶点的高斯曲率、平均曲率或共形因子;以及
根据所述高斯曲率、平均曲率或共形因子确定所述单位矩形上对应点的像素值。
条款7、根据条款1-6中的任意一条款所述的提取方法,其中确定所述单位矩形上对应点的像素值包括:
在所述单位矩形上均匀布置像素点;
针对于所述每个像素点来执行以下步骤以获取像素值:
判断所述像素点在单位矩形上的位置;以及
根据所述位置来确定所述像素点的高斯曲率、平均曲率或共形因子,以便得到所述像素点的像素值。
条款8、根据条款1-7中的任意一条款所述的提取方法,其中根据像素点在单位矩形上的位置来确定像素值包括:
当所述像素点位于所述单位矩形的四个顶点时,根据所述单位矩形的四个顶点的高斯曲率、平均曲率或共形因子确定所述像素点的像素值;
当所述像素点位于所述单位矩形的四条边上时,利用线性插值获取高斯曲率、平均曲率或共形因子对应的所述像素点的像素值;以及
当所述像素点位于所述单位矩形的内部时,利用重心坐标插值计算高斯曲率、平均曲率或共形因子对应的所述像素点的像素值。
条款9、一种用于对图像的几何特征进行提取的设备,包括:
处理器;以及
与所述处理器相连接的存储器,所述存储器中存储有计算机程序代码,当所述计算机程序代码被执行时,使得所述处理器执行如条款1-8中的任意一条款所述的提取方法。
条款10、一种计算机可读存储介质,其上存储有提取图像的几何特征的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现如条款1-8中的任意一条款所述的提取方法。
应当理解,本公开的权利要求、说明书及附图中可能使用到的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。本公开的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本公开。如在本公开说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本公开说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当... 时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
虽然本发明的实施方式如上,但所述内容只是为便于理解本发明而采用的实施例,并非用以限定本发明的范围和应用场景。任何本发明所述技术领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种用于图像的几何特征的提取方法,包括:
根据病灶区域的三维图像数据生成由多个顶点连接而成的二维网格;
利用所述多个顶点中的部分顶点形成的闭合曲线将所述二维网格切分成两个拓扑圆盘;
将所述两个拓扑圆盘分别映射到两个单位矩形上;
利用所述多个顶点的几何特征值来确定所述单位矩形上对应点的像素值;以及
基于所述像素值来形成包含所述病灶区域的几何特征的图片。
2.根据权利要求1所述的提取方法,其中通过以下操作来获得所述闭合曲线:
根据所述二维网格的拓扑和网格边的边长来确定基于所述二维网格的拉普拉斯贝尔特拉米矩阵;
计算所述拉普拉斯贝尔特拉米矩阵的绝对值最小的非零特征值所对应的特征函数;
根据所述特征函数来确定每个网格顶点的函数值;
从所有顶点中选择具有全局最小的函数值的顶点作为所述闭合曲线的起点;
从与所述起点相邻的多个顶点中选择具有局部最小的函数值的顶点作为第1中间顶点;以及
针对于第2~第N中间顶点的第i中间顶点,从与第i-1中间顶点相邻的多个顶点中选择具有局部最小的函数值的顶点作为第i中间顶点,直到返回到所述起点,其中N和i是大于或等于2的正整数;
从所述起点出发,依次连接N个中间顶点后返回到所述起点,以获得所述闭合曲线。
3.根据权利要求1所述的提取方法,其中将所述拓扑圆盘映射到所述单位矩形上包括:
将所述拓扑圆盘边界映射到单位矩形边界;以及
将所述拓扑圆盘的内部点调和映射到单位矩形内,以在所述单位矩形内形成对应的调和像点。
4.根据权利要求3所述的提取方法,其中将所述拓扑圆盘的内部点调和映射到单位矩形内以形成对应的调和像点包括:
将所述拓扑圆盘的所述内部点初始映射到单位矩形内,以形成初始像点;
确定所述单位矩形内所述初始像点之间的调和能量;以及
根据调和能量和预设能量梯度阈值来调整所述初始像点的坐标,以获得所述调和像点。
5.根据权利要求4所述的提取方法,其中调整所述初始像点的坐标以获得调和映射的调和像点包括反复执行以下的调整和更新操作,直到所述调和能量小于或等于所述预设能量梯度阈值:
当所述调和能量大于预设能量梯度阈值时,调整所述初始像点的坐标;
根据所述调整后的初始像点的坐标来更新调和能量,以用于下一次与所述预设能量梯度阈值的比较;以及
当所述调和能量小于或等于所述预设能量梯度阈值时,将停止调整时的像点作为所述调和映射的调和像点。
6.根据权利要求1所述的提取方法,其中所述二维网格上顶点的几何特征包括高斯曲率、平均曲率或共形因子,并且其中确定像素值包括:
根据网格信息来确定所述顶点的高斯曲率、平均曲率或共形因子;以及
根据所述高斯曲率、平均曲率或共形因子确定所述单位矩形上对应点的像素值。
7.根据权利要求6所述的提取方法,其中确定所述单位矩形上对应点的像素值包括:
在所述单位矩形上均匀布置像素点;
针对于每个所述像素点来执行以下步骤以获取像素值:
判断所述像素点在单位矩形上的位置;以及
根据所述位置来确定所述像素点的高斯曲率、平均曲率或共形因子,以便得到所述像素点的像素值。
8.根据权利要求7所述的提取方法,其中根据像素点在单位矩形上的位置来确定像素值包括:
当所述像素点位于所述单位矩形的四个顶点时,根据所述单位矩形的四个顶点的高斯曲率、平均曲率或共形因子确定所述像素点的像素值;
当所述像素点位于所述单位矩形的四条边上时,利用线性插值获取高斯曲率、平均曲率或共形因子对应的所述像素点的像素值;以及
当所述像素点位于所述单位矩形的内部时,利用重心坐标插值计算高斯曲率、平均曲率或共形因子对应的所述像素点的像素值。
9.一种用于提取图像的几何特征的设备,包括:
处理器;以及
与所述处理器相连接的存储器,所述存储器中存储有计算机程序代码,当所述计算机程序代码被执行时,使得所述处理器执行如权利要求1-8中任意一项所述的提取方法。
10.一种计算机可读存储介质,其上存储有用于提取图像的几何特征的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现如权利要求1-8中任意一项所述的提取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110040104.5A CN112381823B (zh) | 2021-01-13 | 2021-01-13 | 用于图像的几何特征的提取方法和相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110040104.5A CN112381823B (zh) | 2021-01-13 | 2021-01-13 | 用于图像的几何特征的提取方法和相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112381823A true CN112381823A (zh) | 2021-02-19 |
CN112381823B CN112381823B (zh) | 2021-04-16 |
Family
ID=74591085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110040104.5A Active CN112381823B (zh) | 2021-01-13 | 2021-01-13 | 用于图像的几何特征的提取方法和相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112381823B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106952331A (zh) * | 2017-02-28 | 2017-07-14 | 深圳信息职业技术学院 | 一种基于三维模型的纹理映射方法和装置 |
CN108022221A (zh) * | 2017-12-06 | 2018-05-11 | 河北工业大学 | 一种各项异性扩散滤波的三维散乱点云平滑去噪方法 |
US20190192039A1 (en) * | 2017-12-22 | 2019-06-27 | Arizona Board Of Regents On Behalf Of Arizona State University | Apparatus and method for quantification of the mapping of the sensory areas of the brain |
CN111260547A (zh) * | 2020-04-29 | 2020-06-09 | 北京智拓视界科技有限责任公司 | 用于呈现大脑图像的方法、装置和计算机可读存储介质 |
CN111369682A (zh) * | 2019-08-20 | 2020-07-03 | 大连理工大学 | 生成体叶状结构的方法、设备和计算机可读存储介质 |
CN111461147A (zh) * | 2020-04-30 | 2020-07-28 | 柳州智视科技有限公司 | 一种基于图像特征的二进制编码组织算法 |
-
2021
- 2021-01-13 CN CN202110040104.5A patent/CN112381823B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106952331A (zh) * | 2017-02-28 | 2017-07-14 | 深圳信息职业技术学院 | 一种基于三维模型的纹理映射方法和装置 |
CN108022221A (zh) * | 2017-12-06 | 2018-05-11 | 河北工业大学 | 一种各项异性扩散滤波的三维散乱点云平滑去噪方法 |
US20190192039A1 (en) * | 2017-12-22 | 2019-06-27 | Arizona Board Of Regents On Behalf Of Arizona State University | Apparatus and method for quantification of the mapping of the sensory areas of the brain |
CN111369682A (zh) * | 2019-08-20 | 2020-07-03 | 大连理工大学 | 生成体叶状结构的方法、设备和计算机可读存储介质 |
CN111260547A (zh) * | 2020-04-29 | 2020-06-09 | 北京智拓视界科技有限责任公司 | 用于呈现大脑图像的方法、装置和计算机可读存储介质 |
CN111461147A (zh) * | 2020-04-30 | 2020-07-28 | 柳州智视科技有限公司 | 一种基于图像特征的二进制编码组织算法 |
Non-Patent Citations (1)
Title |
---|
YALIN WANG 等: "Conformal slit mapping and its applications to brain surface parameterization", 《MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112381823B (zh) | 2021-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109859296B (zh) | Smpl参数预测模型的训练方法、服务器及存储介质 | |
JP5108893B2 (ja) | 2次元画像から3次元パーティクル・システムを復元するためのシステムおよび方法 | |
CN109064549B (zh) | 标志点检测模型生成方法及标志点检测方法 | |
CN112767340A (zh) | 基于神经网络模型对病灶区进行评估的设备和相关产品 | |
JP2021504830A (ja) | 画像内のオブジェクトをセグメント化するためのセグメンテーションシステム | |
EP2779115A1 (en) | Using curves to perform mesh deformation | |
Feng et al. | FasTFit: A fast T-spline fitting algorithm | |
JP2022036918A (ja) | 人工知能の使用による3dオブジェクトへのuvマッピング | |
CN113822965A (zh) | 图像渲染处理方法、装置和设备及计算机存储介质 | |
CN116097316A (zh) | 用于非模态中心预测的对象识别神经网络 | |
CN112381824B (zh) | 一种对图像的几何特征进行提取的方法和相关产品 | |
CN112381822B (zh) | 一种用于处理肺部病灶区图像的方法和相关产品 | |
CN112381825B (zh) | 用于病灶区图像几何特征提取的方法和相关产品 | |
CN113362291A (zh) | 用于获取图像中目标物的方法和相关产品 | |
CN112750110A (zh) | 基于神经网络对肺部病灶区进行评估的评估***和相关产品 | |
CN112785562B (zh) | 一种基于神经网络模型进行评估的***和相关产品 | |
CN110751026B (zh) | 视频处理方法及相关装置 | |
CN112381823B (zh) | 用于图像的几何特征的提取方法和相关产品 | |
JP6731753B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
CN116797768A (zh) | 全景图像减少现实的方法和装置 | |
CN111260547B (zh) | 用于呈现大脑图像的方法、装置和计算机可读存储介质 | |
US10636210B2 (en) | Dynamic contour volume deformation | |
CN112633065A (zh) | 一种基于数据增强的人脸检测方法、***、存储介质及终端 | |
JP2022546303A (ja) | 管状フィーチャのセグメント化 | |
Cameron et al. | Surface generation for virtual reality displays with a limited polygonal budget |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |