医用图像诊断装置和医用图像的轮廓提取处理方法
技术领域
本发明涉及实现了被检查者的医用图像的对象部位的轮廓提取处理的精度提高的医用图像诊断装置和医用图像的对象轮廓提取处理方法。
背景技术
被检查者的对象部位的形状信息是诊断病变的进展程度的重要信息之一。在这里,对象部位的形状信息是指对象部位的形状、大小。
在超声波诊断装置、X射线图像诊断装置、X射线CT装置及磁共振成像装置等的医用图像诊断装置中,能够以非侵入的方式计测被检查者的对象部位的形状信息。
被计测出的对象部位的形状信息作为医用图像而显示于显示装置。
并且,在医用图像诊断装置中,存在着想要以更高精度计测被检查者的对象部位的形状信息这样的来自检查者的要求。
因此,专利文献1及专利文献2提出一种应对上述要求的一个图像处理方法。专利文献1的图像处理方法按照如下的各步骤进行。
第1步骤:初始轮廓点生成部生成对象部位的多个初始轮廓的轮廓点。
第2步骤:检查者指示图像中的对象部位的轮廓的候补点。
第3步骤:初始轮廓选择部从更靠近对象部位的位置处的多个初始轮廓的轮廓点中选择实际的轮廓点。
第4步骤:按照表示轮廓形状的内部能量、表示图像特征的图像能量和根据需要给予的外部能量之总和最小的方式,使由初始轮廓选择部选择出的初始轮廓变形,由此提取所述图像中的对象物的轮廓。
另外,在专利文献2的图像处理方法中,预先保管以图像数据的收集条件(例如,与诊断对象脏器(心脏)相应的超声波扫描方法、扫描方向或扫描截面)为参数的心房或者心室中的心肌/心腔边界的标准形状数据,基于图像数据中附加的图像数据收集条件来读出适宜的标准形状数据,并且基于由输入部设定的心肌的特征量(2点的瓣环部及1点的心尖部)的位置信息来生成轮廓数据。
现有技术文献
专利文献
专利文献1:日本特开平10-261094号公报
专利文献2:日本特开2007-14542号公报
发明内容
发明要解决的技术问题
但是,在专利文献1的图像处理方法中,由于实际的轮廓点提取运算是在多个初始轮廓的轮廓点的范围内进行的,所以在实际的轮廓点因为心脏等运动脏器的搏动而偏离多个初始轮廓的轮廓点的情况下,存在着实际的轮廓点提取运算的精度不充分这样的未解决的技术问题。
另外,在如心脏那样计测多个腔的大小、或计测被组织的内膜面和外膜面夹着的区域的大小的情况下,需要获知多个轮廓。然而,即便在专利文献1及专利文献2的图像处理方法的任何方法中都需要按想要提取的每个轮廓来输入多个候补点或特征量的位置信息,故检查者的操作负担大。
因此,本发明的目的在于提供一种可以更高精度地计测被检查者的对象部位的形状信息、且可以减轻检查者的操作负担的医用图像诊断装置和医用图像的轮廓提取处理方法。
用于解决技术问题的技术方案
为了达成上述目的,在本发明中,推定被检查者的对象部位的轮廓位置并生成初始轮廓,利用所输入的所述对象部位的特征点及所述初始轮廓来提取沿着所述对象部位的形状的轮廓,将医用图像与提取出的所述轮廓合成之后的合成图像显示于所述图像显示部。
具体说明的话,本发明的医用图像诊断装置具备:图像显示部,其显示包括被检查者的对象部位在内的医用图像;输入部,其输入所述对象部位的特征点;轮廓位置推定部,其推定所述对象部位的轮廓位置并生成初始轮廓;轮廓提取部,其利用所述特征点及所述初始轮廓来提取沿着所述对象部位的形状的轮廓;和控制部,其将合成了提取出的轮廓和医用图像之后的合成图像显示于所述图像显示部。
另外,本发明的医用图像的轮廓提取处理方法包括如下步骤:图像显示部显示包括被检查者的对象部位在内的医用图像;输入部输入所述对象部位的特征点;轮廓位置推定部推定所述对象部位的轮廓位置并生成初始轮廓;轮廓提取部利用所述特征点及所述初始轮廓来提取沿着所述对象部位的形状的轮廓;和控制部将合成了提取出的轮廓和医用图像之后的合成图像显示于所述图像显示部。
发明效果
根据本发明能起到下述效果,提供一种可以更高精度地计测被检查者的对象部位的形状信息、且可以减轻检查者的操作负担的医用图像诊断装置和医用图像的轮廓提取处理方法。
附图说明
图1是表示本发明的超声波诊断装置的概略构成例的框图。
图2是表示实施例1的动作顺序的流程图。
图3是表示利用了输出显示部1的图像的检查者的操作画面的例子的图。
图4是说明根据3个特征点来生成初始轮廓的原理的图。
图5是表示轮廓的中心位置、大小、倾斜度的具体计算方法的原理的图。
图6是说明轮廓提取部4的具体动作例的图。
图7是表示将图像和计测项目显示于输出显示部1的例子的图。
图8是表示实施例2的动作顺序的流程图。
图9是计测左心室的时间变化的显示画面。
图10是表示实施例3的动作顺序的流程图。
图11是说明实施例3的从心室向心房移动的特征点设定方法的图。
图12是说明实施例3的从左心室向右心室移动的特征点设定方法的图。
图13是表示同时计测左心室和左心房并显示该计测值的例子的图。
图14是表示采用了实施例4的曲线模型的轮廓提取的图。
图15是说明实施例5的概略的轮廓提取的图。
图16是表示将实施例6的特征点从3点追加为4点的例子的图。
图17是显示实施例7的超声波图像、轮廓和计测结果的画面的第1例。
图18是实施例7的流程图。
图19是说明实施例7的轮廓位置的推定和轮廓提取处理的图。
图20是显示实施例7的超声波图像、轮廓和计测结果的画面的第2例。
具体实施方式
下面,表示实施例。
实施例1
利用附图来说明本发明的实施例1。
实施例1是提取因心脏的搏动而随时间推移发生移动的心肌的边界轮廓的方法。
图1是表示本发明的医用图像诊断装置的概略构成例的框图。
本发明涉及的医用图像诊断装置具备:输出显示部1、输入部2、轮廓位置推定部3、轮廓提取部4、计测部5、控制部6及存储部9。
输出显示部1显示并输出包括被检查者的对象部位在内的医用图像、医用图像的关联信息。输出显示部1中的具体显示输出对象除了医用图像之外,还可以是轮廓线、计测值,或者可以是计测值的计测报告。显示输出对象可以向视频打印机输出、向胶片输出,或向经由网络连接的个人计算机输出电子文件。
输入部2是进行诊断装置的各种操作的接口。具体而言,输入部2设定各种操作之中的被输出显示部1显示的对象部位的位置。另外,输入部2是键盘、跟踪球、开关、标度盘等的输入设备,用于指定生物体组织的种类、特征点。
轮廓位置推定部3基于利用输入部2设定的心脏的特征点、种类来设定心脏的位置、大小、角度,以推定对象部位的轮廓位置并生成初始轮廓。初始轮廓生成采用了基于动态轮廓模型的方法。动态轮廓模型例如通过医用图像上存在的构成心脏的心肌轮廓线的顶点的集合来进行表现。构成轮廓线的顶点的集合宛如蛇形那样反复蜿蜒,形成时时刻刻变化的轮廓线。
另外,初始轮廓生成除了采用动态轮廓模型之外,也可以采用利用了样条曲线等曲线函数的曲线模型。
另外,轮廓位置推定部3基于由输入部2设定的计测项目、生物体组织的位置来推定轮廓的条数、位置。此时,无论所推定的轮廓的位置、大小、形状等的精度如何均可。作为实施方式的一例,也可在存储部9中预先将与所设定的计测项目、生物体组织的位置对应起来的轮廓的数学计算方法作为程序进行存储,轮廓位置推定部3读出该程序来设定轮廓。作为轮廓的数学计算方法的一例,例如考虑:通过数学函数来表现左心室的轮廓,并基于根据设定位置计算的位置、角度、大小进行配置的方法。
作为其他方法,也可从轮廓数据库10中取出与计测项目、设定位置对应的轮廓的条数、位置相关的信息来进行设定。
轮廓提取部4进行利用由轮廓位置推定部3求出的初始轮廓来提取轮廓的运算。运算方法采用:公知的动态轮廓模型Active Contour Model(缩写为“ACM”)、动态形状模型Active Shape Model(缩写为“ASM”)、动态外观模型Active Appearance Model(缩小为“AAM”)。轮廓提取运算也包括:平滑地连接被同时提取出的轮廓点组的平滑化处理。
轮廓提取部4例如采用利用了边缘检测等的轮廓提取法,以与生物体组织的轮廓相符的方式进行初始轮廓的变形处理。此时,也可按照如下方式进行动作,一边参照轮廓数据库10,一边在更准确的位置处提取轮廓。例如,能够应用如动态轮廓模型那样的模型库的轮廓提取法。被提取出的轮廓可以利用如样条曲线那样的曲线模型变形为平滑的形状,结果通过输出显示部1将其与图像一起显示在装置的画面上。
计测部5计算与被提取出的轮廓相关的长度、面积、容积等的有关轮廓形状的计测项目(与提取轮廓的形状相关的计测值)。例如,计测项目有:轮廓点的坐标、由轮廓线包围的区域的中心位置坐标、轮廓线的周长、轮廓线包围的面积、容积。容积通过被称为辛普森法的计算法来进行运算。所谓辛普森法,例如是在计算利用了医用图像的心室的容积的情况下,将心室的容积计算区域分割成被叠加的多个圆柱形的圆盘,用各圆盘的体积的总和来计算心室的容积的计算方法,详细内容已经在特表2007-507248号公报中公开。
另外,没有根据辛普森法的容积计算法按下述顺序进行。
首先,输入部2设定被输出显示部1显示的医用图像之中的容积计测的对象区域。接着,控制部6进行将对象区域分割成多个体积要素的运算。接着,控制部6运算因对象区域的活动而引起的体积要素的顶点的移动量。接着,控制部6利用顶点的移动量来运算移动后的体积要素的体积。最后,控制部6运算移动后的体积要素的体积总和,并运算对象区域的容积。
除此之外,例如,在心脏的超声波图像的情况下,对于容积可以应用Area-length法、Modified Simpson法等的现有的计测方法。通过输出显示部1将计测值与超声波图像一起显示于装置的显示器。
另外,控制部6除了进行上述的运算之外,还控制医用图像诊断装置整体的各构成要素,并且在变更了生物体组织的种类、特征点的情况下,控制输出显示部1、轮廓位置推定部3、轮廓提取部4及计测部5。作为控制部6,例如利用了中央运算装置。
此外,轮廓位置推定部3、轮廓提取部4及计测部5是由作为中央运算装置的控制部6读出并执行在存储部9中存储的各程序来实现的功能。
在存储部9中存储了用于使构成医用图像诊断装置的各种***动作的程序。另外,在存储部9中按图像数据、对象部位所涉及的生物体组织的每个种类存储了轮廓模型数据(为了生成初始轮廓而成为基准的数据)。存储部9例如是半导体存储器、硬盘、光盘等的存储介质。而且,也可以是经由网络的外部存储介质。
另外,存储部9包括轮廓数据库10。轮廓数据库10存储了与计测项目、计测位置相应的有关轮廓的根数、位置、形状的信息。这些信息被用于由轮廓位置推定部3和轮廓提取部4进行的轮廓提取。
***总线10是在所连接的硬件之间相互进行数据通信的数据传输总线。***总线10连接着输出显示部1、输入部2、轮廓位置推定部3、轮廓提取部4、计测部5、控制部6及存储部9。
另外,本发明的医用图像诊断装置以超声波诊断装置为例进行说明。超声波诊断装置还具备探头7及超声波收发部8。
探头7与被检查者的对象部位的体表抵接,向对象部位发送超声波信号并且接收来自对象部位的反射回波信号。探头7由多个频道(channel)的振动器元件形成,若按振动器元件的材质进行分类的话,则有压电式压电元件、电容式微加工超声换能器(capacitive Micromachined UltrasonicTransducer(cMUT))等。几维的探头均可采用。另外,探头7可以是线性、凸形、扇形等的任何形状。
超声波收发部8生成被检查者的生物体组织的图像,具有发送功能和接收功能。发送功能是从探头7向被检查者发送超声波信号的功能。接收功能是接收探头7向被检查者发送出的超声波信号的反射回波信号,通过调相电路、放大电路依照装置的摄像设定进行信号处理,从而得到被调相后的超声波信号。另外,超声波收发部8根据超声波信号,基于装置的摄像设定、例如超声波束的扫描范围、增益设定等,生成超声波图像。该超声波图像按照由摄像设定所决定的帧速率被常时更新,即通过输出显示部1作为影像显示于超声波诊断装置的显示器。
以下,针对采用超声波诊断装置的情况来说明实施例1。
其次,利用图2来说明实施例1的动作。
图2是表示实施例1的动作顺序的流程图。
为了使输出显示部1显示用于诊断的心脏的超声波图像,检查者通过输入部2的操作进行设定。控制部6接受输入部2的操作信息,在输出显示部1的显示画面上显示作为对象部位的心脏被绘制出的超声波图像(S101)。
检查者通过输入部2的操作来设定对象部位(生物体组织的种类)和心脏的特征点(S102、S103)。
图3是表示利用了输出显示部1的超声波图像的检查者的操作画面的例子的图。
检查者如图3所示那样,一边观看输出显示部1的显示画面上的图像,一边通过输入部2的操作来设定心脏的超声波图像的截面像。心脏的超声波图像的截面像例如设定心尖2腔像202(Apical Two Chamber:A2C)和心尖4腔像203(Apical Four Chamber:A4C)的各自的舒张末期像(enddiastole)和收缩末期像(end systole)。
首先,检查者利用输入部2对输出显示部1的心脏的超声波图像的特征点进行输入。
例如,检查者操作跟踪球,拖动表示特征点的卡尺,输入瓣环部的隔膜侧的点即开始点a、侧壁侧的点即结束点b、心尖部的心尖点c这3个特征点。
接着,控制部6通过轮廓位置推定部3生成初始轮廓(S104)。
轮廓位置推定部3基于例如在S102中设定的生物体组织的种类,确定一个预先存储在存储部9中的轮廓模型数据,根据在S103中设定的图像上的心脏的特征点a、b、c的位置来调整所确定的轮廓模型数据的中心位置、大小及倾斜度,由此推定对象部位的轮廓位置并生成初始轮廓。此外,初始轮廓既可以是点的集合,也可以是表示曲线的函数。
图4是说明根据3个特征点生成初始轮廓的原理的图。
图4(a)是将通过3个特征点的曲线作为初始轮廓501的例子。在这里,将特征点设为瓣环a、b的2点和心尖c的1点。曲线利用多项式曲线、样条曲线、椭圆曲线等的函数。初始轮廓能够用作基于动态轮廓模型(ACM)的初始轮廓、边界检测的初始位置。这种情况下,定义曲线的函数的方程式是轮廓模型数据,基于特征点定义方程式的系数相当于调整轮廓模型数据的中心位置、大小及倾斜度。
另外,其他方式的轮廓模型如图4(b)所示那样,有时初始轮廓不通过特征点。在初始轮廓不通过特征点的情况下((动态形状模型(ASM)、动态外观模型(AAM)),一般对轮廓模型数据给予轮廓的中心位置、轮廓的大小、轮廓的倾斜度来生成初始轮廓501。下面,具体说明初始轮廓的生成处理。首先,轮廓位置推定部3根据3个特征点的坐标求出轮廓的中心位置502的坐标,例如作为重心的坐标。接着,轮廓位置推定部3基于从中心的坐标到3个特征点的各个距离来求出轮廓的大小。最后,轮廓位置推定部3根据与坐标的中心相应的角度来求出轮廓的倾斜度。
图5是表示轮廓的中心位置、大小、倾斜度的具体计算方法的原理的图。图5(a)表示轮廓模型数据601。图中的白色圆圈表示特征点、即瓣环的2点和心尖部的1点。轮廓模型数据采用例如在动态形状模型(ASM)、动态外观模型(AAM)中将以往取得到的多个轮廓点坐标进行平均化而得到的数据。图5(b)是实际上应该提取的左心室轮廓204。另外,图中的黑色圆圈是在S103中设定的特征点205。利用轮廓模型数据601和白色圆圈及黑色圆圈的特征点的坐标信息,来调整形状使得轮廓模型数据601尽可能接近左心室轮廓204。
轮廓模型数据601和左心室轮廓204的形状信息根据如图5(c)所示那样的白色圆圈和黑色圆圈的坐标来计算。
图5(c)是说明轮廓模型数据601和左心室轮廓204的形状信息的具体计算方法的图。首先,说明轮廓模型数据601和左心室轮廓204的中心位置的调整。轮廓模型数据601的中心位置G’的计算作为3个特征点a’、b’、c’的重心。接着,左心室轮廓204的中心位置G的计算作为3个特征点a、b、c的重心。图5(a)的轮廓模型数据601的中心位置G’被调整为与图5(b)的左心室轮廓204的中心位置G一致。
接着,说明轮廓的大小的调整。大小的调整根据从中心位置G到3点a、b、c的距离求得。在轮廓模型数据601的情况下,计算从中心G’到各特征点a’、b’、c’的距离Da’、Db’、Dc’。在左心室轮廓204的情况下,计算从中心G到各特征点a、b、c的距离Da、Db、Dc。接着,在各特征点,轮廓模型数据601和左心室轮廓204的距离之比分别为Da/Da’、Db/Db’、Dc/Dc’。接着,求出Da/Da’、Db/Db’、Dc/Dc’的各比的平均比Dave。最后,若以Da为例进行说明,通过使Da’围绕中心而变为Dave倍,由此能够放大缩小为左心室的平均轮廓的大小。另外,Db’、Dc’也同样地,通过使其围绕中心而变为Dave倍,由此能够放大缩小为左心室的平均轮廓的大小。
接着,说明轮廓的倾斜度的调整。关于倾斜度的调整,计算将轮廓模型数据601的中心位置G’和特征点a’连结起来的线段G’a’与将左心室轮廓204的中心G和特征点a连结起来的线段Ga所形成的角Aa。
关于特征点b、c也同样地,计算将轮廓模型数据601的中心G’和特征点b’连结起来的线段G’b’与将左心室轮廓204的中心G和特征点b连结起来的线段Gb所形成的角Ab,计算将左心室轮廓的中心G’和特征点c’连结起来的线段G’c’与将左心室轮廓的中心G和特征点c连结起来的线段Gc所形成的角Ac。
进而,求出角Aa、角Ab、角Ac的平均角Aave。因此,通过将轮廓模型数据601的角度返回平均角Aave的方式绕着G’旋转,由此能够使轮廓模型数据601与左心室轮廓的倾斜度大体一致,生成初始轮廓。
在以上的处理中,通过设定轮廓模型数据601的中心位置G、平均比Dave、平均角Aave,从而可以生成与左心室轮廓204的形状接近的初始轮廓501。
控制部6使轮廓提取部4提取轮廓(S105)。利用动态地变形的轮廓模型,从S104的初始轮廓中提取轮廓。被提取出的轮廓作为图2的提取轮廓204进行画面显示。
图6是说明轮廓提取部4的具体动作例的图。轮廓提取处理是使图6所示的初始轮廓501与左心室轮廓204相近似的处理。使其近似的处理方法例如是动态轮廓模型(ACM)、动态形状模型(ASM)及动态外观模型(AAM)等的动态地变形的轮廓模型。由轮廓模型求出的轮廓线由多个轮廓点构成,伴随着轮廓线的形状变化而轮廓点的位置发生移动。
一般,在动态地变形的轮廓模型中,将全部的轮廓点控制为靠近心肌的壁面的方向(箭头A方向)。例如,朝向轮廓线的垂直方向进行边界检测处理,使轮廓点朝向心肌的壁面的边界存在的方向(箭头A方向)移动。在图6的例子中,使轮廓点从初始轮廓501在垂直方向上向左心室轮廓204移动。
具体而言,轮廓提取部4按初始轮廓501上的每个轮廓点502,对跨过轮廓点502、且与初始轮廓501正交的方向的规定范围503进行边界检测处理。轮廓点502在初始轮廓501上被设定几十个左右。另外,规定范围503为了谋求处理的高速化及轮廓的平滑化而包括几十个左右的像素。边界检测处理能应用公知方法。例如,轮廓提取部4在与初始轮廓501正交的方向上,从规定范围503中包含的像素组中一个一个地确定关注像素,并计算关注像素中的变化量。关注像素中的变化量例如是关注像素的像素值与相邻像素(相邻的左右2点或相邻的左右上下4点等)的像素值之间差值的总和等。之后,轮廓提取部4从规定范围503的像素之中检测变化量最大的像素作为“边界”(在本实施例中为左心室轮廓204)的位置。之后,轮廓提取部4使轮廓点502移动至被检测为“边界”的位置处。
其中,作为例外,初始轮廓上的特征点(白色圆圈)朝向与左心室轮廓的特征点(黑色圆圈)205相近似的箭头B方向移动。
特征点205是由检查者指定为表示轮廓的一部分的位置的点,是轮廓的开始点a、结束点b、心尖点c这种的轮廓的基准点。轮廓提取部4以通过轮廓的基准点(特征点205)即开始点a、结束点b、心尖点c的方式提取轮廓。
即,轮廓提取部4以通过特征点205及已移动至检测为“边界”的位置后的轮廓点502的方式提取轮廓。
最终,轮廓线成为通过3个特征点且沿着心肌的壁面的这种形状。因此,即便在初始轮廓501的状态下不通过左心室轮廓的特征点205,在轮廓提取处理完成之后,也可提取出通过在左心室轮廓上的被指定的特征点205的这种轮廓。
控制部6为了平滑地连接轮廓点,利用样条曲线这种平滑化曲线,提取最终的轮廓线。之后,控制部6基于提取出的轮廓线,使计测部5计算对象部位的长度(Length)、面积(Area)、容积(Volume)等的计测项目(S106)。在左心室的例子中,作为容积计测法而利用了Modified Simpson法、Area Length法。在舒张末期和收缩末期双方的图像中计算了容积之后,能够求出舒张末期容积与收缩末期容积之差除以舒张末期容积而得到的值,以计算心脏射血分数(EF)。
控制部6将由计测部5计算的计测项目与图3所示的图像一起显示于输出显示部1(S107)。
图7是表示将图像和计测项目显示于输出显示部1的例子的图。
在图7中,表示了并排显示超声波图像202、203、提取轮廓204、计测值206的例子。
检查者确认是否适当地提取了轮廓(S108)。在画面上确认直到前步骤S107为止的处理所提取出的轮廓,若没有必要修正则结束处理,若有必要修正,则根据S102、S103的生物体组织的种类和特征点的设定再次进行处理。检查者利用输入部2根据需要手动地微调轮廓线。具体而言,检查者通过用鼠标拖放轮廓线等,手动地修正轮廓的位置。
如以上那样,在实施例1中,输出显示部1显示包括被检查者的对象部位在内的医用图像,输入部2一边参照医用图像的显示一边设定对象部位涉及的生物体组织的种类和特征点,轮廓位置推定部3基于对象部位的位置来生成初始轮廓,轮廓提取部4利用初始轮廓和特征点来提取沿着对象部位的形状的轮廓,控制部6将医用图像与提取出的轮廓合成之后的合成图像显示于输出显示部1,所以可以采用初始轮廓和特征点提取沿着对象部位的形状的轮廓,因而在对象部位是被检查者的个体差异大的运动脏器的情况下,在每次进行轮廓提取运算时都能提取沿着运动脏器的形状的轮廓,故能够提高被检查者的对象部位的提取的精度。
另外,检查者在通过观察被图像显示部显示出的合成图像来确认轮廓与对象部位的形状匹配的同时,还能够实时确认对象部位的计测项目(例如,长度、面积、容积),所以能够更高精度地计测被检查者的对象部位的形状信息。
另外,实施例1的特有效果在于,如心脏的2AC像202和4AC像203那样显示不同的2个以上的图像,并计算各自的对象部位的计测项目,所以能够综合地评价心脏的2AC像202和4AC像203。
实施例2
在本发明的实施例2中,说明追踪轮廓因心脏的搏动等运动脏器的运动逐渐发生变化的时间变化来提取轮廓的例子。
在实施例2中,超声波诊断装置的硬件构成及所执行的软件的S101至S108与实施例1相同,所以下面仅说明不同点。
图8是表示实施例2的动作顺序的流程图。
实施例2是接着实施例1的S108的“适当”判定之后进行的例子,所以图8的流程图通过端子B而与图2的流程图相连接。
检查者通过输入部2的操作来设定执行/不执行追踪超声波图像中的心脏的搏动以进行区域提取的跟踪运算。控制部6按照输入部2的操作来判定将跟踪运算设为“执行”还是“不执行”。若判定结果为“执行”,则进入S202,若判定结果为“不执行”,则结束处理(S201)。
控制部6针对每帧利用跟踪法检测轮廓点之中的特征点的移动位置(S202)。跟踪法例如已在日本特开2004-121834号公报中公开。因为若确定了特征点则轮廓线唯一地确定,故无需跟踪全部轮廓点,只要通过跟踪仅检测特征点的移动即可。控制部6利用在各帧中跟踪到的特征点来生成轮廓线。
控制部6使计测部5在各帧中计算计测项目(S203)。计测项目的计算与S105同样,不同点在于S105是单一时刻的计测值而在S203中得到时间序列的数据。
控制部6将所述计测值显示于输出显示部6(S204)。
图9是计测左心室的时间变化的显示画面。图9在图7的显示上追加了左心室容积变化曲线221。
左心室容积变化曲线221中,时间为横轴,容积为纵轴,例如在A2C图像202中针对每帧计算由点a~c示出的区域的容积,并进行图表化。
如以上,在实施例2中与实施例1同样地,能够更高精度地计测被检查者的对象部位的形状信息。
另外,实施例2的特有效果在于最初设定特征点即可,因而计测时间变化时的初始设定变得容易。另外,运算量也可以只是仅特征点的跟踪运算,由于可以缩短运算时间,故可缩短检查时间。
实施例3
在本发明的实施例3中,说明在心室与心房或者左心室与右心室相互之间切换要提取的轮廓的例子。
在实施例3中,超声波诊断装置的硬件构成和所执行的软件的S101至S108与实施例1相同,所以下面仅说明不同点。
图10是表示实施例3的动作顺序的流程图。
实施例3是接着实施例1的S108的“适当”判定之后进行的例子,故图10的流程图通过端子B而与图2的流程图相连接。
检查者通过输入部2的操作来设定超声波图像中的心脏的轮廓提取对象、具体而言为心室/心房切换。控制部6按照输入部2的操作,例如若是从心室向心房的“有切换”则进入S102,若为“无切换”则结束处理(S301)。在S301中例示了从心室向心房的切换,但是也可是从心房向心室的切换、或者从左心室向右心室的切换。
控制部6在切换成心房之后通过端子A而与图2的流程图相连接,执行S102至S108,将心房的轮廓、计测项目显示于输出显示部1,结束处理(S302)。
在实施例3中,表示变更心尖部的特征点的方法。若以变更心尖部的特征点为前提,则考虑图11这样的特征点设定方法。
图11是说明实施例3的从心室向心房移动的特征点设定方法的图。
图11(a)是示出了在检查者设定了瓣环部的特征点a和b之后,在其中点设定了心尖部的特征点c的情况下的图。之后,检查者通过输入部2的输入设备一边移动特征点c的位置一边由控制部6提取轮廓。
若检查者使特征点c沿着与连结特征点a和b的线段ab大体垂直的方向(图中的白色箭头的方向)移动,则如图11(b)所示那样每当从心室向心房移动时都由控制部6进行轮廓提取,并将提取轮廓显示于输出显示部1。
即,输入部2输入特征点之中的1点的移动信息,轮廓位置推定部3根据移动信息来调整所确定的轮廓模型数据的中心位置、大小及倾斜度,由此再次推定对象部位的轮廓位置并再次生成初始轮廓。之后,轮廓提取部4根据移动信息及所再次生成的初始轮廓来再次提取轮廓。
在图11的例子中,检查者能够使特征点c相对于线段ab向上方或下方移动。例如,在检查者使特征点c相对于线段ab向上方移动时,选择作为对象的组织是左心室,控制部6执行S104~S106。另外,相反地,在检查者使特征点c相对于线段ab向下方移动时,选择作为对象的组织是左心房,控制部6执行S104~S106,提取左心房轮廓801。
进而,在图12的例子中,能够以从左心室向右心室移动的方式左右反转特征点a和b。
图12是说明实施例3的从左心室向右心室移动的特征点设定方法的图。
在检查者将特征点a和b左右地更换时,瞬时控制部6对右心室、右心房执行S104~S106,能够分别提取右心室轮廓901和右心房轮廓902。
另外,在1个画面中,可以设定1条轮廓线并依次变更其特征点,也可设定多条轮廓线同时计测多个组织。
例如,能够设定为图13这样的显示画面。图13是表示同时计测左心室和左心房并显示该计测值的例子的图。左心室、左心房都进行独立的特征点的设定和轮廓提取处理,并行地显示轮廓线和计测值。另外,并不限于左心室和左心房的组合,也可组合右心室、右心房,进行多个组织的计测,并行地显示这些结果。
以上,在实施例3中与实施例1同样地,能够更高精度地计测被检查者的对象部位的形状信息。
另外,实施例3的特有效果在于,能够同时观察多个提取对象,并向检查者提供跨越多个对象部位的复合疾病的图像诊断。
实施例4
在本发明的实施例4中,说明取代实施例1中的轮廓模型而采用曲线模型的算法,一边变更生物体组织的特征点、种类一边进行轮廓提取的例子。
在实施例4中,超声波诊断装置的硬件构成和所执行的软件的S101至S108与实施例1相同,故下面仅说明不同点。
在实施例4中,采用了动态地变形的轮廓模型(ACM、ASM、AAM等),在运算步骤多且不具有PC等的高速运算处理功能的情况下是有用的算法。在将单纯形状的生物体组织设为对象的情况下,如实施例4那样,能够利用曲线模型作为更简易的模型。下面,主要说明与实施例1不同的步骤S104、S105。
控制部6通过轮廓位置推定部3根据在步骤S103中设定的特征点205,生成初始轮廓(S104)。
图14是表示采用了实施例4的曲线模型的轮廓提取的图。图14(a)的虚线是连结特征点的曲线,由多项式曲线、样条曲线、椭圆曲线等的函数进行表现。另外,如图14(b)所示那样,也可追加特征点d和e,形成连结5个特征点的这种曲线,点数没有限制。
控制部6通过轮廓提取部4进行轮廓提取处理(S105)。如图14(a)所示那样,以曲线为基准进行左心室壁面的边界检测处理,沿着箭头的方向使轮廓变形而得到左心室轮廓204。
在没有进行轮廓提取处理的情况下,在特征点变更时,成为基于图14的曲线模型1001的初始轮廓(虚线)的显示,使特征点移动来确认虚线的曲线,检查者利用输入部2来进行手动微调。
如以上,在实施例4中与实施例1同样地,能够更高精度地计测被检查者的对象部位的形状信息。
另外,实施例4的特有效果在于,在采用了轮廓模型的情况下,即便在处理繁重而不稳定时,通过采用简易的曲线模型也能减轻特征点变更时的处理的运算量,所以可以在没有压力的情况下进行操作。
实施例5
在本发明的实施例5中说明下述例子:在变更生物体组织的特征点、种类时,降低模型的精度以提高操作的实时性,在确定特征点、种类的时,使用高精度的模型以提高轮廓的提取精度。
在实施例5中,超声波诊断装置的硬件构成和所执行的软件的S101至S108与实施例3相同,所以下面仅说明不同点。
控制部6通过轮廓提取部4从在S104中生成的初始轮廓中提取轮廓(S105)。此时,将要提取的轮廓的精度设定得较低。在实施例3采用的ACM、ASM、AAM这样的轮廓模型的情况下,进行降低用于收敛轮廓的迭代次数、或者降低控制点的个数等的降低计算量的处理。在实施例4采用的曲线模型的情况下,进行降低表现曲线的函数的维数等的降低计算量的处理。
图15是说明实施例5的概略的轮廓提取的图。
图15的虚线是在S105中生成的轮廓,较之在实施例1~4示出的轮廓而成为概略的轮廓。
控制部6通过S103的特征点变更的操作来随时变更在S105中生成的轮廓。
即,若使特征点移动从而变更了其位置,则生成初始轮廓(S104),进行轮廓提取处理(S105)、计测项目的计算(S107),显示轮廓和计测项目的计测值。检查者一边在画面上确认该轮廓和计测项目的计测值,一边以近似实际的轮廓的方式使特征点移动,来进行轮廓形状的调整。
接着,检查者操作输入部2的输入设备来确定输入概略的轮廓。
控制部6通过确定概略的轮廓,将概略的轮廓用作特征点,进行初始轮廓的生成(S104)、轮廓提取处理(S105)、计测项目的计算(S107)。其中,这种情况下,不必如概略的轮廓提取那样降低计算量,来进行实施例1~4中说明过的这种精密的轮廓提取处理。
如以上,在实施例5中与实施例1同样地,也能够高精度地计测被检查者的对象部位的形状信息。
另外,实施例5的特有效果在于,在设定放置用于进行通常的轮廓提取的特征点的场所之前,显示概略的轮廓,所以能够减少设定通常特征点的位置接近、特别是通过手动进行的轮廓的位置的订正的移动距离。
实施例6
在本发明的实施例6中说明下述例子:存在想要移动的期望的轮廓点、且仅使配置于该轮廓点周边的轮廓线限定性变形的例子。
在实施例6中,超声波诊断装置的硬件构成和所执行的软件的S101至S108与实施例1相同,所以下面仅说明不同点。
图16是表示将实施例6的特征点从3点追加为4点的例子的图。
控制部6在在S103中设定特征点d,检查者调整只是特征点d周边的轮廓线。特征点d是通过输入部2在轮廓线上指定的点。再有,特征点a~d能够通过检查者使其位置移动,针对此时的动作说明使特征点d移动的情况。
在检查者使特征点d移动时,如图16(b)所示那样,仅使与特征点d相邻的特征点c与b之间的轮廓线变形(S105的变形例)。控制部6也可仅对特征点c和b之间(虚线)施加轮廓变形处理,还可在对轮廓点的整体施加轮廓变形处理之后,仅将特征点a与c之间(实线)用轮廓变形前的轮廓线置换。另外,假设能够由检查者通过输入设备自由地选择使从特征点d到相邻哪点的范围变形,。
如以上,在实施例6中与实施例1同样地,能够更高精度地计测被检查者的对象部位的形状信息。
另外,实施例6的特有效果在于,因为能够仅使轮廓线的局部变形,所以可以进行轮廓线的局部性微调,可以提取与心脏的形状更相符的轮廓。
实施例7
实施例7是下述方法:根据表示检查者设定出的计测项目、生物体组织的多个特征点,推定应该提取的轮廓线的条数、形状,进而决定详细的轮廓的位置。
下面,按照图18的流程图示出的处理流程进行说明。最初,控制部6在输出显示部1的显示画面上显示成为对象的生物体组织被绘制出的图像(S401)。在这里,如图17的显示画面301那样,以将左心室的计测作为目的而显示了心尖部4腔像302为例进行说明。
接着,检查者利用输入部2对在画面上显示出的生物体组织设定想要计测的生物体组织的种类(S402)。在图17的右上方显示成为计测对象的生物体组织的种类304,如果为心脏,则显示LV(左心室)、LA(左心房)、RV(右心室)、RA(右心房)的项目。检查者从中选择想要计测的生物体组织。在这里,表示选择了LV(在图17中用粗字、下划线表示。)的例子。
接着,检查者利用输入部2对在画面上显示出的生物体组织设定计测项目(S402)。在图17的右上方显示计测项目305,检查者从length(轮廓长)、area(面积)、volume(容积)、mass(心肌重量)之中选择1个或多个。计测项目305除了图17所示的以外,还可以设定必要的项目。在这里,表示选择了容积和重量的(在图17中用粗字、下划线表示。)的例子。
接着,检查者利用输入部2对在画面上显示出的生物体组织设定特征点306(S403)。在这里,说明为了表示左心室的位置而指定左心室瓣环部2点和左心室心尖部1点的例子。此外,左心室瓣环部2点可以由装置自动地设定,检查者仅指定左心室心尖部1点。
接着,装置通过轮廓位置推定部3进行轮廓位置的推定(S404)。在这里,根据S402中的输入信息可知想要计测的是LV的容积和心肌重量。因此,所需的轮廓为2条,且需要在左心室内膜和外膜的位置处进行提取(参照图17的第1轮廓307a、第2轮廓307b)。如果现有技术,则需要按每条轮廓来设定特征点。但是,在本实施例中,在对象部位的轮廓存在多个的情况下,轮廓位置推定部3利用在S403中设定的特征点来推定第1轮廓位置并生成第1初始轮廓,进而利用第1初始轮廓来推定第2轮廓位置并生成第2初始轮廓。因此,在轮廓数据库11中,预先将计测项目和所需的轮廓数建立关联,将特征点的位置和轮廓的位置建立关联,来进行存储。例如,在轮廓数据库11中,将生物体组织的种类及计测项目和用于推定轮廓位置的推定模型对应起来进行存储。另外,例如,在存储部9中将生物体组织的种类及计测项目和用于推定轮廓位置的推定程序对应起来进行存储。
如前述那样,在轮廓数据库11中,例如针对各种各样的计测项目、特征点,存储了用于提取对它们进行计测所需的轮廓的推定模型。推定模型是以往以不同的图像设定的轮廓,或是对其进行统计解析而一般化后的轮廓模型。在这里,轮廓位置推定部3在指定了瓣环部2点和心尖部1点时确定用于提取左心室内外膜轮廓的推定模型。图19的左图是将第1初始轮廓308a、第2初始轮廓308b叠加显示在超声波图像上的画面例。其中,也可不进行实际显示。例如,该推定模型包括在内膜侧通过瓣环部2点和心尖部1点的第1轮廓模型数据,进而包括在从内膜侧到外膜侧的一定间隔的位置处相当于外膜的第2轮廓模型数据。在这里,轮廓模型数据既能够设定各种各样的曲线,也可以基于以往计测出的轮廓来定义轮廓模型数据。
轮廓位置推定部3根据所设定的特征点的位置来调整在推定模型中包括的第1轮廓模型数据的中心位置、大小及倾斜度,由此推定第1轮廓位置并生成第1初始轮廓308a。进而,轮廓位置推定部3利用所生成的第1初始轮廓308a来推定第2轮廓位置,并生成第2初始轮廓308b。例如,轮廓位置推定部3以第1初始轮廓308a的各点和第2初始轮廓308b对应的各点在规定方向上(在本实施例中,第2初始轮廓308b位于第1初始轮廓308a的外侧的方向。)具有一定距离的方式,来调整在推定模型中包括的第2轮廓模型数据的中心位置、大小及倾斜度,由此推定第2轮廓位置并生成第2初始轮廓308b。
作为其他方法,也可不采用轮廓数据库11,而采用存储于存储部9的推定程序。在推定程序中预先存储了与所设定的计测项目、生物体组织的位置对应起来的、轮廓的数学计算方法,根据该方法推定轮廓位置并生成初始轮廓。例如,如果轮廓能用多项式函数进行表现,则可以根据组织的位置、大小来决定多项式函数的系数。
轮廓位置推定部3根据所设定的特征点的位置来调整由推定程序计算的第1轮廓模型数据的中心位置、大小及倾斜度,由此推定第1轮廓位置并生成第1初始轮廓308a。而且,轮廓位置推定部3利用所生成的第1初始轮廓308a来推定第2轮廓位置,并生成第2初始轮廓308b。例如,轮廓位置推定部3以第1初始轮廓308a的各点和第2初始轮廓308b对应的各点在规定方向上(在本实施例中,第2初始轮廓308b位于第1初始轮廓308a的外侧的方向。)具有一定距离的方式,来调整由推定程序计算的第2轮廓模型数据的中心位置、大小及倾斜度,由此推定第2轮廓位置并生成第2初始轮廓308b。
接着,装置通过轮廓提取部4详细地提取轮廓(S405)。因为通过S404的轮廓位置的推定可以决定轮廓的大致位置,所以此后更加详细地决定轮廓的位置。从图19的左图的轮廓开始处理之后,如图19的右图那样与左心室内外膜相符。
具体而言,轮廓提取部4按第1初始轮廓308a上的每个轮廓点,针对跨越轮廓点、且与第1初始轮廓308a正交的方向上的规定范围进行边界检测处理。边界检测处理如在实施例1中说明过的那样。并且,轮廓提取部4使轮廓点移动至检测为“边界”的位置。其中,作为例外,对于第1初始轮廓308a的特征点不进行边界检测处理,而被控制为通过所设定的位置。
即,轮廓提取部4以通过特征点及移动至检测为“边界”的位置后的轮廓点的方式来提取轮廓。
由此,能够提取第1轮廓(左心室的内膜轮廓)307a。
接着,轮廓提取部4按第2初始轮廓308b上的每个轮廓点,针对跨越轮廓点、且与第2初始轮廓308b正交的方向的规定范围进行边界检测处理。边界检测处理如在实施例1中说明过的那样。并且,轮廓提取部4使轮廓点移动至检测为“边界”的位置。
即,轮廓提取部4以通过移动至被检测为“边界”的位置后的轮廓点的方式来提取轮廓。
由此,能够提取第2轮廓(左心室的外膜轮廓)307b。
接着,装置通过计测部5利用提取轮廓的坐标信息来进行计测项目的计测(S406)。在这里,计算左心室容积和左心室心肌重量,例如如果为前者,则能应用Area-length法、Modified Simpson法,如果为后者,则能应用Area-length法、Truncated ellipsoid法。另外,也可从由外膜包围的部分的容积减去由内膜***的部分的容积之后作为心肌的容积,并通过将其与比重相乘而计算心肌重量。
接着,装置通过输出显示部1来输出超声波图像302、第1轮廓307a及第2轮廓307b、以及计测值303(S407)。如图17所示那样,第1轮廓307a及第2轮廓307b被叠加显示在超声波图像302上。计测值303在画面上显示该项目及数值。
参照图20,表示其他轮廓提取例。
检查者利用输入部2对在画面上显示出的生物体组织设定计测项目(S402)。在图20中,将想要计测的部位设为LV和LA,将计测项目仅设为容积。
接着,检查者利用输入部2对在画面上显示出的生物体组织设定特征点306(S403)。在这里,将特征点306设为瓣环部2点、心尖部1点、左心房下部1点。
装置例如通过轮廓位置推定部3从轮廓数据库11中提取与左心室对应的第1轮廓模型数据,基于特征点306(瓣环部2点、心尖部1点)来调整轮廓模型数据的中心位置、大小及倾斜度,由此推定第1轮廓位置并生成第1初始轮廓。另外,装置通过轮廓位置推定部3从轮廓数据库11中读出与左心房对应的第2轮廓模型数据,基于第1初始轮廓及特征点306(左心房下部1点)来调整第2轮廓模型数据的中心位置、大小及倾斜度,由此推定第2轮廓位置并生成第2初始轮廓(S404)。
接着,装置通过轮廓提取部4详细地进行轮廓提取处理,如图20所示那样提取第1轮廓309a、第2轮廓309b(S405)。
以上,根据实施例7,轮廓位置推定部3在对象部位的轮廓存在多个的情况下,利用特征点来推定第1轮廓位置并生成第1初始轮廓,进而利用第1初始轮廓来推定第2轮廓位置并生成第2初始轮廓。具体而言,装置将生物体组织的种类及计测项目和用于推定轮廓位置的推定模型或推定程序对应起来存储于存储部9。输入部2输入生物体组织的种类及计测项目,轮廓位置推定部3基于由输入部2输入的生物体组织的种类及计测项目来确定推定模型或推定程序,执行遵循所确定的推定模型或推定程序的处理,由此推定第1轮廓位置并生成第1初始轮廓。另外,轮廓位置推定部3基于第1初始轮廓来进行遵循所确定的推定模型或推定程序的处理,由此推定第2轮廓位置并生成第2初始轮廓。
根据实施例7,在计测对象需要多个轮廓的情况下,检查者最初设定成为计测对象的生物体组织的种类及计测项目,进而指定1个轮廓涉及的特征点,由此能够提取计测部位涉及的多个轮廓。因此,检查者能够减轻设定特征点的劳动和时间,能够有助于检查时间的缩短。
如上述那样,关于本发明的医用图像诊断装置或医用图像的轮廓提取处理方法的构成要素,输出显示部1显示包括被检查者的对象部位在内的医用图像,输入部2输入所述对象部位的特征点,初始轮廓生成部3推定所述对象部位的轮廓位置并生成初始轮廓,轮廓提取部4利用所述特征点及所述初始轮廓来提取沿着所述对象部位的形状的轮廓,控制部6将医用图像与提取出的所述轮廓合成之后的合成图像显示于输出显示部1,所以利用初始轮廓和特征点可提取沿着对象部位的形状的轮廓,在对象部位是被检查者的个体差异最大的运动脏器的情况下,在每次进行轮廓提取运算时提取沿着运动脏器的形状的轮廓,故能够提高被检查者的对象部位的提取的精度。
以上以超声波诊断装置中的心脏的计测为例进行了说明,但是对于其他诊断装置及生物体组织也同样可以适用。
符号说明
1输出显示部、2输入部、3初始轮廓生成部、4轮廓提取部、5计测部、6控制部。