CN104080408A - 超声波诊断装置、图像处理装置以及图像处理方法 - Google Patents
超声波诊断装置、图像处理装置以及图像处理方法 Download PDFInfo
- Publication number
- CN104080408A CN104080408A CN201380003169.6A CN201380003169A CN104080408A CN 104080408 A CN104080408 A CN 104080408A CN 201380003169 A CN201380003169 A CN 201380003169A CN 104080408 A CN104080408 A CN 104080408A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- positional information
- region
- motion
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明实施方式的超声波诊断装置具备设定部(172)和追踪部(173)。设定部(172)在将包含运动的组织的区域作为摄影对象而收集的二维或者三维的超声波图像数据的动态图像数据中,在至少1个时相的超声波图像数据中设定二维或者三维的关心区域。作为推定部的追踪部(173)在被收集了上述动态图像数据的区间中的上述至少1个时相以外的剩余时相的各超声波图像数据中,取得根据活动信息而推定为上述关心区域的区域的第1位置信息和根据上述活动信息以外的信息而推定为上述关心区域的区域的第2位置信息。追踪部(173)取得根据与上述活动信息的可靠度相关的可靠度指标将上述第1位置信息和上述第2位置信息合成后的位置信息作为上述关心区域的位置信息,来追踪上述关心区域。
Description
技术领域
本发明的实施方式涉及超声波诊断装置、图像处理装置以及图像处理方法。
背景技术
近年来,通过对超声波图像的动态图像应用二维或者三维的散斑追踪(ST:Speckle Tracking)技术来进行心脏的壁运动分析的技术正在实用化。在一般的ST中,在舒张末期(最初的R波时相)或者收缩末期的一时相将心肌的内外膜的轮廓作为初始轮廓位置来提供。而且,在ST中,通过使用在其余的时相中由局部的模式匹配处理或光流法得到的活动信息(移动向量)自动地追踪初始轮廓位置,来取得所需的全部时相的轮廓位置。因此,为了实现准确的轮廓位置的追踪,必须准确地推定移动向量。
但是,在心脏的应变率(strain rate)大的舒张早期(e’)的时相或收缩峰值(s’)的时相,帧间或体间的图案变化的程度大。因此,在ST中,如果帧频或体速率不足,则难以进行移动向量的准确的推定。尤其在二维图像的情况下,由于追踪的轮廓受到通过扫描切面的活动(through-plane)的影响,所以帧间的图案变化的程度变得更大,移动向量的准确的推定变得更困难。
并且,当由于噪声或伪影导致动态图像的画质差时,在混入了不需要的分量的位置,难以进行移动向量的准确的推定。在由于上述的各个原因而不能准确地推定活动信息时,发生追踪偏离,结果,不能进行准确的壁运动分析。
因此,提出了各种用于进行准确的追踪的方法,但这些方法不是与上述的各种原因的全部都对应的方法。这样,在现有的ST中,有时不能准确地得到轮廓的追踪结果。另外,即使在使用超声波图像以外的医用图像的动态图像来进行关心区域的追踪的情况下,也同样产生上述的问题。
专利文献1:日本特许第4079690号公报
专利文献2:日本特开2008-73423号公报
专利文献3:日本特开2002-306483号公报
发明内容
本发明要解决的课题在于,提供一种能够准确地得到关心区域的追踪结果的超声波诊断装置、图像处理装置以及图像处理方法。
实施方式的超声波诊断装置具备设定部、推定部、以及追踪部。设定部在将包含运动的组织的区域作为摄影对象而收集的二维或者三维的超声波图像数据的动态图像数据中,在至少1个时相的超声波图像数据中设定二维或者三维的关心区域。推定部在收集到上述动态图像数据的区间中的上述至少1个时相以外的剩余时相的各超声波图像数据中,取得根据活动信息而推定为上述关心区域的区域的第1位置信息和根据上述活动信息以外的信息而推定为上述关心区域的区域的第2位置信息。追踪部取得根据与上述活动信息的可靠度相关的可靠度指标将上述第1位置信息和上述第2位置信息合成后的位置信息作为上述关心区域的位置信息,来追踪上述关心区域。
附图说明
图1是表示第1实施方式所涉及的超声波诊断装置的结构例的框图。
图2是表示取得部取得的动态图像数据的一个例子的图。
图3是表示由操作者设定的初始轮廓的一个例子的图。
图4是表示图1所示的追踪部的结构例的框图。
图5A是用于说明第1实施方式所涉及的追踪部的图(1)。
图5B是用于说明第1实施方式所涉及的追踪部的图(2)。
图6是用于说明第1实施方式所涉及的追踪部的图(3)。
图7是用于说明第1实施方式所涉及的追踪部的图(4)。
图8是用于说明第1实施方式所涉及的追踪部的图(5)。
图9是用于说明第1实施方式所涉及的追踪部的图(6)。
图10是用于说明第1实施方式所涉及的追踪部的图(7)。
图11是用于说明第1实施方式所涉及的追踪部的图(8)。
图12是用于说明第1实施方式所涉及的追踪部的图(9)。
图13A是用于说明第1实施方式所涉及的追踪部的图(10)。
图13B是用于说明第1实施方式所涉及的追踪部的图(11)。
图13C是用于说明第1实施方式所涉及的追踪部的图(12)。
图14是用于说明第1实施方式所涉及的追踪部的图(13)。
图15是用于说明第1实施方式所涉及的追踪部的图(14)。
图16是用于说明第1实施方式所涉及的追踪部的图(15)。
图17是用于说明第1实施方式所涉及的超声波诊断装置进行的处理的概要的流程图。
图18是用于说明第1实施方式所涉及的追踪部进行的处理的一个例子的流程图。
图19是用于说明第2实施方式所涉及的追踪部进行的处理的一个例子的流程图。
图20是用于说明第2实施方式所涉及的变形例的图。
具体实施方式
以下,参照附图,详细地说明超声波诊断装置的实施方式。
(第1实施方式)
首先,针对第1实施方式所涉及的超声波诊断装置的结构进行说明。图1是表示第1实施方式所涉及的超声波诊断装置的结构例的框图。如图1所示那样,第1实施方式所涉及的超声波诊断装置具有超声波探头1、显示器2、输入装置3、心电图扫描仪4、装置主体10。
超声波探头1具有多个压电振子,这些多个压电振子根据由后述的装置主体10所具有的发送接收部11供给的驱动信号来产生超声波。另外,超声波探头1接收来自被检体P的反射波并转换成电信号。另外,超声波探头1具有设置于压电振子的匹配层、和防止超声波从压电振子向后方传播的背衬材料等。其中,超声波探头1与装置主体10自由拆卸地连接。
如果从超声波探头1对被检体P发送了超声波,则所发送的超声波被被检体P的体内组织中的声阻抗的不连续面依次反射,作为反射波信号由超声波探头1所具有的多个压电振子接收。所接收的反射波信号的振幅依赖于超声波被反射的不连续面中的声阻抗之差。其中,所发送的超声波脉冲被正在移动的血流或心脏壁等的表面反射时的反射波信号由于多普勒效应而依赖于移动体相对于超声波发送方向的速度分量,并接受频移。
例如,在本实施方式中,为了被检体P的二维扫描,多个压电振子配置一列而成的1D阵列探头作为超声波探头1与装置主体10连接。例如,作为超声波探头1的1D阵列探头是进行扇形扫描的扇形探头、进行偏置扇形扫描的凸探头、或进行线性扫描的线阵探头等。或者,例如在本实施方式中,为了被检体P的三维扫描,也可以将机械4D探头或2D阵列探头作为超声波探头1与装置主体10连接。机械4D探头能够如1D阵列探头那样使用以排列一列而成的多个压电振子来进行二维扫描,同时通过使多个压电振子以规定的角度(摆动角度)摆动能够进行三维扫描。另外,2D阵列探头能够通过矩阵状配置的多个压电振子来进行三维扫描,同时通过会聚并发送超声波能够进行二维扫描。
输入装置3具有鼠标、键盘、按钮、面板开关、触摸指令屏、脚踏开关、轨迹球、操作杆等,接受来自超声波诊断装置的操作者的各种设定要求,对装置主体10转送所接受的各种设定要求。其中,针对第1实施方式所涉及的输入装置3从操作者接受的设定信息将在之后详述。
显示器2显示超声波诊断装置的操作者使用输入装置3输入各种设定要求用的GUI(Graphical User Interface),或者显示在装置主体10中生成的超声波图像数据等。
作为被超声波扫描的被检体P的生物体信号,心电图扫描仪4取得被检体P的心电波形(ECG:Electrocardiogram)。心电图扫描仪4将所取得的心电波形发送至装置主体10。
装置主体10是根据超声波探头1接收到的反射波信号来生成超声波图像数据的装置。图1所示的装置主体10是能够根据超声波探头1接收到的二维的反射波数据来生成二维的超声波图像数据的装置。另外,图1所示的装置主体10是能够根据超声波探头1接收到的三维的反射波数据来生成三维的超声波图像数据的装置。以下,有时将三维的超声波图像数据记作“体数据”。
如图1所示,装置主体10具有发送接收部11、B模式处理部12、多普勒处理部13、图像生成部14、图像存储器15、内部存储部16、图像处理部17、控制部18。
发送接收部11具有脉冲发生器、发送延迟部、触发发生器等,对超声波探头1供给驱动信号。脉冲发生器以规定的速率频率反复产生用于形成发送超声波的速率脉冲。另外,发送延迟部对脉冲发生器所发生的各速率脉冲赋予用于将由超声波探头1产生的超声波会聚成束状并决定发送指向性所需的每个压电振子的延迟时间。另外,触发发生器以基于速率脉冲的定时,对超声波探头1施加驱动信号(驱动脉冲)。即,发送延迟部通过使对各速率脉冲赋予的延迟时间发生变化,来任意地调整从压电振子面发送的超声波的发送方向。
其中,发送接收部11为了根据后述的控制部18的指示来执行规定的扫描序列而具有能够瞬间变更发送频率、发送驱动电压等的功能。尤其,发送驱动电压的变更通过能够瞬间对其值进行切换的线性放大器型的发送电路或者电切换多个电源单元的机构来实现。
另外,发送接收部11具有前置放大器、A/D(Analog/Digital)转换器、接收延迟部、加法器等,对超声波探头1接收到的反射波信号进行各种处理来生成反射波数据。前置放大器将反射波信号按每个信道进行放大。A/D转换器对放大后的反射波信号进行A/D转换。接收延迟部赋予为了决定接收指向性所需的延迟时间。加法器对由接收延迟部处理后的反射波信号进行加法处理来生成反射波数据。通过加法器的加法处理,来自与反射波信号的接收指向性对应的方向的反射分量被强调,根据接收指向性和发送指向性形成超声波发送接收的综合性波束。
当对被检体P进行二维扫描时,发送接收部11从超声波探头1发送二维的超声波束。而且,发送接收部11根据超声波探头1接收到的二维的反射波信号生成二维的反射波数据。另外,当对被检体P进行三维扫描时,发送接收部11从超声波探头1发送三维的超声波束。而且,发送接收部11根据超声波探头1接收到的三维的反射波信号生成三维的反射波数据。
其中,来自发送接收部11的输出信号的方式能够选择是包含被称为RF(Radio Frequency)信号的相位信息的信号的情况或是包络线检波处理后的振幅信息的情况等各种方式。
B模式处理部12从发送接收部11接收反射波数据,进行对数放大、包络线检波处理等,来生成信号强度由辉度的明亮度表现的数据(B模式数据)。
多普勒处理部13根据从发送接收部11接收到的反射波数据对速度信息进行频率解析,提取出基于多普勒效应的血流、组织、或造影剂回波分量,生成针对多点提取出速度、方差、能量等移动体信息的数据(多普勒数据)。
其中,第1实施方式所涉及的B模式处理部12以及多普勒处理部13能够针对二维的反射波数据以及三维的反射波数据双方进行处理。即,B模式处理部12根据二维的反射波数据生成二维的B模式数据,根据三维的反射波数据生成三维的B模式数据。另外,多普勒处理部13根据二维的反射波数据生成二维的多普勒数据,根据三维的反射波数据生成三维的多普勒数据。
图像生成部14根据B模式处理部12以及多普勒处理部13生成的数据生成超声波图像数据。即,图像生成部14根据B模式处理部12生成的二维的B模式数据,生成由辉度表现反射波的强度的二维B模式图像数据。另外,图像生成部14根据多普勒处理部13生成的二维的多普勒数据,生成表示移动体信息的二维多普勒图像数据。二维多普勒图像数据是速度图像数据、方差图像数据、能量(power)图像数据、或者对这些进行组合后的图像数据。另外,图像生成部14还能够根据多普勒处理部13所生成的多普勒数据,生成沿着时间序列绘制(plot)出血流、组织的速度信息的多普勒波形。
在此,图像生成部14一般将超声波扫描的扫描线信号列转换(扫描转换)成视频等所代表的视频格式的扫描线信号列,生成显示用的超声波图像数据。具体而言,图像生成部14通过根据超声波探头1的超声波的扫描方式进行坐标转换,来生成显示用的超声波图像数据。另外,除了扫描转换以外,作为各种图像处理,图像生成部14例如使用扫描转换后的多个图像帧,进行重新生成辉度的平均值图像的图像处理(平滑化处理)、在图像内使用微分滤波器的图像处理(边缘强调处理)等。另外,图像生成部14对超声波图像数据合成各种参数的文字信息、刻度、体部标记等。
即,B模式数据以及多普勒数据是扫描转换处理前的超声波图像数据,图像生成部14所生成的数据是扫描转换处理后的显示用的超声波图像数据。其中,B模式数据以及多普勒数据还被称为原始数据(RawData)。
并且,图像生成部14通过对B模式处理部12生成的三维的B模式数据进行坐标转换,来生成三维B模式图像数据。另外,图像生成部14通过对多普勒处理部13生成的三维的多普勒数据进行坐标转换,来生成三维多普勒图像数据。即,图像生成部14生成“三维的B模式图像数据或三维多普勒图像数据”作为“三维超声波图像数据(体数据)”。
并且,图像生成部14为了生成用于将体数据显示于显示器2的各种二维图像数据而对体数据进行绘制处理。作为图像生成部14进行的绘制处理,存在进行剖面重建法(MPR:Multi Planer Reconstruction)来根据体数据生成MPR图像数据的处理。另外,作为图像生成部14进行的绘制处理,存在对体数据进行“Curved MPR:曲面重建”的处理、或对体数据进行“Maximum Intensity Projection:最大信号强度投影技术”的处理。另外,作为图像生成部14进行的绘制处理,存在体绘制(VR:Volume Rendering)处理。
图像存储器15是存储图像生成部14生成的显示用的图像数据的存储器。另外,图像存储器15还能够存储B模式处理部12、多普勒处理部13所生成的数据。例如,在诊断之后操作者能够调出图像存储器15所存储的B模式数据、多普勒数据,经由图像生成部14成为显示用的超声波图像数据。
其中,图像生成部14将超声波图像数据和为了生成该超声波图像数据而进行的超声波扫描的时间与从心电图扫描仪4发送来的心电波形建立对应并保存于图像存储器15。后述的图像处理部17、控制部18通过参照保存于图像存储器15的数据,能够取得为了生成超声波图像数据而进行的超声波扫描时的心时相。
内部存储部16存储用于进行超声波发送接收、图像处理以及显示处理的控制程序、诊断信息(例如患者ID、医师的意见等)、诊断协议、各种体部标记等各种数据。另外,根据需要,内部存储部16还被用于图像存储器15所存储的图像数据的保管等。另外,内部存储部16所存储的数据能够经由未图示的接口向外部装置传送。其中,外部装置例如是图像处理用的高性能的工作站、进行图像诊断的医师所使用的PC(Personal Computer)、CD或DVD等存储介质、打印机等。
图像处理部17为了进行计算机辅助诊断(Computer-AidedDiagnosis:CAD)而被设置于装置主体10。图像处理部17取得保存在图像存储器15中的超声波图像数据,进行用于辅助诊断的图像处理。而且,图像处理部17将图像处理结果保存于图像存储器15、内部存储部16。
具体而言,第1实施方式所涉及的图像处理部17为了提供运动的组织的运动信息而设置。上述的运动的组织例如是如心脏那样周期性运动的组织。如图1所示那样,第1实施方式所涉及的图像处理部17具有取得部171、设定部172、追踪部173、运动信息运算部174。其中,针对图像处理部17进行的处理将在之后详细地叙述。
控制部18控制超声波诊断装置的处理整体。具体而言,控制部18根据经由输入装置3由操作者输入的各种设定要求、从内部存储部16读入的各种控制程序以及各种数据,来控制发送接收部11、B模式处理部12、多普勒处理部13、图像生成部14以及图像处理部17的处理。另外,控制部18进行控制以使显示器2显示图像存储器15、内部存储部16所存储的显示用的超声波图像数据。另外,控制部18进行控制以便将图像处理部17的处理结果显示于显示器2,或者进行控制以便将上述处理结果输出至外部装置。
以上,针对第1实施方式所涉及的超声波诊断装置的整体结构进行了说明。在该结构下,第1实施方式所涉及的超声波诊断装置所具有的图像处理部17为了提供运动的组织(例如,周期性运动的组织)的运动信息,而在沿着时间序列的超声波数据组(超声波图像数据的动态图像数据)中进行关心区域的追踪。作为一个例子,第1实施方式所涉及的图像处理部17为了提供周期性运动的心壁的运动信息,在超声波图像数据的动态图像数据中,进行心肌的内膜的轮廓、心肌的外膜的轮廓的追踪。
其中,成为图像处理部17的处理对象的动态图像数据可以是二维超声波图像数据组,也可以是三维超声波图像数据组。
首先,图1所例示的取得部171取得将包含运动的组织的区域作为摄影对象而收集的二维或者三维的超声波图像数据的动态图像数据。具体而言,在第1实施方式中,动态图像数据是将作为运动的组织的周期性运动的组织收集为摄影对象的涵盖至少1个周期以上的区间的二维或者三维的超声波图像数据。即,取得部171取得将包含周期性运动的组织的区域收集为摄影对象的涵盖至少1个周期以上的区间的二维或者三维的超声波图像数据的动态图像数据。例如,操作者通过扇形探头对包含被检体P的心脏的区域进行二维扫描,或者进行三维扫描,来进行描绘出心肌的二维或者三维的超声波图像数据的动态图像数据的摄影。动态图像数据例如是通过B模式收集到的超声波图像数据组。由此,图像生成部14生成心肌的动态图像数据,并将所生成的动态图像数据保存于图像存储器15。
以下,作为一个例子,针对操作者通过对***肌水平的左室短轴切面进行二维扫描,来收集涵盖多次心跳的二维超声波图像数据的动态图像数据的情况进行说明。在***肌水平的左室短轴切面的超声波图像数据中,描绘出右心室(RV:Right Ventricular)的短轴面的一部分和左心室(LV:Left Ventricular)的短轴面的整体。另外,在***肌水平的左室短轴切面的超声波图像数据中,描绘出左心室内的前外侧***肌(APM:Anterolateral Papillary Muscle)和后***肌(PPM:Posteromedial Papillary Muscle)。
而且,作为追踪对象的区间,操作者例如设定从最初的舒张末期(ED:End Diastole)到下一舒张末期的1次心跳区间。以下,将最初的舒张末期的时相记作“ED0”,将下一舒张末期的时相记作“ED1”。“ED0”成为追踪开始时相,“ED1”成为追踪结束时相。
取得部171从图像存储器15取得操作者所设定的1次心跳区间(t=ED0~ED1)的动态图像数据。图2是表示取得部所取得的动态图像数据的一个例子的图。例如,如图2所示,作为1次心跳区间(t=ED0~ED1)的二维动态图像数据,取得部171从图像存储器15取得“时相:t1=E0”的图像数据“I(t1)”~“时相:tn=E1”的图像数据“I(tn)”。此外,本实施方式还能够适用于取得部171取得三维超声波图像数据的动态图像数据的情况。另外,本实施方式还能够适用于追踪对象的区间被设定为2次心跳区间或3次心跳区间的情况。
图1所例示的设定部172在取得部171所取得的动态图像数据中,在至少1个时相的超声波图像数据中设定二维或者三维的关心区域。当动态图像数据是二维超声波图像数据组时,设定部172设定二维的关心区域。另外,当动态图像数据是三维超声波图像数据组时,设定部172设定二维或者三维的关心区域。
另外,在向操作者提供周期性运动的心壁的运动信息的本实施方式中,关心区域成为左室内膜的轮廓或心肌外膜的轮廓。在本实施方式中,设定部172根据操作者手动设定的信息,来设定关心区域。图3是表示由操作者设定的初始轮廓的一个例子的图。
例如,操作者使用输入装置3进行追踪开始时相“t1=E0”的图像数据“I(t1)”的显示要求。显示器2根据控制部18的控制来显示图像数据“I(t1)”。操作者参照图3的上图所示的图像数据“I(t1)”,来映描(trace)左室内膜的轮廓的位置。另外,操作者参照图3的上图所示的图像数据“I(t1)”,来映描心肌外膜的轮廓的位置。由此,如图3的下图所示,设定部172将操作者映描出的左室内膜的轮廓的位置设定为左室内膜的初始轮廓位置“C(t1)”。另外,如图3的下图所示,设定部172将操作者映描出的心肌外膜的轮廓的位置设定为心肌外膜的初始轮廓位置“D(t1)”。在图3中,用粗的曲线表示操作者映描出的轮廓线。在此,心肌外膜的轮廓位置也可以自动地产生为从心内膜位置远离规定的厚度(规定的距离)的位置。
此外,本实施方式也可以将心肌的中层的轮廓的位置设定为初始轮廓位置。另外,本实施方式并不限定于使用由操作者手动设定的初始轮廓位置的情况,也可以是设定部172根据超声波图像数据的辉度等,自动地设定初始轮廓位置的情况。
而且,图1所例示的追踪部173在被收集了动态图像数据的区间中设定了初始关心区域的时相以外的其余时相的各超声波图像数据中进行关心区域的追踪。具体而言,追踪部173在追踪对象的区间中设定了初始关心区域的时相以外的剩余时相的各超声波图像数据中,进行关心区域的追踪。例如,追踪部173在追踪开始时相“t1=E0”以外的剩余时相““t2”~“tn=E1””各自的超声波图像数据“I(t2)~I(tn)”中追踪设定部172在追踪开始时相“t1=E0”设定的初始轮廓位置。
以往,初始关心区域的位置(初始轮廓位置)的追踪通过散斑追踪来进行。即,以往通过使用由局部的模式匹配处理或光流法得到的活动信息(移动向量),自动地追踪初始轮廓位置,来取得剩余时相“t2~tn=E1”的各超声波图像数据的关心区域的位置。但是,在心脏的应变率(strain rate)大的舒张早期时相、或收缩峰值时相中,帧间或体间的图案变化的程度大。
因此,在散斑追踪中,如果帧频或体速率不足则难以进行移动向量的准确的推定。尤其在二维图像数据的情况下,由于追踪的轮廓受到通过扫描切面的活动(through-plane)的影响,所以帧间的图案变化的程度变得更大,更难以进行移动向量的准确的推定。
并且,当由于噪声或伪影而动态图像数据的画质差时,在混入了不需要的分量的位置,难以进行移动向量的准确的推定。由于上述的各种原因,当不能准确地推定活动信息时,发生追踪偏离,其结果,将不能进行准确的壁运动分析。
对此,公知有一种在根据追踪结果得到的轮廓的位置与初始轮廓位置之间,检测活动矛盾的追踪点,并修正检测到的追踪点的位置的方法。但是,该方法是基于检测到的追踪点的周边的追踪点的位置是准确的这一前提的方法。但是,在图案变化的程度大的上述的时相中,活动信息的推定大范围地失败。即,在舒张早期时相或收缩峰值时相中,不满足该前提而不能进行高精度的追踪。
另外,公知有一种用户在图像内指定混入有噪声分量的区域,根据在该区域以外追踪到的轮廓的位置信息,来提供用户所指定的区域的轮廓位置的方法。但是,该方法需要用户手动修正追踪偏离位置处的轮廓,需要花费工夫。
另外,公知有一种根据基于图像数据的三维轮廓形状与基于光流的三维轮廓形状的线性和来确定最终的三维的轮廓的方法。但是,该方法虽然能够适用于使用了三维动态图像数据的轮廓追踪,但当适用于使用了二维动态图像数据的轮廓追踪时,由于不能排除上述的“through-plane”的影响,因此,对性能存在制约。另外,目前不知道明确地表示根据怎样的条件进行线形和的方法。
鉴于此,图1所例示的追踪部173为了准确地得到关心区域的追踪结果而进行以下说明的追踪处理。即,图1所例示的追踪部173在剩余时相的各超声波图像数据中,取得根据活动信息而推定为关心区域的区域的第1位置信息。另外,图1所例示的追踪部173在剩余时相的各超声波图像数据中,取得根据活动信息以外的信息(例如,形状信息)而推定为关心区域的区域的第2位置信息。即,追踪部173作为取得第1位置信息以及第2位置信息的推定部来发挥作用。而且,图1所例示的追踪部173根据与活动信息的可靠度相关的可靠度指标,取得将第1位置信息和第2位置信息合成后的位置信息作为关心区域的位置信息。由此,图1所例示的追踪部173在剩余时相的各超声波图像数据中追踪关心区域。在此,“可靠度指标”还被定义为作为活动信息的质量的“活动质量”。以下,有时将“可靠度指标”记作“活动质量”。
图4是表示图1所示的追踪部的结构例的框图。为了进行上述的追踪处理,例如如图4所示,追踪部173具有第1推定部173a、定义部173b、第2推定部173c、组合部173d。其中,以下说明的第1推定部173a和第2推定部173c也可以与追踪部173独立地在图像处理部17中设定为推定部。
第1推定部173a进行基于活动信息的关心区域的追踪处理、即散斑追踪处理。即,第1推定部173a在作为第1时相的超声波图像数据的第1图像数据与作为和第1时相在时间上相邻的第2时相的超声波图像数据的第2图像数据之间推定活动信息,根据推定出的活动信息来移动第1图像数据的关心区域,推定第2图像数据的第1位置信息。
具体而言,第1推定部173a对包含关心区域的区域内的多个点各自的移动向量进行运算。更具体而言,第1推定部173a通过模板匹配处理,对多个点各自的移动向量进行运算。而且,第1推定部173a针对构成关心区域的各追踪点,使用从包含追踪点的规定尺寸的段(segment)内得到的移动向量组中除去了在统计上异常的移动向量后的残留移动向量组来推定该追踪点的移动向量。第1推定部173a使用由此得到的各追踪点的移动向量,推定第1位置信息。而且,第1推定部173a通过使用从得到的移动向量组中除去了在统计上异常的移动向量后的残留移动向量组,推定构成关心区域的各追踪点的移动向量,来推定第1位置信息。
定义部173b根据由第1推定部173a的处理而得到的至少1个变量,对可靠度指标(活动质量)进行定义。第2推定部173c根据活动信息以外的信息(例如,形状信息)来推定第2图像数据的第2位置信息。组合部173d取得根据可靠度指标(活动质量)将第1位置信息与第2位置信息组合后的位置信息作为第2图像数据中的关心区域的位置信息。
以下,针对上述的各部所进行的具体处理的一个例子,使用图5A~图16详细地进行说明。图5A~图16是用于说明第1实施方式所涉及的追踪部的图。以下,针对在剩余时相“t2~tn=E1”的各超声波图像数据中追踪图3的下图所示的左室内膜的初始轮廓位置“C(t1)”的情况进行说明。通过以下说明的处理,针对心肌外膜的初始轮廓位置“D(t1)”也同样能够追踪。因此,针对心肌外膜的轮廓位置的追踪处理省略说明。
首先,如图5A所示,第1推定部173a在初始轮廓位置“C(t1)”设定多个追踪点。另外,如图5B所示,第1推定部173a在初始轮廓位置“C(t1)”的附近设定多个点。图5B所例示的多个点分别是用于运算活动信息(移动向量)的运算点。
而且,第1推定部173a设第1时相为“t1”,设第2时相为“t2”。并且,第1推定部173a在作为第1图像数据的“I(t1)”与作为第2图像数据的“I(t2)”之间推定活动信息,根据推定出的活动信息移动I(t1)的初始轮廓位置“C(t1)”。由此,如图6所示,第1推定部173a推定“I(t2)”的第1位置信息“Cvector(t2)”。
具体而言,第1推定部173a分别对在“I(t1)”中设定的多个运算点设定模板数据。模板数据由以运算点为中心的多个像素构成。而且,第1推定部173a通过在2个帧间、即“I(t1)”与“I(t2)”之间探索与模板数据的散斑图案最一致的区域,来追踪模板数据在下一帧中移动到哪一位置。由此,第1推定部173a对“I(t1)”的多个运算点各自的移动向量进行运算。以下,设“I(t1)”的多个运算点各自的移动向量的集合为{Mv0}。{Mv0}成为在多个运算点的各个中运算出的移动向量组。
图7表示了第1推定部173a运算出的移动向量组{Mv0}的一个例子。在图7中,空心的正方形表示运算点,从空心的正方形延伸出的线段表示移动向量。其中,图7所例示的移动向量组示意性地表示了在心内腔扩大的舒张早期的图像数据间运算出的移动向量组的样子。
而且,第1推定部173a将图5A所示的各追踪点以规定尺寸的段单位进行分割。例如,如图8所示,第1推定部173a使用美国超声心动图协会或美国心脏协会所推荐的分割区域,将短轴切面的左心室心肌分成“ANT-SEPT(前壁中隔)、ANT(前壁)、LAT(侧壁)、POST(后壁)、INF(下壁)、SEPT(中隔)”6个段。由此,图5A所示的各追踪点包含在图8所例示的6个段的任一个中。另外,图5B所示的各运算点包含在图8所例示的6个段的任一个中。
而且,第1推定部173a通过对各段所包含的移动向量组进行统计处理,来对各段的统计值进行运算,确定在各段中统计值成为异常值的移动向量。而且,第1推定部173a设确定出的移动向量的集合、即设统计值为异常值的移动向量的集合为{Mv’}。并且,第1推定部173a设从{Mv0}除去了{Mv’}后的移动向量的集合{Mv}为残留移动向量组。
例如,第1推定部173a对各段中的移动向量组的方差值“Vari(s)”进行运算。在此,如果设图8所例示的6个段为“s1、…、s6”,则第1推定部173a对6个方差值“Vari(s1)、…、Vari(s6)”进行运算。而且,第1推定部173a例如在段“s1”所包含的移动向量组中,将超过“α×Vari(s1)”的移动向量确定为异常移动向量。其中,“α”是规定的系数,作为“α”的值,“2”左右是优选的例子。第1推定部173a分别在段“s2、s3、s4、s5、s6”中同样地进行该处理。由此,如图9所示,第1推定部173a通过确定作为异常移动向量组的{Mv’},并从{Mv0}中除去{Mv’},来取得残留移动向量组{Mv}。
图9表示了第1推定部173a确定的异常移动向量组的一个例子。在图9中,用虚线表示第1推定部173a确定出的4个异常移动向量。其中,图9所例示的异常移动向量组{Mv’}是根据在图7中例示出的移动向量组{Mv0}、即在心内腔扩大的舒张早期的图像数据间运算出的移动向量组确定出的异常移动向量组。因此,图9中例示的残留移动向量组{Mv}大致成为朝向外向的方向的移动向量。
而且,第1推定部173a使用残留移动向量组{Mv},推定构成初始轮廓位置“C(t1)”的多个追踪点各自的移动向量。以下,将构成{Mv}的各要素的移动向量(残留移动向量)一般化为“Mv”进行说明。另外,在构成“C(t1)”的多个追踪点中,设任意的追踪点为“p(t1)”。第1推定部173a通过从残留移动向量组{Mv}中对位于p(t1)附近的几个移动向量进行平均,来取得p(t1)的移动向量“Mv_p(t1)”。
针对上述方法的一个例子,使用图10进行说明。在图10中,通过用点画影(hatching)的圆表示p(t1)。另外,在图10中,用空心圆表示位于p(t1)的附近的多个运算点,用从空心圆延伸出的箭头表示各运算点的残留移动向量。
例如,第1推定部173a设定以p(t1)为中心的规定半径的圆(参照图10所示的虚线的圆)。规定半径的长度可以是在***中预先设定的值,也可以是由操作者设定的值。而且,第1推定部173a通过对以p(t1)设定的圆内所包含的多个残留移动向量(在图10中为4个残留移动向量)进行平均,来推定p(t1)的移动向量“Mv_p(t1)”。第1推定部173a使用{Mv}在所有的追踪点进行上述的处理。
而且,如图11的上图所示,第1推定部173a将根据Mv_p(t1)使p(t1)移动而得到的点p(t2)的位置推定为第1位置信息。由此,如图11的下图所示,第1推定部173a取得“I(t2)”的第1位置信息“Cvector(t2)”。以下,在构成“Cvector(t2)”的多个追踪点中设任意的追踪点为“p(t2)”。
并且,定义部173b使用“由第1推定部173a的处理而得到的至少1个变量”,对作为“p(t2)”的可靠度指标的活动质量“Q_p(t2)”进行定义。
如上所述,第1推定部173a通过模板匹配来推定移动向量。即,第1推定部173a通过对当前时相的模板中的图像信号值的浓淡图案,探索在下一时相中存在最类似的图案的位置,来检测各运算点处的移动向量。鉴于此,定义部173b根据由第1推定部173a进行的模板匹配处理而得到的变量,对构成残留移动向量组{Mv}的各个残留移动向量“Mv”的可靠度“R(Mv)”进行定义。可靠度的定义所使用的变量能够列举以下说明的3个变量。
可靠度的定义所使用的第1变量是模板匹配处理中的基准模板的平均信号值。即,当模板的信号值极小时,可认为该模板不是对匹配有效的组织区域而是心腔内或白噪声的区域。从而,当模板内的信号的平均值“Tm”小时,使“R(Mv)”的值变小的操作变得妥当。
鉴于此,作为一个例子,定义部173b根据以下所示的式子(1),对“R(Mv)”进行定义。其中,以下的式子(1)所示的“Mth”是对基准模板内的信号平均值设定的下限阈值。“Mth”例如被预先保存于内部存储部16。或者,“Mth”例如由操作者来设定。
【数学公式1】
即,定义部173b针对使用“Tm”是“Mth”以上的基准模板而运算出的残留移动向量,将可靠度定义为“1”,针对使用“Tm”小于“Mth”的基准模板而运算出的残留移动向量,将可靠度定义为“0”。
可靠度的定义所使用的第2变量是模板匹配处理中的基准模板的信号方差值。即,当基准模板的信号值的浓淡图案过于一样时,可认为下一时相的探索范围中的浓淡图案也接近于一样。此时,由于在第2图像数据中在任何位置检测出最类似的位置的可能性高,因此,不能进行准确的移动向量的推定。从而,当基准模板内的信号的方差值“Tσ”小时,使“R(Mv)”的值变小的操作变得妥当。
鉴于此,作为一个例子,定义部173b根据以下所示的式子(2),对“R(Mv)”进行定义。其中,以下的式子(2)所示的“Sth”是对基准模板内的信号方差值设定的下限阈值。“Sth”例如被预先保存于内部存储部16。或者,“Sth”例如由操作者来设定。
【数学公式2】
即,定义部173b针对使用“Tσ”是“Sth”以上的基准模板而运算出的残留移动向量,将可靠度定义为“1”,针对使用“Tσ”小于“Sth”的基准模板而运算出的残留移动向量,将可靠度定义为“0”。
可靠度的定义所使用的第3变量是模板匹配处理中的模板间的类似度。第1推定部173a通过比较基准模板与下一时相的探索区域,来在第2图像数据中探索与基准模板最类似的位置。从而,能够对表示最终探索到的位置的区域与基准模板多么类似的类似度进行定义。作为代表性的类似度,存在相互相关系数“Ck”,当输入信号是实数时,“Ck”为“0≤Ck≤1”。在进行图像数据间的比较的本实施方式中,输入信号为实数,成为“0≤Ck≤1”。类似度变低的情况意味着在从当前时相到下一时相的时间经过中,追踪对象部位的图案变化大。从而,当作为类似度的“Ck”小时,使“R(Mv)”的值变小的操作变得妥当。
鉴于此,作为一个例子,定义部173b根据以下所示的式子(3),对“R(Mv)”进行定义。其中,以下的式子(3)所示的“Cth”是对模板匹配中的类似度设定的下限阈值。“Cth”例如被预先保存于内部存储部16。或者,“Cth”例如由操作者设定。
【数学公式3】
即,定义部173b针对“Ck”是“Cth”以上的残留移动向量,将可靠度定义为“Ck”,针对“Ck”小于“Cth”的残留移动向量,将可靠度定义为“0”。
其中,在上述的式子(1)以及式子(2)中,单纯地由阈值以“1”或者“0”来赋予“R(Mv)”。但是,本实施方式也可以将“R(Mv)”定义为使用了上述的控制变量的连续的单调增加的函数。另外,“R(Mv)”还能够通过使用了上述3个控制变量中的至少1个以上的组合来定义。在本实施方式中,优选使用上述3个控制变量的全部,来赋予最终的“R(Mv)”。此时,“R(Mv)”由将“Tm、Tσ、Ck”这3个作为控制变量的函数来定义。
定义部173b通过将各个残留移动向量的“R(Mv)”如上述那样进行定义,来进行各个残留移动向量的质量评价(可靠性的评价)。并且,如以下说明那样,定义部173b使用多个移动向量的空间上的连续性,来进行具有规定的尺寸的区域(段)中的移动向量的质量评价(可靠性的评价)。
在此,在生物体组织的活动中,难以发生极端的空间上的不连续。另一方面,在散斑追踪中,由于散斑噪声的影响可能检测到不合适的移动向量。因此,如上所述,第1推定部173a对各段中的移动向量组的方差值“Vari(s)”进行运算,从{Mv0}中将具有超过规定的阈值的异常值的移动向量组{Mv’}作为异常移动向量组而除去,得到残留移动向量组{Mv}。
鉴于此,定义部173b将由第1推定部173a进行的统计处理而得到的变量作为用于对活动质量(可靠度指标)进行定义的变量。
作为由统计处理得到的第1变量,存在多个追踪点各自的附近区域内的移动向量的方差值。在此,可认为附近区域内的移动向量在空间上的方差的值越小,则活动的质量越低。作为附近区域,定义部173b例如使用上述的6个段“s1、…、s6”。此时,定义部173b从第1推定部173a得到各段中的移动向量组的方差值“Vari(s)”。即,
定义部173b取得6个段“s1、…、s6”各自的“Vari(s1)、…、Vari(s6)”。
作为由统计处理得到的第2变量,存在在多个追踪点各自的附近区域中作为残留移动向量组而被采用的移动向量的密度。在此,可认为附近区域内的有效的移动向量(残留移动向量)的密度的值越小,则活动的质量越低。作为附近区域,定义部173b例如使用上述的6个段“s1、…、s6”。此时,定义部173b例如从第1推定部173a取得各段“s”内的{Mv0}的数量和各段“s”内的{Mv}的数量,对各段“s”中的有效移动向量的密度“ρ(s)”进行运算。作为一个例子,定义部173b通过以下所示的式子(4)对“ρ(s)”进行定义。
【数学公式4】
ρ(s)=(s内的{Mv}的数量)/(s内的{Mv0}的数量)…(4)
即,定义部173b将“s”内的{Mv0}的数量除以段“s”内的{Mv}的数量而得到的值定义为“ρ(s)”。定义部173b使用式子(4),取得6个段“s1、…、s6”各自的“ρ(s1)、…、ρ(s6)”。
而且,定义部173b使用上述的“R(Mv)”、“ρ(s)”以及“Vari(s)”的至少1个以上,对第1推定部173a运算出的各运算点的移动向量的活动质量“Q(s,Mv)”进行运算。例如,定义部173b将“Q(s,Mv)”通过以下的式子(5)进行定义。其中,以下的式子(5)所示的“Lth”是对移动向量的空间上的方差值设定的下限阈值。“Lth”例如被预先保存于内部存储部16。或者,“Lth”例如由操作者设定。
【数学公式5】
即,定义部173b针对“Vari(s)”小于“Lth”的段内所包含的运算点的移动向量,设活动质量为“0”。例如,当“Vari(s2)”小于“Lth”时,定义部173b针对“s2”所包含的运算点的移动向量,
设活动质量为“0”。
另外,定义部173b针对“Vari(s)”是“Lth”以上的段内所包含的运算点的移动向量,针对各个移动向量进行活动质量的运算。例如,当“Vari(s5)”是“Lth”以上时,定义部173b通过对“s5”所包含的各运算点的移动向量“Mv”的可靠度“R(Mv)”乘以“ρ(s5)”,来对“Q(s5,Mv)”进行运算。
由此,定义部173b对“Cvector(t2)”的推定所使用的各残留移动向量的活动质量(可靠度指标)进行定义。此外,定义部173b也可以使用“R(Mv)”,对各残留移动向量的活动质量进行定义。另外,定义部173b也可以使用“Vari(s)”以及“ρ(s)”的至少1个,对各残留移动向量的活动质量进行定义。
而且,定义部173b通过对位于p(t1)附近的几个残留移动向量的活动质量进行平均,来对作为“从p(t1)移动后的p(t2)”的可靠度指标的活动质量“Q_p(t2)”进行定义。例如,如图12所示,定义部173b将“Mv_p(t1)”的运算所使用的4个移动向量(残留移动向量)各自的活动质量的平均值作为“Q_p(t2)”进行运算。
其中,优选第1推定部173a的处理与定义部173b的处理在成为追踪对象的每个时相同步,被并列进行。该并列处理能够通过控制部18的控制来实现。另外,在上述的处理中使用的段的数量以及尺寸例如能够由操作者变更为任意的数量以及尺寸。另外,第1推定部173a的处理所使用的段和定义部173b的处理所使用的段也可以不同。
而且,第2推定部173c使用以下说明的由第1处理得到的位置信息、由第2处理得到的位置信息以及由第3处理得到的位置信息的至少1个位置信息,来推定第2位置信息。
在第1处理中,第2推定部173c通过将时相“t”的第2图像数据与同时相的形状词典信息“dict(t)”进行对照,来推定第2图像数据中的关心区域的位置信息“Cdict(t)”。当进行第1处理时,内部存储部16例如预先存储所有的心时相中的左室心肌的形状词典。而且,由于第2图像数据是“I(t2)”,因此,第2推定部173c从内部存储部16取得与时相“t2”对应的心时相的形状词典“dict(t2)”。而且,如图13A所示,第2推定部173c通过识别器的功能对“I(t2)”与“dict(t2)”进行对照,来推定“I(t2)”的关心区域(轮廓)的位置信息“Cdict(t2)”。作为识别器,在形状词典的学习和识别时双方中使用随机树的算法作为快速的方法而被熟知,该方法是本实施方式中的优选的例子。
在第2处理中,第2推定部173c根据形状能量最小化原理,推定时相“t”的第2图像数据中的关心区域的位置信息“Ceng(t)”。作为一个例子,第2推定部173c使用作为动态轮廓模型(ACM:ActiveContour Model)的一种而被熟知的SNAKE法。第2推定部173c在成为处理对象的第2图像数据内,设定心内腔的边界附近的轮廓线。所设定的轮廓线例如可以根据C(t1)来设定,也可以根据辉度信息来设定。
而且,直到形状能量的评价函数的值成为最小为止,第2推定部173c反复进行轮廓线的位置以及形状的修正。例如,直到轮廓线位于辉度急剧变化的位置,轮廓线内的辉度值变得均匀,轮廓线变短,轮廓线的形状变得平滑为止,第2推定部173c反复进行轮廓线的位置以及形状的修正。由此,如图13B所示,第2推定部173c推定作为第2图像数据的“I(t2)”的关心区域(轮廓)的位置信息“Ceng(t2)”。
在第3处理中,第2推定部173c通过包含基于最小二乘法的拟合(fitting)的处理,来推定时相“t”的第2图像数据中的关心区域的位置信息“Cfit(t)”。不过,在基于最小二乘法的拟合处理中,为了得到可靠性高的位置信息,作为拟合的输入,需要包含某种程度上准确的位置信息的多个控制点“r(t)”。因此,第2推定部173c只对活动质量(可靠度指标)降低的部位进行第3处理。
如上所述,在作为第2图像数据的“I(t2)”的构成“Cvector(t2)”的各追踪点p(t2)中,对活动质量“Q_p(t2)”进行定义。鉴于此,第2推定部173c确定“Q_p(t2)”为规定值以下的p(t2)。例如,如图13C的左图所示,第2推定部173c确定虚线的圆内所包含的p(t2)。而且,第2推定部173c设虚线的圆内所包含的p(t2)以外的p(t2)的集合为用于进行拟合处理的控制点组“r(t2)”,使用控制点组“r(t2)”实施最小二乘拟合。由此,例如如图13C的左图所示,第2推定部173c推定作为第2图像数据的“I(t2)”的关心区域(轮廓)的位置信息“Cfit(t2)”。
在第3处理中,当在Cvector(t)上活动质量由于局部的噪声的影响而降低那样的情况下,通过根据周边的活动质量高的Cvector(t)的位置只对活动质量降低的部位的轮廓位置恰当地进行插补,来得到“Cfit(t)”。换言之,第3处理成为根据周边的活动质量(可靠度指标)高的轮廓形状,来推定活动质量(可靠度指标)降低的部位的轮廓形状的处理。此外,第2推定部173c也可以只在Cvector(t)上活动质量降低的局部的位置进行第1处理来得到“Cdict(t)”,也可以进行第2处理来得到“Ceng(t)”。
并且,第2推定部173c使用“Cdict(t)”、“Ceng(t)”以及“Cfit(t)”的至少1个,对第2图像数据的第2位置信息“Cmodel(t)”进行定义。由于第2图像数据是“I(t2)”,因此,第2推定部173c使用“Cdict(t2)”、“Ceng(t2)”以及“Cfit(t2)”的至少1个,对“I(t2)”的第2位置信息“Cmodel(t2)”进行定义。
当只进行第1处理时,第2推定部173c设“Cdict(t2)”为“Cmodel(t2)”。另外,当只进行第2处理时,第2推定部173c设“Ceng(t2)”为“Cmodel(t2)”。另外,当只进行第3处理时,第2推定部173c设“Cfit(t2)”为“Cmodel(t2)”。
在此,如果得到了“Cvector(t)”以及“Q_p(t)”,则第2推定部173c能够推定“Cfit(t)”。另外,即使在没有得到“Cvector(t)”以及“Q_p(t)”的状态下,第2推定部173c也能够进行“Cdict(t)”的推定、“Ceng(t)”的推定。并且,第2推定部173c能够分别独立地进行“Cdict(t)”的推定和“Ceng(t)”的推定。
即,第2推定部173c还能够推定这3个位置信息。鉴于此,第2推定部173c也可以通过对这3个位置信息的全部或者从这3个位置信息中选择出的2个位置信息进行线性加法,来提供“Cmodel(t)”。例如,第2推定部173c例如通过对多个轮廓位置进行平均,来提供“Cmodel(t)”。
不过,为了得到“Cdict(t)”,需要在所有的时相准备形状词典。由于临床上的心脏的形状存在各种变化,因此,为了构成高精度的形状词典即使是一个时相一般也需要数百例以上的数据,使用涵盖心周期的全部时相中的形状词典不实际。
鉴于此,第2推定部173c在具有形状词典信息的特定时相,将由第1处理得到的位置信息作为第2位置信息。作为一个例子,在组织(心肌)的形状的局部变形的程度大的特定时相,第2推定部173c将由第1处理得到的位置信息作为第2位置信息。另外,在上述的特定时相以外的时相,优选第2推定部173c将由第2处理得到的位置信息、或者组合了由第2处理得到的位置信息以及由第3处理得到的位置信息后的位置信息作为第2位置信息。
在此,特定时相是心脏的应变率大的代表性的时相,是作为易于发生追踪偏差的时相的大的舒张早期(e’)时相或收缩峰值(s’)时相。当根据特定相位变更第2位置信息时,第2推定部173c在特定时相(e’、s’)中,通过第1处理将“Cdict(t)”作为“Cmodel(t)”。另外,当根据特定相位变更第2位置信息时,第2推定部173c在特定时相以外的时相中,将“Ceng(t)”作为“Cmodel(t)”。或者,当根据特定相位变更第2位置信息时,第2推定部173c在特定时相以外的时相中,将“Ceng(t)”和“Cfit(t)”线性相加后的轮廓位置作为“Cmodel(t)”。
在此,第2推定部173c能够与第1推定部173a以及定义部173b的处理并列执行第1处理以及第2处理。或者,第2推定部173c能够与第1推定部173a以及定义部173b的处理独立地执行第1处理以及第2处理。即,第2推定部173c在取得部171取得了动态图像数据的时刻,也可以在所有的剩余时相中进行第1处理以及第2处理。另外,当进行第3处理时,优选第2推定部173c在成为追踪对象的每个时相同步地与第1推定部173a以及定义部173b的处理并列进行第3处理。针对各部的处理的进行,能够由控制部18进行控制。
通过上述的处理,如图14的上图所示,第1推定部173a将基于轮廓位置“C(t1)”和活动信息{Mv}的轮廓位置“Cvector(t2)”作为多个追踪点“p(t2)”的集合来取得。另一方面,如图14的上图所示,第2推定部173c将基于活动信息以外的信息(例如,形状信息)的轮廓位置“Cmodel(t2)”作为位置、个数与“p(t2)”独立的轮廓控制点“q(t2)”的集合来取得。“Cvector(t2)”是第1位置信息,“Cmodel(t2)”成为第2位置信息。而且,在作为多个追踪点的“p(t2)”的各个中,对活动质量(可靠度指标)进行定义。
并且,组合部173d根据可靠度指标(活动质量)对第1位置信息与第2位置信息进行组合。具体而言,组合部173d根据可靠度指标(活动质量)对第1位置信息与第2位置信息进行加权相加。更具体而言,组合部173d对第1位置信息与第2位置信息进行加权相加,以使得当可靠度指标(活动质量)高时第1位置信息的权重变高。为了进行该处理,组合部173d在“Cmodel(t2)”中取得分别与多个追踪点“p(t2)”对应的多个点“cross_p(t2)”。例如,如图14的上图所示,组合部173d通过由“Cvector(t2)”定义的轮廓线,分别在“p(t2)”中求出法线向量“Vnormal_p(t2)”。而且,如图14的上图所示,组合部173d将法线向量“Vnormal_p(t2)”与由“Cmodel(t2)”定义的轮廓线的交点设为“cross_p(t2)”。
并且,如图14的下图所示,组合部173d将“Cmodel(t2)”转换成由多个点“cross_p(t2)”构成的“Cmodel(t2)’”。
由此,组合部173d取得分别与多个追踪点“p(t2)”对应的位于Cmodel(t2)上的多个点“cross_p(t2)”。“p(t2)”的“Q_p(t2)”成为作为“cross_p(t2)”的活动质量的“Q_cross_p(t2)”。
在此,一般将时相“t”的第1位置信息作为由多个追踪点“p(t)”构成的“Cvector(t)”,将各追踪点“p(t)”的活动质量作为“Q_p(t)”。另外,一般将时相“t”的第2位置信息作为由多个控制点“q(t)”构成的“Cmodel(t)”,将由多个点“cross_p(t2)”对“Cmodel(t)”进行转换后的第2位置信息作为“Cmodel(t)’”。此时,组合部173d例如通过以下的式子(6),根据“Q_p(t)”对“Cvector(t)”和“Cmodel(t)’”进行加权相加,来求出时相“t”的轮廓位置“C(t)”。其中,“Q_p(t)”通过上述的定义被归一化为“0≤Q_p(t)≤1”。
【数学公式6】
即,在式子(6)的第1项中,求得对“Cvector(t2)”上的追踪点“p(t2)”的位置向量乘以权重“Q_p(t2)”而得到的位置向量。另外,在式子(6)的第2项中,求得对“Cmodel(t2)’”上的点“cross_p(t2)”的位置向量乘以权重“1-Q_p(t2)”而得到的位置向量。而且,在式子(6)中,由将这2个位置向量相加的位置向量决定的点被推定为构成时相“t2”的“I(t2)”中的轮廓位置“C(t2)”的点。这样,在活动的质量足够高的情况(Q_p(t)=1)下,如以往那样,对各追踪点p(t)通过基于活动信息的Cvector(t)来决定最终的轮廓位置C(t)。另一方面,在活动的质量非常低的位置或时相的情况(Q_p(t)=0)下,通过基于活动信息以外的信息的Cmodel(t)’来决定C(t)。并且,在活动质量为中等的情况(0<Q_p(t)<1)下,根据Q_p(t)的值合成双方的轮廓位置,根据活动质量自动地提供确切的轮廓位置。另外,由于构成C(t)的追踪点p(t)的个数是一定的,因此,在决定轮廓位置的同时实现了追踪动作。
图15是组合部173d在短轴像中,模拟了根据“Q_p(t)”将“Cvector(t)”与“Cmodel(t)”合成而得到的轮廓位置“C(t)”的示意图。在图15中,表示了在左侧的壁上活动质量高,在右侧的壁上活动质量低时的例子。即,在图15中,“C(t)”的位置被重建为在左侧接近“Cvector(t)”,在右侧接近“Cmodel(t)”的位置。
而且,组合部173d将构成由式子(6)推定出的轮廓位置“C(t2)”的多个点作为多个追踪点“p(t2)”,通知给第1推定部173a。由此,构成追踪部173的各部在上述的说明中,进行将“t1”置换为“t2”,将“t2”置换为“t3”的处理。明显如图16所示,第1推定部173a在作为第1图像数据的“I(t2)”与作为第2图像数据的“I(t3)”之间进行散斑追踪,推定Cvector(t3),定义部173b对“p(t3)”的活动质量“Q_(pt3)”进行定义。另外,第2推定部173c推定“I(t3)”的“Cmodel(t3)”。而且,如图16所示,组合部173d将“Cmodel(t3)”转换成“Cmodel(t3)’”,通过根据“Q_p(t3)”合成“Cvector(t3)”与“Cmodel(t3)”,来推定轮廓位置“C(t3)”。
追踪部173针对内膜的轮廓位置反复进行上述的处理,直到时相“tn=E1”。由此,追踪部173在所有的时相中,得到内膜的轮廓位置“C(t1)、C(t2)、…、C(tn)”。另外,追踪部173针对外膜的轮廓位置也反复进行上述的处理,直到时相“tn=E1”。由此,追踪部173在所有的时相中,得到外膜的轮廓位置“D(t1)、D(t2)、…、D(tn)”。
而且,图1所示例的运动信息运算部174使用动态图像数据各自的关心区域的位置信息对组织的运动信息进行运算。例如,作为壁运动信息,运动信息运算部174对应变(Strain)、应变的时间变化率(Strain Rate)等各种物理量进行运算。操作者能够进行心脏功能的分析,并且任意地选择想要评价的局部的壁运动信息或整体的壁运动信息,使运动信息运算部174进行运算。并且,控制部18使运动信息显示于显示器2。
接着,使用图17以及图18,针对第1实施方式所涉及的超声波诊断装置的处理进行说明。图17是用于说明第1实施方式所涉及的超声波诊断装置进行的处理的概要的流程图,图18是用于说明第1实施方式所涉及的追踪部进行的处理的一个例子的流程图。
如图17所例示那样,第1实施方式所涉及的超声波诊断装置所具有的取得部171判定是否被指定了动态图像数据以及追踪对象区间(步骤S101)。在此,当没有被指定时(步骤S101否定),取得部171待机到被指定为止。
另一方面,当被指定了动态图像数据以及追踪对象区间时(步骤S101肯定),取得部171取得追踪对象区间的动态图像数据(步骤S102)。然后,设定部172判定是否由操作者设定了初始轮廓位置(步骤S103)。在此,当没有设定时(步骤S103否定),设定部172待机到设定初始轮廓位置为止。
另一方面,当设定了初始轮廓位置时(步骤S103肯定),追踪部173取得初始轮廓位置,追踪剩余时相的轮廓的位置(步骤S104)。然后,如果剩余时相的轮廓追踪结束,则运动信息运算部174对心壁的运动信息进行运算(步骤S105),显示器2通过控制部18的控制来显示心壁的运动信息(步骤S106),然后结束处理。
在此,图17所示的步骤S104的处理成为图18所例示的流程图的处理。即,第1推定部173a取得图像数据I(tk)的轮廓位置C(tk)(步骤S201)。在最初的处理中,成为“tk=t1”。
然后,第1推定部173a通过从I(tk)向I(tk+1)的ST,对{Mv0}进行运算(步骤S202)。而且,第1推定部173a通过统计处理,取得作为残留移动向量组的{Mv}(步骤S203),并使用{Mv}在各追踪点对Mv_p(tk)进行计算,推定Cvector(tk+1)(步骤S204)。
另外,在正进行步骤S204的处理的期间,定义部173b对作为构成Cvector(tk+1)的各追踪点p(tk+1)的可靠度指标的活动质量Q_p(tk+1)进行运算(步骤S205)。在正进行步骤S202~步骤S204以及步骤S205的处理的期间,第2推定部173c推定I(tk+1)的Cmodel(tk+1)(步骤S206)。
然后,组合部173d使用Cvector(tk+1),将Cmodel(tk+1)转换成Cmodel(tk+1)’(步骤S207)。而且,组合部173d根据各追踪点p(tk+1)的活动质量Q_p(tk+1),组合Cvector(tk+1)与Cmodel(tk+1)’,取得I(tk+1)的轮廓位置C(tk+1)(步骤S208)。
然后,组合部173d判定是否为“k+1=n”(步骤S209)。在此,当“k+1<n”时(步骤S209否定),组合部173d判定为存在未进行轮廓追踪的时相,设定为“k=k+1”(步骤S210),而且,设C(tk+1)为C(tk),追踪部173反复进行步骤S202以后的处理。
另一方面,当“k+1=n”时(步骤S209肯定),组合部173d将在所有的时相结束了轮廓追踪的信息通知给运动信息运算部174,开始步骤S105的处理。
如上所述,在第1实施方式中,当进行关心区域的追踪时,与基于活动信息的关心区域的位置推定一起进行基于活动信息以外的信息的关心区域的位置推定。而且,在第1实施方式中,根据各种信息对活动信息的质量(可靠度指标)进行定义,根据质量(可靠度指标)将基于活动信息的推定位置和基于活动信息以外的信息的推定位置合成。即,在第1实施方式中,在散斑追踪处理中根据活动质量(可靠度指标)鉴定活动信息不足的局部位置、活动信息的可靠性低的局部位置、以及活动信息在时间空间上的匹配性低的局部位置,针对这些位置,并用由活动以外的信息求得的轮廓位置来决定最终的轮廓位置。
由此,在第1实施方式中,即使在由于图像噪声的存在或帧频不足而导致活动信息的推定性能降低的情况下,也能够自动地取得不存在极端的追踪偏差的关心区域的位置。从而,在第1实施方式中,能够准确地得到关心区域的追踪结果。另外,在第1实施方式中,能够自动地取得不存在极端的追踪偏差的关心区域的位置,因此,能够简便地提供鲁棒的组织运动的评价。
此外,在上述的第1实施方式中,为了简化说明,针对追踪部173在时间上以正方向(forward)进行关心区域的追踪的情况进行了说明。但是,追踪部173也可以在时间上以反方向(backward)进行关心区域的追踪。
换言之,第1推定部173a能够对从时相“tk”朝向时相“tk+1”的正方向的移动向量“MvF”进行运算,同时能够对从时相“t+1”朝向时相“tk”的反方向的移动向量“MvB”进行运算。即,在上述的第1实施方式中,通过根据“MvF”对时相“tk”的追踪点p(tk)推定移动向量“MvF_p(tk→tk+1)”,来推定时相“tk+1”的追踪点p(tk+1)的位置。
另一方面,第1推定部173a能够对从时相“tk+1”朝向时相“tk”的反方向的移动向量“MvB”进行运算。而且,第1推定部173a能够根据“MvB”,对时相“tk+1”的追踪点p(tk+1)推定移动向量“MvB_p(tk+1→tk)”。由此,第1推定部173a能够推定时相“tk”的追踪点p(tk)的位置。
此时,定义部173b通过并用“MvF”和“MvB”,能够提供对作为可靠度指标的活动质量进行定义的信息。即,由“MvB_p(tk+1→tk)”得到的p(tk)的位置不一定与通过“MvF_p(tk→tk+1)”移动到p(tk+1)的p(tk)的位置一致。这是由于进行模板匹配时成为探索对象的图像数据不同,因此,“MvF”与“MvB”可能由于散斑噪声的影响而不一致。另一方面,期待在噪声影响小时双方的移动向量的一致度高。
鉴于此,当进行根据“MvF”和“MvB”对作为可靠度指标的活动质量进行定义的变形例时,第1推定部173a在第1图像数据与第2图像数据之间,推定构成关心区域的各追踪点的从第1时相朝向第2时相的正方向移动向量和构成关心区域的各追踪点的从第2时相朝向第1时相的反方向移动向量。而且,定义部173b将构成关心区域的各追踪点中的正方向移动向量与反方向移动向量的一致度作为“由第1推定部173a的处理而得到的至少1个变量”来使用。
第1推定部173a在从时相“tk”朝向时相“tk+1”的正方向中,通过在上述的实施方式中说明的处理来进行“MvF”的运算、“MvF_p(tk→tk+1)”的推定以及p(tk+1)的位置推定。而且,第1推定部173a在从时相“tk+1”朝向时相“tk”的反方向中,对于由“MvF”决定的p(tk+1),使在上述的实施方式中说明的处理的时相反转来执行。由此,第1推定部173a进行“MvB”的运算、“MvB_p(tk+1→tk)”的推定。
在此,“MvF_p(tk→tk+1)”以及“MvB_p(tk+1→tk)”均能够作为时相“tk+1”中的追踪点p(tk+1)的变量。即,如果进行一般化,则这2个变量能够表现为对于时相“t”中的追踪点p(t)的2个变量“MvF_p(t)”以及“MvB_p(t)”。使用该表现,作为一个例子,定义部173b能够通过以下所示的式子(7),对追踪点p(t)的正方向和反方向双方的移动向量的一致度“MM_p(t)”进行定义。其中,式子(7)中的“·”表示向量的内积。
【数学公式7】
MM_p(t)=-MvB_p(t)·MvF_p(t)···(7)
如果通过式子(7)对“MM_p(t)”进行定义,则在追踪点p(t)的正方向移动向量的逆向量与追踪点p(t)的反方向移动向量一致的情况下,“MM_p(t)=1”。另外,在式子(7)的定义中,当追踪点p(t)的正方向移动向量与追踪点p(t)的反方向移动向量正交时,“MM_p(t)=0”。另外,当“MM_p(t)”的值成为“比1小的正值”时,意味着追踪点p(t)的正方向移动向量与反方向移动向量所成的角位于比0度大比90度小的范围,至少检测出相互相同的朝向的向量。另外,当“MM_p(t)”的值为“负”时,意味着追踪点p(t)的正方向移动向量与反方向移动向量所成的角超过90度,检测出相互反向的向量。从而,可认为“MM_p(t)”的值以及极性越小,则作为可靠度指标的活动质量越低。
鉴于此,定义部173b使用“MM_p(t)”,通过以下的式子(8)对活动质量“Q(s,Mv)”进行定义。
【数学公式8】
即,定义部173b将包含得到了“MM_p(t)”是“0”以上的值的追踪点“p(t)”的段“s”内的各残留移动向量“Mv”的活动质量“Q(s,Mv)”定义为“MM_p(t)”。另外,定义部173b将包含得到了“MM_p(t)”的值为“负”的值的追踪点“p(t)”的段“s”内的各残留移动向量“Mv”的活动质量“Q(s,Mv)”定义为“0”。其中,由式子(8)定义的活动质量满足“0≤Q(s,Mv)≤1”的条件。此外,定义部173b也可以并用式子(5)和式子(8),对活动质量“Q(s,Mv)”进行定义。
而且,定义部173b使用由式子(8)进行定义的“Q(s,Mv)”或者并用式子(5)和式子(8)来定义的“Q(s,Mv)”,对“Q_P(t)”进行定义。
此外,上面针对在1个时相设定初始轮廓位置的情况进行了说明。但是,初始轮廓位置也可以在多个时相设定。例如,本实施方式也可以在难以进行散斑追踪的舒张早期的时相与收缩末期的时相,设定第1初始轮廓位置以及第2初始轮廓位置。此时,追踪部173并行进行使用了第1初始轮廓位置的追踪处理和使用了第2初始轮廓位置的追踪处理。
另外,第2推定部173c执行的处理并不限定于上述说明的第1处理、第2处理以及第3处理。例如,第2推定部173c也可以执行AQ(Acoustic Quantification)法或ASM(Active Shape Model)法。
(第2实施方式)
在第2实施方式中,针对用于减轻运算处理量的控制方法进行说明。在第1实施方式中,针对在剩余时相的全部时相,运算第2位置信息“Cmodel(t)”的情况进行了说明。但是,为了不依赖于画质而稳定地自动检测准确的关心区域(轮廓)的位置,如果对剩余时相的全部时相都运算第2位置信息,则运算量增加。尤其使用识别器来推定“Cdict(t)”的第1处理成为虽然轮廓位置的推定中的准确性增加,但需要识别器的识别时间的处理。
另一方面,在散斑追踪处理中,大多数情况下进行基于第1位置信息“Cvector(t)”的关心区域(轮廓)的决定,只在作为可靠度指标的活动的质量降低的情况下需要“Cmodel(t)”。鉴于此,在第2实施方式中,针对只在活动的质量降低的时相对“Cmodel(t)”进行运算,来降低运算时间的情况进行说明。
第2实施方式所涉及的超声波诊断装置是与图1所例示的第1实施方式所涉及的超声波诊断装置相同的结构。另外,第2实施方式所涉及的追踪部173是与图4所例示的第1实施方式所涉及的追踪部173相同的结构。
不过,第2实施方式所涉及的追踪部173通过控制部18的控制,进行以下说明的处理。即,第2实施方式所涉及的追踪部173针对可靠度指标(活动质量)的关心区域中的平均值是规定的阈值以上的时相,将第1位置信息作为关心区域的位置信息来输出。另外,第2实施方式所涉及的追踪部173针对上述的平均值比规定的阈值小的时相,将组合了第1位置信息和第2位置信息的位置信息作为关心区域的位置信息来输出。
以下,针对当第1图像数据是“I(t1)”,第2图像数据是“I(t2)”时,在第2实施方式中进行的处理进行说明。在第2实施方式中,与第1实施方式相同,进行取得部171以及设定部172的处理。而且,通过在第1实施方式中说明的处理,第1推定部173a推定“I(t2)”的第1位置信息“Cvector(t)”。另外,通过在第1实施方式中说明的处理,定义部173b对构成“Cvector(t)”的各点“p(t2)”的活动质量“Q_p(t2)”进行定义。
并且,定义部173b对将各点“p(t2)”处的活动质量“Q_p(t2)”平均后的“Q(t2)”进行运算。
控制部18从定义部173b取得“Q(t2)”的值,进行质量阈值“Qth”与“Q(t2)”的比较。“Qth”例如被预先保存于内部存储部16。或者,“Qth”例如由操作者设定。
而且,当“Q(t2)≥Qth”时,控制部18停止第2推定部173c以及组合部173d的处理,设第1推定部173a推定出的“Cvector(t2)”为“C(t2)”。第1推定部173a将“Cvector(t2)”作为“C(t2)”,输出至运动信息运算部174。
另一方面,当“Q(t2)<Qth”时,控制部18使第2推定部173c以及组合部173d的处理开始。由此,第2推定部173c推定“Cmodel(t2)”,组合部173d根据“Cvector(t2)”以及“Cmodel(t2)”得到“Cmodel(t2)’”。而且,组合部173d根据“Q_p(t2)”对“Cvector(t2)”与“Cmodel(t2)’”进行加权相加,取得“C(t2)”并输出至运动信息运算部174。
其中,除了根据平均值来判定是否进行第2推定部173c以及组合部173d的处理的点以外,在第1实施方式中说明的内容也能够适用于第2实施方式。
接着,使用图19,针对第2实施方式所涉及的超声波诊断装置的处理进行说明。图19是用于说明第2实施方式所涉及的追踪部进行的处理的一个例子的流程图。
即,在第2实施方式中,图17所示的步骤S104的处理成为图19所例示的流程图的处理。即,第1推定部173a取得图像数据I(tk)的轮廓位置C(tk)(步骤S301)。在最初的处理中,“tk=t1”。
而且,第1推定部173a通过从I(tk)向I(tk+1)的ST,对{Mv0}进行运算(步骤S302)。然后,第1推定部173a通过统计处理,取得作为残留移动向量组的{Mv}(步骤S303),并使用{Mv}在各追踪点计算Mv_p(tk),推定Cvector(tk+1)(步骤S304)。
另外,定义部173b在正进行步骤S304的处理的期间,对构成Cvector(tk+1)的各追踪点p(tk+1)的活动质量Q_p(tk+1)进行运算(步骤S305)。然后,定义部173b对各追踪点p(tk+1)的活动质量Q_p(tk+1)的平均值Q(tk+1)进行运算(步骤S306)。
而且,控制部18判定Q(tk+1)是否比Qth小(步骤S307)。在此,当Q(tk+1)是Qth以上时(步骤S307否定),追踪部173将Cvector(tk+1)作为图像数据I(tk+1)的轮廓位置C(tk+1)来取得(步骤S308)。
另一方面,当Q(tk+1)比Qth小时(步骤S307肯定),第2推定部173c推定I(tk+1)的Cmodel(tk+1)(步骤S309)。
而且,组合部173d使用Cvector(tk+1),将Cmodel(tk+1)转换为Cmodel(tk+1)’(步骤S310)。然后,组合部173d根据各追踪点p(tk+1)的活动质量Q_p(tk+1),组合Cvector(tk+1)和Cmodel(tk+1)’,取得I(tk+1)的轮廓位置C(tk+1)(步骤S311)。
而且,在步骤S308或者步骤S311的处理之后,组合部173d判定是否为“k+1=n”(步骤S312)。在此,当“k+1<n”时(步骤S312否定),组合部173d判定为存在未进行轮廓追踪的时相,设定为“k=k+1”(步骤S313),而且,设C(tk+1)为C(tk),追踪部173反复进行步骤S302以后的处理。
另一方面,当“k+1=n”时(步骤S312肯定),组合部173d将在所有的时相结束了轮廓追踪的信息通知给运动信息运算部174,并开始步骤S105的处理。
如上所述,在第2实施方式中,当活动信息的质量(可靠度)高时,由于省略第2推定部173c以及组合部173d的处理,因此,能够准确且有效地得到关心区域的追踪结果。
此外,第2实施方式也可以由以下说明的变形例进行。图20是用于说明第2实施方式所涉及的变形例的图。“Q(t)≥Qth”的情况能够大致分为所有的“Q_p(t)”是“Qth”以上的第1情况和“Q_p(t)”部分比“Qth”小的第2情况。鉴于此,在第1情况下,追踪部173设Cvector(t)为图像数据I(t)的轮廓位置C(t)。
另一方面,在第2情况下、即虽然“Q(t)≥Qth”但局部存在“Q_p(t)<Qth”的点(参照图20的左图的虚线的圆内)的情况下,根据控制部18的指示,第2推定部173c进行使用图13C说明的第3处理。即,如图20的右图所示,第2推定部173c通过使用了活动质量高的周围的点的最小二乘拟合处理对虚线的圆内的轮廓进行插补,来推定“I(t)”的“Cfit(t)”。而且,第2推定部173c将“Cfit(t)”作为“Cmodel(t)”,输出至组合部173d。
第3处理与第1处理或第2处理相比较,是运算量少的处理。因此,通过进行上述的变形例,能够避免将整体上可靠性高但局部可靠性变低的Cvector(t)作为“C(t)”的情况,能够迅速得到可靠性高的“C(t)”。
此外,在上述的第1以及第2实施方式中,针对由操作者手动进行初始轮廓的设定的情况进行了说明,但初始轮廓的设定也可以通过根据上述的活动信息以外的信息推定轮廓位置的方法来进行。换言之,在第1以及第2实施方式中,设定部172也可以通过第2推定部173c执行的各种处理,来设定初始轮廓。在该结构下,能够使关心区域的准确的追踪更加自动化,操作者能够更简便地进行组织的运动分析。其中,当自动设定初始轮廓时,优选成为能够由操作者接受初始轮廓位置的修正手续的结构。
另外,当自动设定初始轮廓时,能够与动态图像数据的收集一起大致实时地执行在第1以及第2实施方式中说明的图像处理方法。即,第1以及第2实施方式所涉及的超声波诊断装置通过一边收集动态图像数据,一边逐次进行在第1以及第2实施方式中说明的图像处理方法,能够大致实时地提供可靠性稳定的组织运动方法。
另外,在上述的第1以及第2实施方式中,说明了对于1个切面中的二维动态图像数据进行追踪处理的情况。但是,上述的第1以及第2实施方式中说明的图像处理方法也能够适用于对于多个切面中的多个二维动态图像数据进行追踪处理的情况。另外,如上所述,上述的第1以及第2实施方式中说明的图像处理方法也能够适用于对于三维动态图像数据进行追踪处理的情况。
另外,应用上述的图像处理方法的脏器并不限定于心脏,也可以是与心脏周期同步地重复舒张和收缩的颈动脉等动脉血管。并且,为了通过对strain或位移等活动指标进行分析来把握组织的硬度或动态,也可以将上述的图像处理方法应用于“肝脏或甲状腺那样的软组织”或“肌肉”等运动的组织。
另外,上述的图像处理方法也可以应用于X射线诊断装置、X射线CT装置、MRI装置等能够通过模板匹配处理来追踪关心区域的医用图像数据的二维或者三维的动态图像数据。即,上述的第1以及第2实施方式中说明的图像处理方法也可以由超声波诊断装置以外的医用图像诊断装置进行。另外,上述的图像处理方法也可以由与医用图像诊断装置独立设置的图像处理装置来执行。
另外,在上述的实施方式以及变形例中,图示的各装置的各构成要素是功能概念性的,不一定在物理上如图示那样构成。即,各装置的分散/综合的具体方式并不限定于图示的情况,也能够根据各种负荷或使用状况等,以任意的单位功能性或者物理性地分散/综合其全部或者一部分来构成。并且,由各装置进行的各处理功能的全部或者任意的一部分能够由CPU以及被该CPU分析执行的程序来实现,或者作为基于布线逻辑的硬件来实现。
另外,上述的实施方式以及变形例中说明的图像处理方法能够通过由个人计算机或工作站等计算机执行预先准备好的图像处理程序来实现。该图像处理程序能够经由因特网等网络来发布。另外,该图像处理程序还能够存储于硬盘、软盘(FD)、CD-ROM、MO、DVD等计算机可读取的记录介质中,通过由计算机从记录介质中读出来执行。
如以上说明那样,根据第1以及第2实施方式和变形例,能够准确地得到关心区域的追踪结果。
虽然说明了本发明的几个实施方式,但这些实施方式是作为例子而提示的,并不意图限定本发明的范围。这些实施方式能够以其他的各种方式进行实施,在不脱离发明要旨的范围内,能够进行各种省略、置换、变更。这些实施方式或其变形与包含于发明的范围或要旨中一样,包含于权利要求书记载的发明及其等同的范围中。
Claims (14)
1.一种超声波诊断装置,其特征在于,具备:
设定部,在将包含运动的组织的区域作为摄影对象而收集的二维或者三维的超声波图像数据的动态图像数据中,在至少1个时相的超声波图像数据中设定二维或者三维的关心区域;
推定部,在被收集了上述动态图像数据的区间中的上述至少1个时相以外的剩余时相的各超声波图像数据中,取得根据活动信息而推定为上述关心区域的区域的第1位置信息、和根据上述活动信息以外的信息而推定为上述关心区域的区域的第2位置信息;以及
追踪部,取得根据与上述活动信息的可靠度相关的可靠度指标将上述第1位置信息与上述第2位置信息合成后的位置信息作为上述关心区域的位置信息,来追踪上述关心区域。
2.根据权利要求1所述的超声波诊断装置,其特征在于,
上述动态图像数据是将作为上述运动的组织的周期性运动的组织作为摄影对象而收集的至少涵盖1个周期以上的区间的二维或者三维的超声波图像数据。
3.根据权利要求1所述的超声波诊断装置,其特征在于,
上述推定部具有:
第1推定部,在作为第1时相的超声波图像数据的第1图像数据与作为和上述第1时相在时间上相邻的第2时相的超声波图像数据的第2图像数据之间推定上述活动信息,根据推定出的活动信息移动上述第1图像数据的关心区域,来推定上述第2图像数据的上述第1位置信息;和
第2推定部,推定上述第2图像数据的上述第2位置信息,
上述追踪部具有:
定义部,根据由上述第1推定部的处理而得到的至少1个变量,对上述可靠度指标进行定义;和
组合部,取得根据上述可靠度指标将上述第1位置信息和上述第2位置信息组合后的位置信息作为上述第2图像数据中的关心区域的位置信息。
4.根据权利要求3所述的超声波诊断装置,其特征在于,
上述第1推定部通过对包含上述关心区域的区域内的多个点各自的移动向量进行运算,使用从得到的移动向量组中除去了在统计上异常的移动向量后的残留移动向量组,推定构成上述关心区域的各追踪点的移动向量,来推定上述第1位置信息,
上述定义部将在多个追踪点各自的附近区域中作为上述残留移动向量组而被采用的移动向量的密度、以及上述多个追踪点各自的附近区域内的移动向量的方差值的至少1个作为上述至少1个变量来使用。
5.根据权利要求3所述的超声波诊断装置,其特征在于,
上述第1推定部在上述第1图像数据与上述第2图像数据之间,推定构成上述关心区域的各追踪点的从上述第1时相朝向上述第2时相的正方向移动向量和构成上述关心区域的各追踪点的从上述第2时相朝向上述第1时相的反方向移动向量,
上述定义部将构成上述关心区域的各追踪点中的正方向移动向量与反方向移动向量的一致度作为上述至少1个变量来使用。
6.根据权利要求3所述的超声波诊断装置,其特征在于,
上述第1推定部通过模板匹配处理,对包含上述关心区域的区域内的多个点各自的移动向量进行运算,
上述定义部将上述模板匹配处理中的模板间的类似度、上述模板匹配处理中的基准模板的信号方差值、上述基准模板的平均信号值的至少1个作为上述至少1个变量来使用。
7.根据权利要求3所述的超声波诊断装置,其特征在于,
上述第2推定部使用通过将上述第2图像数据和同时相的形状词典信息进行对照的第1处理而得到的位置信息、通过基于形状能量最小化原理的第2处理而得到的位置信息、以及通过包含基于最小二乘法的拟合的第3处理而得到的位置信息的至少1个位置信息,来推定上述第2位置信息。
8.根据权利要求3所述的超声波诊断装置,其特征在于,
上述组合部按照在上述可靠度指标高时,上述第1位置信息的权重变高的方式对上述第1位置信息与第2位置信息进行加权相加。
9.根据权利要求1所述的超声波诊断装置,其特征在于,
上述超声波诊断装置还具备控制部,上述控制部针对上述可靠度指标的上述关心区域中的平均值是规定的阈值以上的时相,将上述第1位置信息作为上述关心区域的位置信息输出至上述追踪部,针对该平均值小于上述规定的阈值的时相,将组合了上述第1位置信息和上述第2位置信息后的位置信息作为上述关心区域的位置信息输出至上述追踪部。
10.根据权利要求7所述的超声波诊断装置,其特征在于,
上述第2推定部在具有上述形状词典信息的特定时相中,将通过上述第1处理得到的位置信息作为上述第2位置信息,在上述特定时相以外的时相中,将通过上述第2处理得到的位置信息、或者组合了通过上述第2处理得到的位置信息以及通过上述第3处理得到的位置信息后的位置信息作为上述第2位置信息。
11.根据权利要求3所述的超声波诊断装置,其特征在于,
上述第2推定部对上述可靠度指标降低的部位推定上述第2位置信息。
12.根据权利要求1所述的超声波诊断装置,其特征在于,还具备:
运动信息运算部,使用上述动态图像数据各自的关心区域的位置信息对上述组织的运动信息进行运算;和
控制部,使上述运动信息显示于显示部。
13.一种图像处理装置,其特征在于,具备:
设定部,在将包含运动的组织的区域作为摄影对象而收集的二维或者三维的超声波图像数据的动态图像数据中,在至少1个时相的超声波图像数据中设定二维或者三维的关心区域;
推定部,在被收集了上述动态图像数据的区间中的上述至少1个时相以外的剩余时相的各超声波图像数据中,取得根据活动信息而推定为上述关心区域的区域的第1位置信息和根据上述活动信息以外的信息而推定为上述关心区域的区域的第2位置信息;以及
追踪部,取得根据与上述活动信息的可靠度相关的可靠度指标将上述第1位置信息和上述第2位置信息合成后的位置信息作为上述关心区域的位置信息,来追踪上述关心区域。
14.一种图像处理方法,其特征在于,包含下述步骤:
设定部在将包含运动的组织的区域作为摄影对象而收集的二维或者三维的超声波图像数据的动态图像数据中,在至少1个时相的超声波图像数据中设定二维或者三维的关心区域;
推定部在被收集了上述动态图像数据的区间中的上述至少1个时相以外的剩余时相的各超声波图像数据中,取得根据活动信息而推定为上述关心区域的区域的第1位置信息和根据上述活动信息以外的信息而推定为上述关心区域的区域的第2位置信息;
追踪部取得根据与上述活动信息的可靠度相关的可靠度指标将上述第1位置信息与上述第2位置信息合成后的位置信息作为上述关心区域的位置信息,来追踪上述关心区域。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012255579 | 2012-11-21 | ||
JP2012-255579 | 2012-11-21 | ||
JP2013235938A JP6173886B2 (ja) | 2012-11-21 | 2013-11-14 | 超音波診断装置、画像処理装置及び画像処理方法 |
JP2013-235938 | 2013-11-14 | ||
PCT/JP2013/080813 WO2014080833A1 (ja) | 2012-11-21 | 2013-11-14 | 超音波診断装置、画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104080408A true CN104080408A (zh) | 2014-10-01 |
CN104080408B CN104080408B (zh) | 2016-06-01 |
Family
ID=50776016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380003169.6A Active CN104080408B (zh) | 2012-11-21 | 2013-11-14 | 超声波诊断装置、图像处理装置以及图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10376236B2 (zh) |
JP (1) | JP6173886B2 (zh) |
CN (1) | CN104080408B (zh) |
WO (1) | WO2014080833A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107527316A (zh) * | 2017-08-14 | 2017-12-29 | 马鞍山雨甜医疗科技有限公司 | 二维超声影像序列上的任意点构建点云数据的方法及*** |
CN109982646A (zh) * | 2017-03-21 | 2019-07-05 | 株式会社日立制作所 | 超声波诊断装置和图像处理方法 |
CN110811674A (zh) * | 2018-08-09 | 2020-02-21 | 株式会社日立制作所 | 超声波诊断装置、程序以及超声波诊断装置的动作方法 |
CN111449684A (zh) * | 2020-04-09 | 2020-07-28 | 济南康硕生物技术有限公司 | 心脏超声标准扫查切面快速获取方法及*** |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106030657B (zh) * | 2014-02-19 | 2019-06-28 | 皇家飞利浦有限公司 | 医学4d成像中的运动自适应可视化 |
JP6098677B2 (ja) * | 2014-10-10 | 2017-03-22 | キヤノンマーケティングジャパン株式会社 | 医用画像処理装置、医用画像処理装置に搭載可能なプログラム、及び医用画像処理方法 |
JP6723173B2 (ja) * | 2017-02-10 | 2020-07-15 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
US10302751B2 (en) * | 2017-03-09 | 2019-05-28 | Russell H. Dewey | A-mode ultrasonic classifier |
JP6815259B2 (ja) | 2017-03-31 | 2021-01-20 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置、医用画像処理装置及び医用画像処理プログラム |
JP6958202B2 (ja) * | 2017-10-03 | 2021-11-02 | コニカミノルタ株式会社 | 動態画像処理装置及びプログラム |
CN111542827B (zh) | 2017-12-29 | 2021-09-28 | 上海联影医疗科技股份有限公司 | 一种患者定位的***和方法 |
CN116777901A (zh) * | 2017-12-29 | 2023-09-19 | 上海联影医疗科技股份有限公司 | 一种用于医学成像中的生成对象的三维模型的*** |
JP6976869B2 (ja) | 2018-01-15 | 2021-12-08 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置及びその制御プログラム |
US11145054B2 (en) * | 2018-07-09 | 2021-10-12 | Canon U.S.A., Inc. | Methods and systems for displaying intraluminal images |
CN112512435B (zh) * | 2018-08-24 | 2023-06-30 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像处理设备及方法及计算机可读存储介质 |
JP7155277B2 (ja) * | 2019-03-15 | 2022-10-18 | 株式会社東芝 | 構造物評価システム、構造物評価装置及び構造物評価方法 |
JP2019171102A (ja) * | 2019-05-30 | 2019-10-10 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、およびプログラム |
EP3754607B1 (en) * | 2019-06-19 | 2023-10-04 | Canon Medical Systems Corporation | Ultrasound diagnosis apparatus and ultrasound diagnosis apparatus controlling method |
JP6973570B1 (ja) * | 2020-06-19 | 2021-12-01 | 沖電気工業株式会社 | 画像処理装置、画像処理プログラム、及び画像処理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003250804A (ja) * | 2002-03-05 | 2003-09-09 | Toshiba Corp | 画像処理装置及び超音波診断装置 |
WO2009013871A1 (ja) * | 2007-07-20 | 2009-01-29 | Panasonic Corporation | 超音波診断装置 |
CN101828930A (zh) * | 2009-02-05 | 2010-09-15 | 株式会社东芝 | 医用图像取得装置、医用图像处理装置、超声波图像取得装置以及超声波图像处理装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3725442B2 (ja) | 2001-04-18 | 2005-12-14 | 株式会社東芝 | 医用画像診断装置及びその方法 |
DE10132308A1 (de) * | 2001-07-06 | 2003-01-30 | Aventis Behring Gmbh | Kombinationspräparat zur Therapie von immunologischen Erkrankungen |
JP4079690B2 (ja) * | 2002-05-23 | 2008-04-23 | 株式会社東芝 | 物体追跡装置及び方法 |
JP2008073423A (ja) * | 2006-09-25 | 2008-04-03 | Toshiba Corp | 超音波診断装置、診断パラメータ計測装置及び診断パラメータ計測方法 |
JP5491836B2 (ja) | 2009-01-30 | 2014-05-14 | 株式会社東芝 | 超音波診断装置、超音波画像処理装置、医用画像診断装置及び医用画像処理装置 |
US8594398B2 (en) * | 2009-06-26 | 2013-11-26 | International Business Machines Corporation | Systems and methods for cardiac view recognition and disease recognition |
WO2011052602A1 (ja) * | 2009-10-27 | 2011-05-05 | 株式会社 日立メディコ | 超音波イメージング装置、超音波イメージング方法および超音波イメージング用プログラム |
CN102724918A (zh) * | 2010-01-29 | 2012-10-10 | 株式会社日立医疗器械 | 超声波诊断装置及其测量点追踪方法 |
JP5645146B2 (ja) * | 2011-01-31 | 2014-12-24 | 日本電気株式会社 | 情報処理システム、情報処理方法、情報処理装置及びその制御方法とその制御プログラム |
-
2013
- 2013-11-14 WO PCT/JP2013/080813 patent/WO2014080833A1/ja active Application Filing
- 2013-11-14 JP JP2013235938A patent/JP6173886B2/ja active Active
- 2013-11-14 CN CN201380003169.6A patent/CN104080408B/zh active Active
-
2015
- 2015-05-20 US US14/717,646 patent/US10376236B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003250804A (ja) * | 2002-03-05 | 2003-09-09 | Toshiba Corp | 画像処理装置及び超音波診断装置 |
WO2009013871A1 (ja) * | 2007-07-20 | 2009-01-29 | Panasonic Corporation | 超音波診断装置 |
CN101828930A (zh) * | 2009-02-05 | 2010-09-15 | 株式会社东芝 | 医用图像取得装置、医用图像处理装置、超声波图像取得装置以及超声波图像处理装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109982646A (zh) * | 2017-03-21 | 2019-07-05 | 株式会社日立制作所 | 超声波诊断装置和图像处理方法 |
CN109982646B (zh) * | 2017-03-21 | 2022-01-11 | 株式会社日立制作所 | 超声波诊断装置和图像处理方法 |
CN107527316A (zh) * | 2017-08-14 | 2017-12-29 | 马鞍山雨甜医疗科技有限公司 | 二维超声影像序列上的任意点构建点云数据的方法及*** |
CN110811674A (zh) * | 2018-08-09 | 2020-02-21 | 株式会社日立制作所 | 超声波诊断装置、程序以及超声波诊断装置的动作方法 |
US11471123B2 (en) | 2018-08-09 | 2022-10-18 | Fujifilm Healthcare Corporation | Ultrasound diagnostic apparatus, program, and method of operating ultrasound diagnosis apparatus |
CN111449684A (zh) * | 2020-04-09 | 2020-07-28 | 济南康硕生物技术有限公司 | 心脏超声标准扫查切面快速获取方法及*** |
Also Published As
Publication number | Publication date |
---|---|
US20150257731A1 (en) | 2015-09-17 |
WO2014080833A1 (ja) | 2014-05-30 |
CN104080408B (zh) | 2016-06-01 |
JP6173886B2 (ja) | 2017-08-02 |
JP2014121541A (ja) | 2014-07-03 |
US10376236B2 (en) | 2019-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104080408A (zh) | 超声波诊断装置、图像处理装置以及图像处理方法 | |
CN101292882B (zh) | 超声波图像处理装置以及超声波图像处理方法 | |
US11715202B2 (en) | Analyzing apparatus and analyzing method | |
JP5414157B2 (ja) | 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム | |
JP6640922B2 (ja) | 超音波診断装置及び画像処理装置 | |
CN102523733B (zh) | 超声波诊断装置、图像处理装置以及图像处理方法 | |
CN103648398B (zh) | 超声波诊断装置及图像处理装置 | |
CN104220005B (zh) | 超声波摄像装置以及超声波摄像方法 | |
CN104114102A (zh) | 超声波诊断装置、图像处理装置以及图像处理方法 | |
CN102204831A (zh) | 超声波诊断装置、图像处理装置以及图像处理方法 | |
CN103648402A (zh) | 超声波诊断装置、图像处理装置以及图像处理方法 | |
US20110066031A1 (en) | Ultrasound system and method of performing measurement on three-dimensional ultrasound image | |
JPWO2010113998A1 (ja) | 医用画像診断装置、容積計算方法 | |
JP7490839B2 (ja) | 解析装置及び解析プログラム | |
JPWO2011093193A1 (ja) | 超音波診断装置およびその計測点追跡方法 | |
JP2007044499A (ja) | 超音波診断装置及び超音波画像処理プログラム | |
CN101791232A (zh) | 超声波诊断和图像处理装置、医用图像诊断和处理装置 | |
US11202619B2 (en) | Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method | |
CN103429162A (zh) | 超声波诊断装置、图像处理装置以及图像处理方法 | |
CN102217952B (zh) | 基于心肌运动轨迹的向量环图生成方法和装置 | |
CN114271850B (zh) | 超声检测数据的处理方法及超声检测数据的处理装置 | |
US20210369247A1 (en) | Medical image diagnosis apparatus, medical image processing apparatus and medical image processing method | |
CN102125443A (zh) | 超声波诊断装置以及超声波图像处理装置 | |
JP2008173387A (ja) | 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム | |
JP2012152601A (ja) | 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20160713 Address after: Japan Tochigi Tian Yuan City Patentee after: Toshiba Medical System Co., Ltd. Address before: Tokyo, Japan, Japan Patentee before: Toshiba Corp Patentee before: Toshiba Medical System Co., Ltd. |