CN106413565B - 自动超声波束操纵和探针伪影抑制 - Google Patents

自动超声波束操纵和探针伪影抑制 Download PDF

Info

Publication number
CN106413565B
CN106413565B CN201480069638.9A CN201480069638A CN106413565B CN 106413565 B CN106413565 B CN 106413565B CN 201480069638 A CN201480069638 A CN 201480069638A CN 106413565 B CN106413565 B CN 106413565B
Authority
CN
China
Prior art keywords
probe
image
ultrasound
medical instrument
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480069638.9A
Other languages
English (en)
Other versions
CN106413565A (zh
Inventor
V·帕塔萨拉蒂
G·C-H·吴
C·R·哈特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN106413565A publication Critical patent/CN106413565A/zh
Application granted granted Critical
Publication of CN106413565B publication Critical patent/CN106413565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

一种基于分类的医学图像分割装置包括：超声图像采集设备，其被配置用于根据超声来采集描绘诸如探针的医学仪器的图像；以及基于机器学习的分类电路，其被配置用于使用基于机器学习的分类来动态地响应于所述采集通过对根据所述图像导出的信息(212)进行操作而分割所述仪器。能够经由对小波特征的参数的统计提升(220)来完成所述分割。所述图像的每个像素(216)被识别为“探针”或“背景”。采集图像、分割探针并显示具有经视觉增强的且无伪影的只有探针叠加的图像的整个过程可以被自动执行并且无需用户介入。

Description

自动超声波束操纵和探针伪影抑制
优先权要求
本申请要求享有于2013年12月20日递交的美国临时专利申请No.61/918,912的权益，将其通过引用并入本文。
技术领域
本发明涉及在超声图像中分割医学仪器，更具体地涉及动态地响应于采集图像而执行分割。在本专利申请中，给定***的处理限制和准确测量完成任务所需要的数据所要求的时间，将“动态地”或“实时”执行解释为在没有故意延迟的情况下完成数据处理任务。
背景技术
超声(US)图像引导通过使得能够对解剖背景内的探针位置进行实时可视化来提高探针引导过程的安全性和效率。在过去几年里，使用超声方法(例如，电子波束操纵)来增强在超声引导过程中探针的可见性已经成为有重要竞争力的领域。
虽然实时3D超声是可用的，但是2DUS由于其增加的可用性和简化的可视化能力而被更广泛地用于基于探针的临床过程。
利用2DUS，可以在与探针取向垂直的横向方向上电子地操纵US波束，从而产生剧烈地增强探针可视化的强镜面反射。
因为通常开始并不知道探头相对于探针的当前取向，所以实现关于探针的常态(normality)所需要的波束操纵角也是未知的。
另外，当探针在US成像平面内并未直接对准时和/或背景组织包含其他线性镜面反射器(例如，骨头、筋膜或组织边界)时，难以进行可视化。
另外，由于各种原因而在图像中出现伪影，例如，由以较大角度操纵线性阵列而摩擦叶以及来自上述线性和其他镜面反射器的镜面回声对以90度或接近90度的超声入射引起剧烈的衰减变化。
Cheung等人的“Enhancement of Needle Visibility in Ultrasound-GuidedPercutaneous Procedures”(下文称作“Cheung”)公开了在超声图像中自动分割探针并确定最佳波束操纵角。
问题在于类似探针的镜面结构干扰探针检测。斑点噪声和成像伪影还会妨碍检测。
Cheung中的解决方案是用户轻摇探针，由此基于差值图像来辅助分割。
另外，Cheung要求在关于搜索探针的范围不同的模式之中进行切换的用户交互。例如，当探针不在视场内时需要用户重置搜索范围。
Cheung分割还依赖于采用具有窄范围效力的阈值的基于强度的边缘检测。
发明内容
本文提出的内容解决了上述关注中的一个或多个。
除了上述可视化困难外，当探针尚未深度***到组织中时可视化也是有问题的。Cheung在区分探针和“探针状”镜面反射器中的困难在检测探针的小部分时加剧，如当探针***仅是刚进入视场时。特别地，Cheung对超声图像的边缘检测输出应用Hough变换。与探针部分形成竞争的镜面结构可能出现地更长，尤其在探针进入视场中的开始时。因此，它们在Hough变换中累积了更多投票，由此被识别为在超声图像中最突出的直线特征，即，探针。
另外，当要确定探针的姿势时，探针检测的临床值是有问题的，需要等待直到探针被更深度地***。如果能够在***过程中更早地检测到探针则会更好，这时医生能够评估其轨迹并改变进程而不会引起更多损害和疼痛。
可靠地探针分割将允许自动设置最佳波束操纵角、时间增益补偿以及图像处理参数，从而导致可能增强的可视化和临床工作流程。
另外，对探针的分割和检测可以允许对超声图像与手术前模态(例如计算机断层摄像(CT)或磁共振(MR)成像)的融合，从而使得能够实现用于基于探针的过程的专门化图像融合***。
需要一种技术方案来自动进行探针分割，而不依赖于探针是图像中最亮的线性对象的假设。
在本文提出的方面中，一种基于分类的医学图像分割装置包括：超声图像采集设备，其被配置用于根据超声来采集描绘医学仪器的图像；以及基于机器学习的分类电路，其被配置用于使用基于机器学习的分类来动态地响应于所述采集通过对根据所述图像导出的信息进行操作而分割所述仪器。
在子方面或相关方面中，采用US波束操纵来增强镜面反射器在图像中的外观。接下来，采用根据先前采集的地面真值数据的单像素探针分类器来分割探针与组织背景。最后，使用Radon或Hough变换来检测探针姿势。经由对小波特征的统计提升来完成分割。采集图像、分割探针并显示具有经视觉增强的且无伪影的只有探针叠加的图像的整个过程可以被自动执行并且无需用户介入。
使用间接体内和临床数据集的验证结果示出在具有挑战性的间接体内和临床数据集中的增强检测，其中次优的探针位置和组织伪影引起基于密度的分割失败。
下面借助于并未按比例绘制的附图进一步阐述新颖的、实时的基于分类的医学图像分割的细节。
附图说明
图1是根据本发明的示例性的实时的基于分类的医学图像分割装置的示意图和概念图；
图2是例示根据本发明的经统计提升的分类器的训练和临床性能及其用途的概念图；
图3是根据本发明的一种类型的探针定位的概念图；
图4是能用于本发明的版本中的子例程的流程图对；以及
图5是根据本发明的说明临床操作的主例程的流程图。
具体实施方式
通过说明性而非限制性范例，图1描绘了实时的基于分类的医学图像分割装置100。其包括超声图像采集设备104，例如扫描器。设备104包括波束形成器108以及超声成像探头112。探头112可以是线性阵列探头。其能够被设置有在身体组织120中的视场116，该视场由在任意给定成像深度128处的横向跨度124限定。装置110能够使用探头112来实时监测医学探针136的至少一部分132到视场116中的进入。视场116由两个边界线140、144限定。能够在探针136被***到视场116中仅仅2.0毫米的情况下发生对探针136的检测。这允许比根据现有方法可获得的更早地检测到探针。为了改善探针136的图像，当前视场116可以改变到新的视场148，用于操纵超声波束152以90度的角入射到探针136上。该受操纵的视场148在图1中被示出具有两个边界线156、160。实现关于探针136的常态的波束操纵不总是需要改变视场116。改善的探针的图像能够被转移到原始视场116的整幅图像。这可以完成是因为实现关于探针136的常态的操纵稍微削弱得到的图像整体的成像质量，但是增强了尤其是探针的可视化。装置100被设计用于在医学处置和医学诊断中的至少一个中使用。探针136例如可以用于递送在如箭头所示的体内方向164上被注射到体内中的药剂。活组织检查、神经阻滞和流体吸入是同样实时监测探针姿势、位置和移动的其他过程的范例。
装置100还包括基于机器学习的分类电路168，其实现提升分类器172，例如AdaboostTM，其是最公知的统计提升算法。
为了经由实况成像进行监视的用户交互，该装置还包括显示器176和用户控制180。
图2概念性地示出了提升分类器172的训练和临床性能的示例性版本及其用途。为了训练分类器172，对探针图像208应用二维Log-Gabor小波(或“滤波器”)204。可以经由如在下文更详细讨论的波束操纵并通过利用低于通常在B模式成像中使用的超声频率的超声频率来采集探针图像208。来自应用小波204的输出是探针图像208的各自的小波特征Fi的小波特征参数Fi,x,y212和各自的像素(x,y)216的集合。确定或已经确定每个像素216的地面真值GTx,y是探针的部分还是背景的部分。F1,x,y和GTx,y是“弱分类器”WK1的部分。多个弱分类器被组合(即，提升220)以提供强的或“经提升的”分类器。对这种技术的备选将是使用像素强度来判定像素216是探针还是背景。然而，由于探针图像208中的伪影，基于强度的阈值不够健壮以有效地对探针136进行分类。为训练数据集中的探针图像208中的每幅重复训练经提升的分类器172的上述步骤，如在图2中由向下的虚线224表示的。通过使用每个都标记有其各自的地面真值GTx,y的特征参数F1,x,y来构建上述弱分类器WK1。特别地，对于F1,x,y之中的参数，发现在GTx,y的视图中递送最小分类误差的最佳阈值T1。将要被阈值化的参数基本上并入关于探针的形状、探针的角度、纹理以及强度的信息。另外，训练阶段还提供关于探针看起来不像什么的信息，即，背景图像和肌肉纹理的特性。为每个特征F2到FI重复所有上述处理，如图2中由向下的点划线225所示。这么做得到弱的分类器WK2到WKI，如图2中由向下的虚线226所示，并对应地得到最佳阈值T2到TI。通过适当的加权组合弱分类器WKi以形成强的分类器SC，其在临床过程期间得到针对像素(x,y)216的二元输出，即“探针”228或“背景”232。实际上，将一组弱的假设组合为强的假设。
在临床过程中，小波204在作为扫掠角度范围的部分的不同角度方向上递增地进行取向，因为2D Log-Gabor滤波器能够被取向以对在不同方向上的空间频率做出响应。在每个增量处，在当前波束角236处采集各自的探针图像208；应用所取向的小波204，由此对图像进行操作，以根据图像来导出信息，即Fi,x,y212；并且对导出的信息操作上述分割。在后面的步骤中，经提升的分类器172输出二元像素图240Mx,y，其条目分配在探针像素与背景像素之间。取决于由操作员选择的提取模式，或取决于实现方式，图240的探针部分能够被提取244a并被直接叠加252到B模式图像上，或者能够使用线检测算法(例如，Radon变换或Hough变换(HT))248来导出探针136的位置和角度。在该后一情况下，能够采集新的探针图像，背景则被遮掩掉，并且得到所提取244b的“只有探针”的图像叠加256到当前B模式图像上。因此，能够为“像素图”或“超声图像”设置提取模式。这被反映在下面结合图4和图5进行讨论的步骤S432、S456和S556中。尽管上文描述了Log-Gabor滤波器，但是能够替代地使用诸如Gabor滤波器的其他成像滤波器。
图3还示出了临床过程上的示例性细节。在显示的范例中，上述递增扫掠304通过角度的范围308。在图3中示出了每个增量312，挨着在对应的波束角处采集的探针图像208。由于本文提出的分割的健壮性，所以可以将图像208中的任何细长的、线性的且镜面的对象314与探针136区分开。通过经提升的分类器172，在每幅探针图像208上运行分割136，从而生成各自的像素图240。对每幅像素图240应用Hough变换248。如对角度/偏移箱(bin)进行相加中将得到的线输出320进行相加。这确定与探针136的位置相对应的偏移的估计。还确定探针136的角度328。如本文以上所述，能够将探针位置和角度使用在形成具有“只有探针”叠加的可显示B模式图像中，或者备选地，能够使用像素图240的探针部分来提供探针像素作为叠加。
在图4中的示例性实现方式中示出了用于执行临床过程的可调用子例程。
在第一子例程400中，针对当前波束角度236对小波204进行取向(步骤S404)。采集探针图像208(步骤S408)。对探针图像208应用小波204(步骤S412)中。通过经提升的统计分类器172来处理输出(步骤S416)。形成针对探针图像208的二元像素图240(步骤S420)。
在第二子例程410中，波束角度236被初始化为5°(步骤S424)。调用第一子例程400(步骤S428)以在图4的入口点“A”处开始。如果像素图240被直接叠加(步骤S432)，则存储探针像素和针对探针像素的像素特异性置信度值(步骤S436)。基于是否满足阈值Ti，每个弱分类器WKi返回-1表示背景，或返回+1表示探针。强分类器SC计算这些值的加权和。如果和是正的，则像素216被视为探针136的部分。否则，像素216被视为背景的部分。然而，该和还指示强假设的置信度。和越接近+1，则“探针”的判定越符合置信度。此时记录探针像素以及它们的对应置信值以供后续基于置信度值来生成健壮的像素图。备选地，像素图240可以不被直接叠加(步骤S432)。在一个实施例中，例如，像素图240的直接叠加可以被认为是替代叠加只有探针的超声图像的主过程的显示选项。因此，如果像素图240未被直接叠加(步骤S432)，则将在当前波束角236处的Hough变换248的输出添加到在先前波束角度处的输出(如果有的话)，以创建变换输出的累积和(步骤S440)。在任一事件中，即，无论像素图叠加与否，如果当前波束角度236小于90°(步骤S444)，则递增当前波束角(步骤S448)，并且返回到分割步骤S428(步骤S452)。否则，如果当前波束角度236是90°(步骤S444)，则处理再次依赖于像素图240是否被直接叠加(步骤S456)。如果像素图240被直接叠加(步骤S456)，则导出最佳探针图(步骤S460)。特别地，在步骤S436中对迭代地存储的置信值进行组合。例如，能够使每个负的置信度值为零。将针对各自的波束角度236生成的置信度图相加，以创建总计图。然后，将置信度值正规化为像素亮度值的范围。在另一方面，如果像素图240未被直接叠加(步骤S456)，则对来自步骤S440的输出324求和的Hough变换给出探针偏移(步骤S464)。其还给出了探针136的角度328(步骤S468)。
在当前范例中，图5是临床过程的主例程。初始化(即，清除)探针存在标记(步骤S504)。调用第二子例程410(步骤S508)。确定探针是否存在于当前视场116中(步骤S512)。例如，在显示像素图240的情况下，可以对探针像素的数量以及可选地其置信度水平进行阈值化以确定探针136是否存在。如果确定探针136不存在(步骤S512)，并且如果未设置探针存在标记(步骤S516)，则采集B模式图像(步骤S524)。对其进行显示(步骤S528)。如果成像继续(步骤S532)，则返回分割步骤S508。在另一方面，如果设置了探针存在标记(步骤S516)，则对其进行清除(步骤S536)。通知用户探针136不再在屏幕上(步骤S540)，并且处理分支回到B模式采集步骤S524。在确定探针存在(步骤S512)并且未设置探针存在标记(步骤S544)的情况下，通知用户探针进入到所显示的图像中(步骤S548)并且设置探针存在标记(步骤S552)。此时，不管探针存在标记是否或已经被设置(步骤S544、S552)，处理路径都取决于像素图240是否要被用作叠加(步骤S556)。如果像素图240未被用作叠加(步骤S556)，则将由总计Hough变换324确定的探针角度328用于操纵波束152以达到关于探针136的常态，由此提供探针的更好的可见性(步骤S560)。经由受操纵的波束152，采集探针图像208(步骤S564)。不管像素图240是否要被用作叠加，都采集B模式图像(步骤S568)。根据B模式图像和叠加的从探针图像208提取出的只有探针图像或者在像素图叠加的情况下根据来自步骤S456或像素图240的其他演示的所提取和叠加的经正规化的置信度值的集合来形成复合图像(步骤S572)。显示复合图像(步骤S576)。应当周期性地，即，在均等或非均等间隔的时间周期之后迭代地，随着探针136的位置和取向的更新再次分割所述探针。如果探针136现在被再次分割(步骤S580)，则处理返回到分割步骤S508。否则，如果探针136现在不要被再次分割(步骤S580)，但是成像要继续(步骤S584)，则返回到步骤S556。
在步骤S540和S548中的用户通知可以是感觉的，例如，听觉的、触觉的或视觉的。例如，在“开启”状态下在面板或显示屏幕上的照明可以指示操作的各自的模式是活动的。
操作的探针存在检测模式588例如对应于步骤S512-S532。
探针***检测模式592例如对应于步骤S512和S544-S552。
探针可视化模式596例如对应于步骤S556-S564。能够离开探针可视化模式596，但是仍保留在探针***检测模式592中。如果在后续某个时间探针***检测模式592检测到探针136再次进入视场116中，则探针可视化模式596自动地被再次激活，而无需用户介入。在即时范例中，探针存在检测模式588使得能够进行探针***检测模式592并因此在该模式592期间总是活动的。
可以通过用户控制件180共同地或个体地启用或停用上述模式588、592、596，并且其每个可以被并入到较大的整体模式中。
上述模式588、592、596中的每个模式可以存在作为装置100的选项，例如用户可启动的选项，或者备选地，可以是装置的部分，而没有关闭模式的任何选项。
这是本文上述提出的探针分割的质量和可靠性使得能够进行模式588、592、596。
尽管所提出的方法能够有利地应用于对人或动物对象提供医学处置，但是本发明的范围并不受如此限制。更广泛地，本文公开的技术涉及体内或间接体内的基于机器学习的图像分割。
一种基于分类的医学图像分割装置包括：超声图像采集设备，其被配置用于根据超声来采集描绘诸如探针的医学仪器的图像；以及基于机器学习的分类电路，其被配置用于使用基于机器学习的分类来动态地响应于所述采集通过对根据所述图像导出的信息进行操作而分割所述仪器。能够经由对小波特征的参数的统计提升来完成所述分割。所述图像的每个像素被识别为“探针”或“背景”。采集图像、分割探针并显示具有经视觉增强的且无伪影的只有探针叠加的图像的整个过程可以被自动执行并且无需用户介入。可靠的探针分割提供对最佳波束操作角的自动设置、时间增益补偿、以及图像处理参数，从而得到增强的可视化和临床工作流程。
尽管已经在附图和前面的描述中详细说明并描述了本发明，但是这样的说明和描述应被认为是说明性的或示范性的而非限制性的；本发明不限于所公开的实施例。
例如，当探针的仅7毫米已经***到身体组织中时，并且如上所述，在超声视场内2.0mm时，探针***检测模式592能够检测探针136的至少部分。
通过研究附图、说明书以及随附权利要求书，本领域技术人员在实践要求保护的本发明时可以理解并实现所公开的实施例的其他变型。在权利要求中，词“包括”不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。权利要求中的任何附图标记不应当被解释为对范围的限制。
计算机程序可以暂时地、临时地或较长时期地被存储在适当的计算机可读介质(例如光学存储介质或固态介质)上。仅在非瞬态传播信号的意义而言，这种介质是非瞬态的，但是包括其他形式的计算机可读介质，例如寄存器存储器、处理器缓存和RAM。
单个处理器或其他单元可以实现在权利要求中记载的若干项目的功能。在互不相同的从属权利要求中记载了特定措施的仅有事实并不指示不能有利地利用这些措施的组合。

Claims (12)

1.一种基于分类的医学图像识别装置(100)，包括：
超声图像采集设备(104)，其被配置用于根据超声来采集描绘医学仪器的图像；以及
基于机器学习的分类电路(168)，其包括经提升的统计分类器(172)并被配置用于使用所述经提升的统计分类器来动态地响应于所述采集通过对根据所述图像导出的信息进行操作而分割所述医学仪器，
其中，所述装置被配置用于：
经由所述超声图像采集设备，在无需用户介入的情况下，自动地、动态地在超声波束角度(236)的范围(308)上以扫掠方式递增地执行所述采集以获得所述医学仪器的对应描绘，对所述描绘的分割动态地响应于递增的采集；
逐增量(312)地将线检测算法应用到针对所述描绘的各自的描绘的所述分割的输出；并且
将所述算法的各输出进行相加以导出所述医学仪器的取向。
2.根据权利要求1所述的装置，其中，所述使用包括执行对小波特征的参数(212)的统计提升。
3.根据权利要求1所述的装置，其中，所述装置还被配置用于逐描绘地执行对所述描绘的所述分割(316)。
4.根据权利要求1所述的装置，其中，对所述描绘的所述分割根据所述超声波束角度使用成像滤波器的不同取向(步骤S404、S428、S448)。
5.根据权利要求1所述的装置，其中，所述装置还被配置用于基于对所述描绘的所述分割的结果来动态地确定所述医学仪器的取向(328)。
6.根据权利要求1所述的装置，其中，所述装置还包括超声成像探头(112)，所述装置被配置用于基于所述分割的输出来动态地确定所述医学仪器相对于所述探头的取向。
7.根据权利要求1所述的装置，其中，所述医学仪器是医学探针(136)。
8.根据权利要求7所述的装置，其中，所述装置被设计用于在医学处置和医学诊断中的至少一个中使用。
9.根据权利要求7所述的装置，其中，所述装置还包括显示器，所述设备包括具有视场的超声成像探头，所述视场用于在空间上限定经由所述显示器对身体组织的动态可视化的跨度(124)，所述装置还被配置有探针存在检测操作模式，所述装置还被配置用于当处于所述模式中时，在无需用户介入的情况下，基于所述分割的输出来自动地判定没有探针甚至部分地存在于所述视场中。
10.根据权利要求1所述的装置，其中，所述电路实现已经关于探针的模式识别和身体组织(120)的模式识别两者训练过的用于基于机器学习的分类的分类器。
11.根据权利要求1所述的装置，其中，所述装置被配置用于动态地响应于所述采集，通过对所述图像(208)进行操作来执行根据所述图像对所述信息的所述导出。
12.一种实现用于对医学图像的基于分类的识别的计算机程序的计算机可读介质，所述程序具有能由处理器运行以用于执行多个动作的指令，在所述多个动作中存在以下动作：
根据超声(152)，在无需用户介入的情况下，自动地、动态地在超声波束角度(236)的范围(308)上以扫掠方式来执行对描绘医学仪器的对应图像的递增采集；
使用包括经提升的统计分类器的基于机器学习的分类电路来动态地响应于所述递增采集通过对根据描绘所述医学仪器的所述对应图像导出的信息进行操作而分割所述医学仪器的所述描绘；
逐增量(312)地将线检测算法应用到针对所述描绘的各自的描绘的所述分割的输出；并且
将所述算法的各输出进行相加以导出所述医学仪器的取向。
CN201480069638.9A 2013-12-20 2014-11-28 自动超声波束操纵和探针伪影抑制 Active CN106413565B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361918912P 2013-12-20 2013-12-20
US61/918,912 2013-12-20
US201462019087P 2014-06-30 2014-06-30
US62/019,087 2014-06-30
PCT/IB2014/066411 WO2015092582A1 (en) 2013-12-20 2014-11-28 Automatic ultrasound beam steering and needle artifact suppression

Publications (2)

Publication Number Publication Date
CN106413565A CN106413565A (zh) 2017-02-15
CN106413565B true CN106413565B (zh) 2019-12-17

Family

ID=52278682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480069638.9A Active CN106413565B (zh) 2013-12-20 2014-11-28 自动超声波束操纵和探针伪影抑制

Country Status (5)

Country Link
US (1) US20160317118A1 (zh)
EP (1) EP3082615B1 (zh)
JP (2) JP6850606B2 (zh)
CN (1) CN106413565B (zh)
WO (1) WO2015092582A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6447071B2 (ja) * 2013-12-11 2019-01-09 コニカミノルタ株式会社 超音波診断装置、超音波画像処理方法、および、プログラム
KR20170060852A (ko) * 2015-11-25 2017-06-02 삼성메디슨 주식회사 초음파 영상을 제공하는 방법 및 이를 위한 초음파 장치
KR101931747B1 (ko) * 2016-10-28 2019-03-13 삼성메디슨 주식회사 생체 검사 장치 및 동작 방법
US10932749B2 (en) 2016-11-09 2021-03-02 Fujifilm Sonosite, Inc. Ultrasound system for enhanced instrument visualization
KR101886990B1 (ko) 2016-12-02 2018-08-08 아벤트, 인크. 의료적 이미징 기반 절차에서 타겟 해부 대상으로의 내비게이션을 위한 시스템 및 방법
US11832969B2 (en) 2016-12-22 2023-12-05 The Johns Hopkins University Machine learning approach to beamforming
US10102452B2 (en) 2017-03-14 2018-10-16 Clarius Mobile Health Corp. Systems and methods for identifying an imaged needle in an ultrasound image
EP3381512A1 (en) 2017-03-30 2018-10-03 Koninklijke Philips N.V. Determining at least one final two-dimensional image for visualizing an object of interest in a three-dimensional ultrasound volume
US11992369B2 (en) 2017-11-02 2024-05-28 Koninklijke Philips N.V. Intelligent ultrasound system for detecting image artefacts
US11638569B2 (en) * 2018-06-08 2023-05-02 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time needle detection, enhancement and localization in ultrasound
US11426142B2 (en) 2018-08-13 2022-08-30 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time localization of needles in ultrasound images
US11896424B2 (en) * 2018-12-05 2024-02-13 Fujifilm Sonosite, Inc. Automated needle entry detection
EP3975863A1 (en) * 2019-05-31 2022-04-06 Koninklijke Philips N.V. Passive-ultrsound-sensor-based initialization for image-based device segmentantion
CN114222537B (zh) * 2019-08-15 2024-05-14 富士胶片株式会社 超声波诊断装置及超声波诊断装置的控制方法
US20210059758A1 (en) * 2019-08-30 2021-03-04 Avent, Inc. System and Method for Identification, Labeling, and Tracking of a Medical Instrument
EP4033987A1 (en) * 2019-09-26 2022-08-03 Koninklijke Philips N.V. Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods
US20210100530A1 (en) * 2019-10-04 2021-04-08 GE Precision Healthcare LLC Methods and systems for diagnosing tendon damage via ultrasound imaging
JP7502899B2 (ja) 2020-05-28 2024-06-19 富士フイルムヘルスケア株式会社 超音波撮像装置、及び、それを用いた手術支援システム
WO2022071326A1 (ja) * 2020-09-29 2022-04-07 テルモ株式会社 情報処理装置、学習済モデルの生成方法および訓練データ生成方法
WO2023054467A1 (ja) * 2021-09-30 2023-04-06 テルモ株式会社 モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1839391A (zh) * 2003-06-25 2006-09-27 美国西门子医疗解决公司 用于***成像的自动诊断和决策支持的***和方法
CN101256629A (zh) * 2007-02-28 2008-09-03 三菱电机株式会社 用于使提升分类器适合于新样本的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7536044B2 (en) * 2003-11-19 2009-05-19 Siemens Medical Solutions Usa, Inc. System and method for detecting and matching anatomical structures using appearance and shape
US7783095B2 (en) * 2005-08-11 2010-08-24 Siemens Medical Solutions Usa, Inc. System and method for fetal biometric measurements from ultrasound data and fusion of same for estimation of fetal gestational age
KR100846500B1 (ko) * 2006-11-08 2008-07-17 삼성전자주식회사 확장된 가보 웨이브렛 특징 들을 이용한 얼굴 인식 방법 및장치
US8073215B2 (en) * 2007-09-18 2011-12-06 Siemens Medical Solutions Usa, Inc. Automated detection of planes from three-dimensional echocardiographic data
US8556814B2 (en) * 2007-10-04 2013-10-15 Siemens Medical Solutions Usa, Inc. Automated fetal measurement from three-dimensional ultrasound data
US8660303B2 (en) * 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US8861822B2 (en) * 2010-04-07 2014-10-14 Fujifilm Sonosite, Inc. Systems and methods for enhanced imaging of objects within an image
BR112013017901A2 (pt) * 2011-01-17 2016-10-11 Koninkl Philips Electronics Nv sistema para detecção de dispositivo médico, sistema de biopsia para detecção de dispositivo médico e método para detecção de dispositivo médico
JP6000569B2 (ja) * 2011-04-01 2016-09-28 東芝メディカルシステムズ株式会社 超音波診断装置及び制御プログラム
US9642592B2 (en) * 2013-01-03 2017-05-09 Siemens Medical Solutions Usa, Inc. Needle enhancement in diagnostic ultrasound imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1839391A (zh) * 2003-06-25 2006-09-27 美国西门子医疗解决公司 用于***成像的自动诊断和决策支持的***和方法
CN101256629A (zh) * 2007-02-28 2008-09-03 三菱电机株式会社 用于使提升分类器适合于新样本的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Temporal-based needle segmentation algorithm for transrectal ultrasound prostate biopsy procedures;Derek W. Cool等;《Medical Physics》;20100430;第37卷(第4期);论文第1660页摘要部分、第1661页第2栏倒数第一段至第1662页第1栏第2段、第1663页倒数第1段至第1665页第3段，图1-图3、图6 *

Also Published As

Publication number Publication date
JP6857685B2 (ja) 2021-04-14
JP6850606B2 (ja) 2021-03-31
WO2015092582A1 (en) 2015-06-25
US20160317118A1 (en) 2016-11-03
EP3082615B1 (en) 2019-11-27
CN106413565A (zh) 2017-02-15
JP2019147007A (ja) 2019-09-05
JP2017503548A (ja) 2017-02-02
EP3082615A1 (en) 2016-10-26

Similar Documents

Publication Publication Date Title
CN106413565B (zh) 自动超声波束操纵和探针伪影抑制
JP2017503548A5 (zh)
CN107438408B (zh) 血管识别的超声***及方法
JP6527860B2 (ja) ターゲットビューに対する超音波収集フィードバックガイダンス
US9642592B2 (en) Needle enhancement in diagnostic ultrasound imaging
JP5717942B2 (ja) 超音波画像におけるエッジ検出
EP3363365B1 (en) Automatic imaging plane selection for echocardiography
US9336590B2 (en) Advanced fiber tracking and medical navigation in a brain
CN107809955B (zh) 经由感兴趣界标的自动检测在x射线成像中进行实时准直和roi过滤器定位
CN112603361A (zh) 用于在超声图像中跟踪解剖特征的***和方法
US10952705B2 (en) Method and system for creating and utilizing a patient-specific organ model from ultrasound image data
US20170360396A1 (en) Ultrasound imaging apparatus and method for segmenting anatomical objects
CN112515747A (zh) 用于分析超声场景以提供针引导和警告的方法和***
JP7282564B2 (ja) 医用診断装置、医用画像処理装置、及び画像処理プログラム
Kim et al. A learning-based, region of interest-tracking algorithm for catheter detection in echocardiography
CN114521912B (zh) 用于增强胸膜线的可视化的方法和***
JP7233792B2 (ja) 画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法
CN116612061A (zh) 用于经食道超声图像中的自动二维标准视图检测的方法和***
CN117653163A (zh) 一种肝脏图像采集处理的方法、***、计算机及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant