CN112672696A - 用于跟踪超声图像中的工具的***和方法 - Google Patents
用于跟踪超声图像中的工具的***和方法 Download PDFInfo
- Publication number
- CN112672696A CN112672696A CN201980059634.5A CN201980059634A CN112672696A CN 112672696 A CN112672696 A CN 112672696A CN 201980059634 A CN201980059634 A CN 201980059634A CN 112672696 A CN112672696 A CN 112672696A
- Authority
- CN
- China
- Prior art keywords
- ultrasound
- ultrasound image
- tool
- transducer
- additional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 294
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000003384 imaging method Methods 0.000 claims abstract description 36
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 239000000523 sample Substances 0.000 claims description 24
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 17
- 238000012285 ultrasound imaging Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000002592 echocardiography Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000001994 activation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 239000002033 PVDF binder Substances 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000002725 brachytherapy Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 229920002981 polyvinylidene fluoride Polymers 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8993—Three dimensional imaging systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52053—Display arrangements
- G01S7/52057—Cathode ray tube displays
- G01S7/52073—Production of cursor lines, markers or indicia by electronic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
- A61B2017/3413—Needle locating or guiding means guided by ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
- G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
- G01S15/8925—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array the array being a two-dimensional transducer configuration, i.e. matrix or orthogonal linear arrays
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Robotics (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供了一种用于监测超声图像中的工具的位置的方法。所述方法包括通过超声换能器来采集多幅2D超声图像,其中,所述多幅2D超声图像中的至少一幅包括所述工具的部分,并且从所述多幅2D超声图像来生成3D超声图像。然后,在所述3D超声图像内识别所述工具的第一位置。然后,采集额外的2D超声图像以及在所述额外的2D超声图像的捕获期间与所述超声换能器的所述位置有关的位置信息,并且基于所述额外的2D超声图像和所述位置信息来更新所述3D超声图像。然后,仅基于经更新的3D超声图像的成像数据在所述经更新的3D超声图像内识别所述工具相对于所述额外的2D超声图像的位置。
Description
技术领域
本发明涉及超声成像的领域,并且更具体涉及跟踪超声图像内的工具的领域。
背景技术
超声成像是针对工具引导应用的最流行的成像***之一。超声成像可以被用于对诸如针、腹腔镜、支架和用于近距离放射治疗的放射性种子的工具进行成像。例如,超声成像可以被用于在麻醉学、组织消融中的针引导或者用于活检引导,这是因为针被用于采集组织样本并且将药物或电能递送到患者的身体内的目标组织。在这些流程中,为了使对患者的风险最小化并且改善健康预后,对针以及其顶端的可视化是非常重要的。
通常,在执行流程时,2D超声引导被用于对工具进行可视化。然而,这种成像模式有许多缺点。具体地,2D成像具有有限的视场;在超声图像中对工具的成功对准和定位之后并且在移动工具或评估目标时,执行所述流程的人的任何不期望的手部运动可能导致工具与超声换能器的未对准,使得所述工具的部件被排除在超声图像之外。这可能导致对工具的不正确的放置。此外,在流程期间,操作者的注意力可能偏离处置,因为他们可能由于在超声图像中搜索工具而分心。
外部工具跟踪***也具有许多缺点,因为其需要额外的仪器,这增加了超声成像***的成本。此外,需要包括额外的传感器的专用针。将医师限于使用专用针将可能增加流程的成本。
已经提出了利用3D超声***的备选方法,其中,能够在大的视场中容易地捕获针,并且先进的基于图像的跟踪***将对针进行检测和可视化。然而,这些方法需要利用通常不容易获得以用于在针引导流程中使用并且可能增加流程的成本的3D超声换能器。
因此存在对于利用典型的2D超声成像***同时还降低用户容易地捕获包含工具的图像所需的技能水平而无需显著的额外硬件的工具跟踪方法的需要。
文件US 2002/049375公开了一种医学成像和导航***,其包括处理器、医学定位***、二维成像***和被检查器官监测器接口。
发明内容
本发明由权利要求进行限定。
根据依据本发明的一方面的范例,提供了一种用于监测超声图像中的工具的位置的方法,所述方法包括:
通过超声换能器来采集多幅2D超声图像,其中,所述多幅2D超声图像中的至少一幅包括所述工具的部分;
基于所述多幅2D超声图像来生成3D超声图像;
在所述3D超声图像内识别所述工具的第一位置;
采集额外的2D超声图像以及在所述额外的2D超声图像的捕获期间与所述超声换能器的所述位置有关的位置信息;
基于所述额外的2D超声图像和所述位置信息来更新所述3D超声图像;并且
仅基于经更新的3D超声图像的成像数据在所述经更新的3D超声图像内识别所述工具相对于所述额外的2D超声图像的位置。
所述方法提供了用于跟踪超声图像内的诸如针的工具的计算上高效的方式。
典型的方法仅依赖于2D超声图像,其需要高水平的技能来采集以便准确地捕获工具的图像,或者需要笨重的、昂贵的并且具有有限刷新率的3D换能器技术。
通过基于多幅2D图像来生成3D图像,能够降低超声成像***上的计算负荷同时也简化对工具的跟踪。
此外,使用后续采集的2D图像对3D模型的更新允许工具随着其移动并且随着从其获取后续2D图像的位置移动而被跟踪。以这种方式,所述方法使用常规2D US换能器以可以与任何现有的常规工具和2D超声换能器一起使用的典型临床工作流所需的极小(或者没有)变化提供了对工具的方便的、准确的并且快速的引导。
另外,对工具相对于额外的2D超声图像的位置的确定允许换能器的位置相对于工具的位置被跟踪。因此,在换能器***纵时,换能器相对工具的相对位置可以被获知,由此允许在额外的2D超声图像内对工具的更简单并且准确的采集。此外,由于额外的2D超声图像可以包括感兴趣区域,例如用于活检的肿瘤,工具可以使用相对位置信息被引导到所述感兴趣区域。
此外,由于对工具的识别仅基于经更新的3D超声图像的成像数据,不存在为了执行所述方法而对于专用工具跟踪***(诸如医学定位***)的需要。因此,所述方法可以由任何超声***来执行而无需额外的专门硬件,由此增加了利用工具跟踪方法的可用性和方便性。
在实施例中,识别所述工具的所述位置包括:
在所述经更新的3D超声图像内识别工具阴影;并且
基于所述工具阴影来识别所述工具的所述位置。
以这种方式,所述工具的所述位置可以仅基于所述经更新的3D超声图像的成像数据来识别。
在实施例中,从相对于所述多幅2D超声图像的所述位置的不同换能器位置接收所述额外的2D超声图像,并且所述方法还包括确定所述超声换能器的位置变化,其中,所述位置变化形成所述位置信息的至少部分。
以这种方式,可以考虑工具和换能器两者的运动。
在另外的实施例中,对所述超声换能器的位置变化的确定使用以下中的一项或多项来执行:
块匹配;
特征跟踪;
运动跟踪;
散斑去相关;
特征利用;
机器学习;以及
深度学习。
以这种方式,能够通过图像处理或运动跟踪技术来确定超声换能器的位置变化。
在布置中,所述额外的2D超声图像的所述位置信息包括与所述超声换能器有关的平移信息。
以这种方式,能够监测所述换能器相对于所述工具的位置,由此增加超声图像内的工具的监测的准确性。
在另外的或其他布置中,所述额外的2D超声图像的所述位置信息包括与所述超声换能器有关的取向信息。
以这种方式,可以进一步增加超声图像内的工具的监测的准确性。
在实施例中,所述方法还包括在经更新的3D超声图像内向用户显示所述工具相对于所述额外的2D超声图像的所述位置。
以这种方式,可以通知用户所述换能器和所述工具的经更新的相对位置。
在布置中,所述方法还包括向用户显示所述经更新的3D超声图像。
以这种方式,能够在3D超声图像的背景内监测工具的位置,由此增加当操纵工具时用户可获得的信息。
根据依据本发明的一方面的范例,提供了一种包括计算机程序代码单元的计算机程序,当所述计算机程序在计算机上被运行时,所述计算机程序代码单元适于实施上文所描述的方法。
根据依据本发明的一方面的范例,提供了一种适于监测超声图像中的工具的位置的超声成像***,所述***包括:
超声探头,其包括适于获得多幅2D超声图像的超声换能器,其中,所述多幅2D超声图像中的至少一幅包括所述工具的部分;
处理器,其中,所述处理器适于:
基于所述多幅2D超声图像来生成3D超声图像;
在所述3D超声图像内识别所述工具的第一位置;
基于通过所述超声探头采集的额外的2D超声图像和在所述额外的2D超声图像的捕获期间与所述超声换能器的所述位置有关的位置信息来更新所述3D超声图像;并且
仅基于经更新的3D超声图像的成像数据在所述经更新的3D超声图像内识别所述工具相对于所述额外的2D超声图像的位置。
在实施例中,所述处理器还适于:
从与针对所述多幅2D超声图像的换能器位置的不同换能器位置接收所述额外的2D超声图像;并且
确定所述超声探头的位置变化,其中,所述位置变化形成所述位置信息的至少部分。
在布置中,所述***还包括适于采集所述位置信息的传感器。
在另外的布置中,所述传感器是加速度计或位置传感器。
在实施例中,所述***还包括显示器,所述显示器适于在所述经更新的3D超声图像内向用户显示所述工具相对于所述额外的2D超声图像的所述位置。
在另外的实施例中,所述显示器还适于向用户显示所述经更新的3D超声图像。
本发明的这些和其他方面将参考下文所描述的(一个或多个)实施例变得显而易见并且将参考下文所描述的(一个或多个)实施例得以阐述。
附图说明
为了更好地理解本发明并且为了更清楚地示出其可以如何被实施,现在将仅以范例的方式参照附图,在附图中:
图1示出了超声诊断***以解释一般操作;
图2示出了本发明的方法;
图3示出了本发明的另外的方法;并且
图4A和图4B示出了超声换能器和回波强度的示意性表示。
具体实施方式
本发明将参考附图进行描述。
应当理解,详细描述和具体范例在指示装置、***和方法的示范性实施例的同时,仅旨在用于图示的目的,而并不旨在限制本发明的范围。根据以下描述、所附的权利要求和附图将更好地理解本发明的装置、***和方法的这些和其他特征、方面和优点。应当理解,附图仅仅是示意性的,并未按比例绘制。还应当理解,在整个附图中使用相同的附图标记来指示相同或相似的部件。
本发明提供了一种用于监测超声图像中的工具的位置的方法。所述方法包括通过超声换能器来采集多幅2D超声图像,其中,所述多幅2D超声图像中的至少一幅包括所述工具的部分,并且从所述多幅2D超声图像来生成3D超声图像。然后,在所述3D超声图像内识别所述工具的第一位置。采集额外的2D超声图像以及在所述额外的2D超声图像的捕获期间与所述超声换能器的所述位置有关的位置信息,并且基于所述额外的2D超声图像和所述位置信息来更新所述3D超声图像。然后,仅基于经更新的3D超声图像的成像数据在所述经更新的3D超声图像内识别所述工具相对于所述额外的2D超声图像的位置。
由于上文的方法可以被采用在超声成像***中,因此将首先参考图1并且着重于***的信号处理功能来描述示范性超声***的总体操作,因为本发明涉及对由换能器阵列测量的信号的处理。
所述***包括阵列换能器探头4,阵列换能器探头4具有用于发射超声波和接收回波信息的换能器阵列6。换能器阵列6可以包括CMUT换能器;由诸如PZT或PVDF的材料形成的压电换能器;或者任何其他合适的换能器技术。在该范例中,换能器阵列6是能够扫描感兴趣区域的2D平面或三维体积的换能器元件8的二维阵列。在另一范例中,所述换能器阵列可以是1D阵列。
换能器阵列6被耦合到微波束形成器12,微波束形成器12控制通过换能器元件对信号的接收。如在美国专利US5997479(Savord等)、US6013032(Savord)和US6623432(Powers等)中所描述的,微波束形成器能够对换能器的子阵列(一般被称为“组”或“补片(patch)”)接收的信号进行至少部分波束形成。
应当注意,微波束形成器是完全任选的。此外,所述***包括发射/接收(T/R)开关16,微波束形成器12能够被耦合到发射/接收(T/R)开关16,并且发射/接收(T/R)开关16在发射模式与接收模式之间切换所述阵列,并且在微波束形成器不被使用并且换能器阵列由主波束形成器20直接操作的情况下保护所述主波束形成器免受高能量发射信号。从换能器阵列6对超声波束的发射由通过T/R开关16被耦合到微波束形成器和主发射波束形成器(未示出)的换能器控制器18来指引,其能够从用户对用户接口或控制面板38的操作来接收输入。控制器18能够包括被布置为在发射模式期间(直接地或者经由微波束形成器)驱动阵列6的换能器元件的发射电路。
在典型的逐线成像序列中,探头内的波束形成***可以操作如下。在发射期间,波束形成器(其可以是微波束形成器或主***波束形成器,取决于实施方式)激活换能器阵列或换能器阵列的子孔径。所述子孔径可以是换能器的一维线或者更大阵列内的换能器的二维补片。在发射模式中,由阵列或阵列的子孔径所生成的超声波束的聚焦和转向如下文所描述的那样进行控制。在从对象接收背向散射的回波信号后,所接收到的信号经历接收波束形成(如下文所描述的),以便对准所接收到的信号,并且在子孔径正被使用的情况下,所述子孔径然后被移位例如一个换能器元件。经移位的子孔径然后被激活,并且该过程被重复,直至换能器阵列的所有换能器元件已经被激活。
针对每个线(或者子孔径),用于形成最终超声图像的相关联的线的全部接收到的信号将是在接收阶段期间由给定子孔径的换能器元件测量的电压信号的加和。在下文的波束形成过程之后得到的线信号通常被称为射频(RF)数据。由各种子孔径生成的每个线信号(RF数据集)然后经历额外的处理以生成最终超声图像的线。线信号的幅度随着时间的改变将促进超声图像的亮度随着深度的改变,其中,高幅度峰值将对应于最终图像中的亮像素(或者像素的集合)。出现在线信号的开始附近的峰值将表示来自浅结构的回波,而逐渐以后出现在线信号中的峰值将表示来自对象内的增加的深度处的结构的回波。
由换能器控制器18控制的功能之一是波束被转向和聚焦的方向。波束可以被转向为从换能器阵列垂直向前(正交于换能器阵列),或者以不同的角度以用于更宽的视场。发射波束的转向和聚焦可以根据换能器元件致动时间来控制。
两种方法能够在总体超声数据采集中进行区分:平面波成像和“波束转向”成像。两种方法通过波束形成在发射模式(“波束转向”成像)和/或接收模式(平面波成像和“波束转向”成像)中的存在来进行区分。
首先看聚焦功能,通过同时激活所有换能器元件,换能器阵列生成随着其行进通过对象而分散的平面波。在这种情况下,超声波的波束保持不聚焦。通过将依赖位置的时间延迟引入到对换能器的激活,能够引起波束的波前在被称为聚焦区的期望点处收敛。所述聚焦区被定义为横向波束宽度小于发射波束宽度一半的点。以这种方式,最终超声图像的横向分辨率被改善。
例如,如果延迟时间引起换能器元件连续地激活,以最外元件开始并且在换能器阵列的(一个或多个)中心元件处结束,聚焦区将被形成在与(一个或多个)中心元件成一直线的远离探头的给定距离处。取决于后续的每一轮换能器元件激活之间的时间延迟,聚焦区相距探头的距离将改变。在波束经过聚焦区之后,其将开始分散,形成远场成像区域。应当注意,对于位于换能器阵列附近的聚焦区,超声波束将在远场中快速地分散,导致最终图像中的波束宽度伪影。通常,位于换能器阵列与聚焦区之间的近场示出了由于超声波束中的显著交叠的小细节。因此,改变聚焦区的位置能够导致最终图像的质量的显著改变。
应当注意,在发射模式中,仅一个焦点可以被限定,除非超声图像被分成多个聚焦区(其中的每一个可以具有不同的发射焦点)。
另外,在从对象之内接收回波信号之后,能够执行上文所描述的过程的逆以便执行接收聚焦。换言之,进入的信号可以被换能器元件接收,并且在被传入到***中以用于信号处理之前遭受电子时间延迟。其最简单范例被称为延迟-求和波束形成。能够根据时间来动态地调整换能器阵列的接收聚焦。
现在看波束转向的功能,通过将时间延迟正确应用于换能器元件,能够在超声波束离开换能器阵列时将期望的角度赋予超声波束。例如,通过激活换能器阵列的第一侧上的换能器、紧接着以在阵列的相反侧处结束的顺序激活其余换能器,波束的波前将朝向第二侧成一角度。转向角度相对于换能器阵列的法向的大小取决于后续的换能器元件激活之间的时间延迟的大小。
此外,能够聚焦经转向的波束,其中,被应用于每个换能器元件的总时间延迟是聚焦和转向时间延迟两者的加和。在这种情况下,换能器阵列被称为相控阵列。
在需要DC偏置电压用于其激活的CMUT换能器的情况下,换能器阵列18能够被耦合以控制针对换能器阵列的DC偏置控件45。DC偏置控件45设置被应用到CMUT换能器元件的(一个或多个)偏置电压。
针对换能器阵列的每个换能器元件,模拟超声信号(通常被称为信道数据)通过接收信道进入***。在接收信道中,由微波束形成器12根据信道数据产生部分波束形成的信号,并且然后被传递到主接收波束形成器20,在主接收波束形成器20中,来自换能器的个体补片的部分波束形成的信号被组合成完全波束形成的信号,被称为射频(RF)数据。在每个阶段处执行的波束形成可以如上文所描述的那样被执行,或者可以包括额外的功能。例如,主波束形成器20可以具有128个信道,其中的每个信道接收来自数十或数百个换能器元件的补片的部分波束形成的信号。以这种方式,由换能器阵列的数千个换能器接收到的信号能够有效地贡献于单个波束形成的信号。
波束形成的接收信号被耦合到信号处理器22。信号处理器22能够以各种方式来处理所接收到的回波信号,诸如:带通滤波;抽取;I和Q分量分离;以及用于分离线性和非线性信号的谐波信号分离,以便使得能够识别从组织和微泡返回的非线性(基频的更高次谐波)回波信号。所述信号处理器还可以执行额外的信号增强,诸如纹波降低、信号复合以及噪声消除。所述信号处理器中的带通滤波器能够是跟踪滤波器,其中,其通带随着回波信号从增加的深度被接收而从较高的频带滑到较低的频带,由此拒绝来自更大深度的通常没有解剖信息的较高频率处的噪声。
用于发送和用于接收的波束形成器以不同的硬件实现并且能够具有不同的功能。当然,接收器波束形成器被设计为考虑到发射波束形成器的特性。为了简化,在图1中仅示出了接收器波束形成器12、20。在整个***中,还将存在具有发射微波束形成器和主发射波束形成器的发射链。
微波束形成器12的功能是提供信号的初始组合,以便减少模拟信号路径的数量。这通常在模拟域中执行。
最终的波束形成在主波束形成器20中完成,并且通常在数字化之后。
发射和接收信道使用具有固定频带的相同换能器阵列6。然而,发射脉冲占用的带宽能够根据所使用的传输波束形成而变化。接收信道能够捕获整个换能器带宽(这是经典方案),或者通过使用带通处理,其仅能够提取包含期望信息(例如,主谐波的谐波)的带宽。
RF信号然后可以被耦合到B模式(即,亮度模式或2D成像模式)处理器26和多普勒处理器28。B模式处理器26对所接收到的超声执行幅度检测以用于对身体中的结构(诸如器官组织和血管)进行成像。在逐线成像的情况下,每条线(波束)通过相关联的RF信号来表示,RF信号的幅度被用于生成要被分配给B模式图像中的像素的亮度值。图像内的像素的精确位置通过沿着RF信号的相关联的幅度测量的位置和RF信号的线(波束)数量来确定。这样的结构的B模式图像可以以谐波或基波图像模式或者这两者的组合来形成,如在美国专利US6283919(Roundhill等人)和美国专利US6458083(Jago等人)中所描述的。多普勒处理器28处理由组织移动和血液流动产生的时间上分立的信号,用于检测移动的物质,诸如图像场中的血细胞的流动。多普勒处理器28通常包括壁滤波器,其具有被设置为通过或拒绝从身体中的选定类型的材料返回的回波的参数。
由B模式和多普勒处理器产生的结构和运动信号被耦合到扫描转换器32和多平面重新格式化器44。扫描转换器32以期望的图像格式根据回波信号被接收的空间关系来布置回波信号。换言之,扫描转换器用于将RF数据从圆柱坐标系转换到适合于将超声图像显示在图像显示器40上的笛卡尔坐标系。在B模式成像的情况下,在给定坐标处的像素的亮度与从该位置接收的RF信号的幅度成比例。例如,所述扫描转换器可以将回波信号布置为二维(2D)扇区形格式,或者锥体三维(3D)图像。所述扫描转换器能够将B模式结构图像与对应于图像场中的点的运动的颜色叠加,其中,多普勒估计的速度产生给定颜色。组合的B模式结构图像和彩色多普勒图像描绘结构图像场内的组织的运动和血液流动。所述多平面重新格式化器将从身体的体积区域中的共同平面中的点接收到的回波转换为该平面的超声图像,如在美国专利US6443896(Detmer)中所描述的。体积绘制器42将3D数据集的回波信号转换成如从给定参考点所看到的投影的3D图像,如在美国专利US6530885(Entrekin等人)中所描述的。
2D或3D图像被从扫描转换器32、多平面重新格式化器44、以及体积绘制器42耦合到图像处理器30以用于进一步增强、缓存和临时存储,以用于在图像显示器40上显示。所述成像处理器可以适于从最终超声图像去除某些成像伪影,诸如:例如由强衰减器或折射引起的声影;例如由弱衰减器引起的后增强;混响伪影,例如其中,高反射组织界面位于附近;等等。另外,所述图像处理器可以适于操控某些散斑减少功能,以便改善最终超声图像的对比。
除了用于成像之外,由多普勒处理器28产生的血流值以及由B模式处理器26产生的组织结构信息被耦合到量化处理器34。除了结构测量结果(诸如器官的尺寸和孕龄)之外,所述量化处理器产生不同流动状况的量度(诸如血流的体积率)。所述量化处理器可以接收来自用户控制面板38的输入,诸如要进行测量的图像的解剖结构中的点。
来自所述量化处理器的输出数据被耦合到图形处理器36,其用于在显示器40上与图像一起再现测量图形和值,以及从显示设备40输出音频。图形处理器36也能够生成图形叠加以用于与超声图像一起显示。这些图形叠加能够包含标准识别信息,诸如患者姓名、图像的日期和时间、成像参数等。出于这些目的,所述图形处理器从用户接口38接收输入,诸如患者姓名。所述用户接口还被耦合到发射控制器18以控制来自换能器阵列6的超声信号的生成,并且因此控制由换能器阵列和超声***产生的图像。控制器18的发送控制功能仅仅是所执行的功能之一。控制器18还考虑了操作模式(由用户给定)以及接收器模数转换器中的对应所需的发射器配置和带通配置。控制器18能够是具有固定状态的状态机。
用户接口还被耦合到多平面重新格式化器44,其用于选择和控制多个多平面重新格式化(MPR)图像的平面,其可以被用于在MPR图像的图像场中执行量化测量。
图2示出了用于监测超声图像中的工具的位置的方法100。
所述方法在步骤110中以采集多幅2D超声图像开始。所述多幅2D超声图像可以由超声探头4(诸如在上文参考图1所描述的探头)来捕获。
在工具附近捕获所述多幅2D超声图像,意味着所述多幅2D超声图像中的至少一幅包括工具的至少部分。通过范例,所述工具可以是用于从给定目标区域收集组织样本的针。通过从目标区域的附近采集所述多幅2D超声图像,将在所述图像中的至少一幅图像中捕获所述针。
所述方法然后前进到步骤120,其中,基于所述多幅2D超声图像来生成3D超声图像。可以在初始徒手采集期间捕获2D超声图像。2D超声图像然后可以形成图像切片,其中,可以在所述图像之间内插图像数据以便生成完全3D超声图像。
可以使用任何合适的方法从所述多幅2D超声图像来生成3D超声图像。例如,可以使用如在R.Prevost等人“3D freehand ultrasound without external tracking usingdeep learning”(Medical Image Analysis 48(2018),187-202)中所描述的内插方法来生成3D超声图像。备选地,可以使用如在Liu,G。等人的(2018).Image Inpainting forIrregular Holes Using Partial Convolutions([online]Arxiv.org.Available at:https://arxiv.org/abs/1804.07723[Accessed10Sep.2018])中所描述的图像补全方法来生成3D超声图像。
在步骤130中,在3D超声图像内识别工具的第一位置。
基于图像的工具检测技术在3D模型中定位工具,诸如针。一旦在模型内捕获了足够长度的工具,就可以成功地执行在所构建的3D体积中的工具定位。相对于2D US换能器的相对位置可以被提供给用户以用于优化对换能器的操纵从而正确地对整个工具进行可视化。
用于在3D超声图像内识别工具的潜在方法在下文参考图3进行讨论,在下文进一步描述的。
在步骤140中,采集额外的2D超声图像。另外,记录与在额外的2D超声图像的采集期间的超声探头的位置有关的位置信息。
例如,在采集所述多幅2D超声图像之后,用户可以移动所述超声探头以便捕获额外的2D超声图像。换言之,可以从相对于所述多幅2D超声图像的位置的不同换能器位置接收额外的2D超声图像。
换言之,在采集额外的2D超声图像之前的超声换能器的位置变化可以被确定,并且形成位置信息的至少部分。以这种方式,额外的2D超声图像相对于3D超声图像的位置可以是已知的。
超声换能器的位置变化可以使用以下中的一项或多项来确定:块匹配;特征跟踪;运动跟踪;散斑去相关;特征利用;机器学习;以及深度学习。
运动跟踪可以由专用的运动传感器来执行,诸如附加的加速度计、被集成到超声探头中的加速度计或位置传感器(例如,光学运动传感器)。
所述运动跟踪也可以仅使用图像处理来执行。例如,换能器沿着横向方向(跨对象的表面)的移动可以使用块匹配算法来跟踪,所述块匹配算法是一种定位图像(诸如2D超声图像)的序列中的匹配宏块以用于运动估计的方法。所述算法包含将图像(例如,额外的2D超声图像)分成宏块,并且比较每个宏块与另一图像(例如,所述多幅2D超声图像中的一幅)的对应宏块。然后,创建向量,建模宏块从一个位置到另一位置的移动。向量然后可以被用于估计在多幅2D超声图像与额外的2D超声图像的采集之间的超声探头的位置变化。
另外,换能器沿着高程方向(朝向和远离对象的表面)的移动也可以被跟踪。已知的是,超声波束具有由换能器的高程分辨率限定的指定厚度,并且回波在图像平面中被配准在波束与组织结构交叠的每个波束位置处。该构思参考图4A和图4B被进一步图示,在下文进一步描述。
因此,当换能器沿着高程方向移动时,波束宽度的厚度内的所有结构以不同的强度被配准在图像平面上,其中,当位于波束宽度的中间处时,结构示出最大强度,并且当波束交叠最小时,结构示出最小强度。这使得能够使用图像处理技术对从图像平面逐渐地出现并消失的结构进行跟踪,诸如散斑去相关(如在Li,M的“System and method for 3-Dmedical imaging using 2-D scan data”(美国专利US 5582173,申请号US 529778(1995))和Hassan Rivaz等人的“Novel reconstruction and feature exploitationtechniques for sensorless freehand 3D ultrasound”(Proc.SPIE 7629,MedicalImaging2010:Ultrasonic Imaging,Tomography,and Therapy,76291D(12March 2010))中所描述的)和特征利用(如在R.James Housden等人的“Sensorless Reconstruction ofUnconstrained Freehand 3D Ultrasound Data”(In Ultrasound in Medicine&Biology,第33卷,第3期,2007,第408-419页,ISSN 0301-5629中所描述的)。此外,能够采用机器学习和/或深度学习方法用于图像分析以便估计探头的运动。
此外,能够增加超声波束宽度的厚度以用于改善各种跟踪算法的准确性和鲁棒性。
额外的2D超声图像的位置信息可以包括与超声换能器有关的平移和取向信息。平移可以是沿着横向方向或高程方向,并且取向可以包括超声探头的倾斜和旋转。换言之,能够在2D超声图像的采集期间跟踪超声探头的位置和取向两者。
在步骤150中,基于在步骤140中所采集的额外的2D超声图像来更新3D超声图像。
额外的2D超声图像可以使用其相对于所述多幅2D超声图像中的先前采集的2D超声图像的相对位置和取向被配准到3D超声图像中。所述3D超声图像然后可以被更新以对根据先前的2D超声图像采集构建的感兴趣的被采集区域进行建模。3D超声图像可以以与如何使用所述多幅2D超声图像生成原始3D超声图像相类似的方式被更新。
换言之,当额外的2D超声图像被采集时,其位置相对于所生成的3D超声图像被确定。3D超声图像然后使用额外的2D超声图像和其位置信息来更新。
所述方法前进到步骤160,其中,仅基于经更新的3D超声图像的成像数据在经更新的3D超声图像内识别工具相对于额外的2D超声图像的位置。
所述成像数据可以包括与3D超声图像的生成相关联的任何数据。例如,成像数据可以包括:多幅2D超声图像的像素值;额外的2D超声图像的像素值;3D超声图像的体素值;经更新的3D超声图像的体素值;超声探头的成像参数;与超声图像相关联的元数据;超声探头在图像捕获期间的位置和/或取向;与超声图像相关联的用户输入;超声图像内的被分割的结构;等等。
例如,可以仅基于多幅2D超声图像和额外的2D超声图像的像素值来识别工具的位置。备选地或另外地,可以基于经更新的3D超声图像的体素值来识别工具的位置。
换言之,(在3D超声图像内)相对于新采集的2D超声图像来确定工具的位置。
当被置于对象的组织中时,工具的运动在很大程度上被限制于给定的平面。因此,当工具移动时,工具位于3D超声图像内的平面的位置不相对于新采集的2D图像显著地改变。
然而,由于用于采集超声图像的换能器具有不受限制的移动范围,因此换能器相对于工具的位置可以显著地改变。
因此,对换能器(当采集额外的2D超声图像时)和工具的相对位置的识别可以用于在用于对期望区域进行成像的换能器和用于到达期望区域的工具两者的操纵时引导用户。
通过范例,可能需要从对象内的肿瘤取出组织样本。工具(在这种情况下,诸如针)被用户邻近于肿瘤的已知位置而***,并且超声换能器用于对工具和肿瘤周围的区域进行成像。
超声换能器采集多幅2D超声图像,并且基于所述多幅2D超声图像来生成3D超声图像。针的位置在3D超声图像内被识别,并且可以示出给用户。
用户然后可以移动超声换能器,以便捕获额外的2D超声图像。例如,整个肿瘤可能未被包含在原始3D超声图像中。因此,用户可以移动换能器以便采集期望区域的图像。新采集的2D超声图像的位置可以被确定并且用于更新3D超声图像以用于向用户显示。
此外,新采集的2D超声图像相对于工具的位置也被识别。这然后可以提供新采集的2D超声图像内的区域与工具之间的位移的指示。因此,可以为用户提供如何将工具移动到在额外的2D超声图像中成像的区域的引导。
工具识别可以如在步骤130中那样被执行。基于图像的工具检测技术在3D模型中相对于2D US换能器的当前位置来定位工具(诸如针)。再一次地,在下文参考图3描述了潜在工具检测技术。
在步骤160之后,所述方法可以返回到步骤140,其中,采集新的额外的2D超声。换言之,3D模型可以被重复地更新,并且工具的位置基于进入的2D超声图像的序列被跟踪。
另外,工具和3D超声图像的第二位置可以向用户显示,由此允许用户准确地操纵工具和超声探头以到达期望位置。
备选地,换能器的位置和取向可以被确定以构建包括工具的感兴趣区域的一次完全3D超声体积。基于图像的工具检测***然后被用于相对于体积中的其他重要结构以3D方式对针进行可视化。这可以在用户寻求关于用于诸如注射或执行活检的流程的针顶端的准确放置的确认时被利用。
图3更详细地示出了图2的步骤130,其中,在3D超声图像内确定工具的第一位置。
在步骤132中,从使用多幅2D超声图像生成的3D超声图像获得一组平面截面。平面截面表示位于工具下方的所生成的3D体积的截面,其垂直于由超声成像***发射的超声波的发射方向。工具的阴影在3D图像的这些平面截面中是最可见的。因此,使用这些平面截面来定位工具实现了对工具阴影的快速并且准确的识别。平面截面在3D图像的不同深度处获得,提供了平面截面的集合。平面截面可以简单地是所采集的多幅2D超声图像。
在步骤134中,分析在步骤132中所获得的平面截面,以检测可以表示工具的阴影的平面截面的暗区域。在工具下方的截面中,工具的阴影将显现为椭圆形斑点,其与3D图像的相邻区域相比是较暗的。在对图像进行去噪和执行诸如负阈值化、线检测或分割技术的分析技术之后,能够识别具有工具阴影的典型属性的暗区域。可以通过检查暗区域的尺寸、宽度和形状来实施进一步的增强,因为工具的尺寸、宽度和形状是已知的,意味着能够计算阴影的预期尺寸、宽度和形状。然而,并非在平面截面中存在的所有暗区域都对应于工具的阴影。因此,检测到的暗区域中的一些暗区域不形成工具阴影的部分。
在步骤136中,处理在步骤134中检测到的暗区域,以识别暗区域中的哪个暗区域对应于工具阴影。通过识别至少一个工具阴影区域,能够确定表示沿着体积的轴的针的全长的3D超声图像的平面的位置。
可以基于单个检测到的工具阴影区域的位置或者一起形成检测到的总体阴影的来自不同平面截面的多个工具阴影区域来确定工具截面平面的位置。
有多种方式处理平面截面来识别对应于工具阴影的暗区域。这些工具阴影区域是检测到的暗区域的子集。为了识别该子集,在数据集上执行随机采样和一致性算法(RANSAC)。在RANSAC方法中,确定拟合模型并且检查数据集的元素以确定哪些元素与拟合模型相一致。工具阴影区域子集是具有最少离群值的数据集的子集。
在一个范例中,为了定位工具阴影区域子集,选择可能的工具平面,并且对与工具平面截面垂直的截面中与可能的工具平面截面相一致的检测到的暗区域的数量进行计数。备选地或额外地,对包括与可能的工具平面相一致的暗区域的、与由超声成像***发射的超声波的透射方向垂直的截面的数量进行计数。
可以通过若干次迭代对该过程进行重复,直至识别出具有最大数量的内嵌物的可能的工具平面为止;这是实际的工具平面。与工具平面截面相交的暗区域是形成整个工具阴影的工具阴影区域。因此,通过识别包括整个工具阴影的平面,基于工具阴影区域来确定工具平面截面的取向。
在步骤138中,计算与超声波束平行并且包含检测到的整个阴影的全长的体积的截面。该截面是工具平面,其包含全长的针和顶端。针的其他视图也可以基于工具平面截面的位置来定位。以这种方式,可以在3D超声图像内识别工具的第一位置。此外,所述方法可以被重复以用于在3D超声图像内识别工具的第二位置。
图4A示出了用于生成具有波束宽度x的超声波束210的超声换能器200。在超声波束的中心处示出了成像平面200。
图4B示出了一系列图像,其中,成像目标230位于超声波束210内的各种位置处,其中,波的峰值表示超声波束的中心。此外,示出了当位于超声波束内的给定位置处时由目标生成的回波的强度的表示。当目标位于位置1和5处时,强度处于最小值;然而,当目标位于位置3处(波的峰值并且因此超声波束的中心)时,回波强度处于最大值。
本领域技术人员通过研究附图、公开内容和从属权利要求,在实践所请求保护的本发明时,能够理解并且实现所公开的实施例的变型。在权利要求中,“包括”一词不排除其他元件或步骤,并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。尽管某些措施被记载在互不相同的从属权利要求中,但是这并不指示不能有利地使用这些措施的组合。计算机程序可以被存储/分布在合适的介质上,诸如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质,但是也可以被以其他形式分布,诸如经由互联网或其他有线或无线的电信***。权利要求中的任何附图标记都不应当被解释为对范围的限制。
Claims (15)
1.一种用于监测超声图像中的工具的位置的方法(100),所述方法包括:
通过超声换能器来采集(110)多幅2D超声图像,其中,所述多幅2D超声图像中的至少一幅包括所述工具的部分;
基于所述多幅2D超声图像来生成(120)3D超声图像;
在所述3D超声图像内识别(130)所述工具的第一位置;
采集(140)额外的2D超声图像以及在所述额外的2D超声图像的捕获期间与所述超声换能器的位置有关的位置信息;
基于所述额外的2D超声图像和所述位置信息来更新(150)所述3D超声图像;并且
仅基于经更新的3D超声图像的成像数据在所述经更新的3D超声图像内识别(160)所述工具相对于所述额外的2D超声图像的位置。
2.根据权利要求1所述的方法(100),其中,识别所述工具的所述位置包括:
在所述经更新的3D超声图像内识别工具阴影;并且
基于所述工具阴影来识别所述工具的所述位置。
3.根据权利要求1至2中的任一项所述的方法(100),其中,所述额外的2D超声图像是从与针对所述多幅2D超声图像的换能器位置的不同换能器位置接收的,并且所述方法还包括确定所述超声换能器的位置变化,其中,所述位置变化形成所述位置信息的至少部分。
4.根据权利要求3所述的方法(100),其中,对所述超声换能器的位置变化的所述确定是使用以下中的一项或多项来执行的:
块匹配;
特征跟踪;
运动跟踪;
散斑去相关;
特征利用;
机器学习;以及
深度学习。
5.根据权利要求1至4中的任一项所述的方法(100),其中,所述额外的2D超声图像的所述位置信息包括与所述超声换能器有关的平移信息。
6.根据权利要求1至5中的任一项所述的方法(100),其中,所述额外的2D超声图像的所述位置信息包括与所述超声换能器有关的取向信息。
7.根据权利要求1至6中的任一项所述的方法(100),其中,所述方法还包括在所述经更新的3D超声图像内向用户显示所述工具相对于所述额外的2D超声图像的所述位置。
8.根据权利要求1至7中的任一项所述的方法(100),其中,所述方法还包括向用户显示所述经更新的3D超声图像。
9.一种包括计算机程序代码单元的计算机程序,当所述计算机程序在计算机上被运行时,所述计算机程序代码单元适于实施根据权利要求1至8中的任一项所述的方法。
10.一种适于监测超声图像中的工具的位置的超声成像***(2),所述***包括:
超声探头(4),其包括适于获得多幅2D超声图像的超声换能器,其中,所述多幅2D超声图像中的至少一幅包括所述工具的部分;
处理器,其中,所述处理器适于:
基于所述多幅2D超声图像来生成3D超声图像;
在所述3D超声图像内识别所述工具的第一位置;
基于通过所述超声探头采集的额外的2D超声图像以及在所述额外的2D超声图像的捕获期间与所述超声换能器的位置有关的位置信息来更新所述3D超声图像;并且
仅基于经更新的3D超声图像的成像数据在所述经更新的3D超声图像内识别所述工具相对于所述额外的2D超声图像的位置。
11.根据权利要求10所述的***(2),其中,所述处理器还适于:
从与针对所述多幅2D超声图像的换能器位置的不同换能器位置接收所述额外的2D超声图像;并且
确定所述超声探头的位置变化,其中,所述位置变化形成所述位置信息的至少部分。
12.根据权利要求10至11中的任一项所述的***(2),其中,所述***还包括适于采集所述位置信息的传感器。
13.根据权利要求12所述的***(2),其中,所述传感器是加速度计或位置传感器。
14.根据权利要求10至13中的任一项所述的***(2),其中,所述***还包括显示器(40),所述显示器适于在所述经更新的3D超声图像内向用户显示所述工具相对于所述额外的2D超声图像的所述位置。
15.根据权利要求14所述的***(2),其中,所述显示器(40)还适于向所述用户显示所述经更新的3D超声图像。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862731122P | 2018-09-14 | 2018-09-14 | |
US62/731,122 | 2018-09-14 | ||
EP18200503.3 | 2018-10-15 | ||
EP18200503.3A EP3639750A1 (en) | 2018-10-15 | 2018-10-15 | Systems and methods for tracking a tool in an ultrasound image |
PCT/EP2019/074149 WO2020053237A1 (en) | 2018-09-14 | 2019-09-11 | Systems and methods for tracking a tool in an ultrasound image |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112672696A true CN112672696A (zh) | 2021-04-16 |
Family
ID=63862055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980059634.5A Pending CN112672696A (zh) | 2018-09-14 | 2019-09-11 | 用于跟踪超声图像中的工具的***和方法 |
Country Status (2)
Country | Link |
---|---|
EP (2) | EP3639750A1 (zh) |
CN (1) | CN112672696A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116439802B (zh) * | 2023-05-12 | 2024-04-12 | 上海长征医院 | 一种掌式超声装置和成像方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020049375A1 (en) * | 1999-05-18 | 2002-04-25 | Mediguide Ltd. | Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation |
US20090123048A1 (en) * | 2007-05-09 | 2009-05-14 | Jean-Daniel Leroux | Image Reconstruction Methods Based on Block Circulant System Matrices |
US20140121501A1 (en) * | 2012-10-31 | 2014-05-01 | Queen's University At Kingston | Automated intraoperative ultrasound calibration |
WO2015092628A1 (en) * | 2013-12-20 | 2015-06-25 | Koninklijke Philips N.V. | Ultrasound imaging systems and methods for tracking locations of an invasive medical device |
CN105025803A (zh) * | 2013-02-28 | 2015-11-04 | 皇家飞利浦有限公司 | 从多个三维视图对大对象的分割 |
CN108186115A (zh) * | 2018-02-08 | 2018-06-22 | 北京数字精准医疗科技有限公司 | 手持式荧光超声融合造影导航*** |
CN108198235A (zh) * | 2017-12-25 | 2018-06-22 | 中国科学院深圳先进技术研究院 | 一种三维超声重建方法、装置、设备及存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5582173A (en) | 1995-09-18 | 1996-12-10 | Siemens Medical Systems, Inc. | System and method for 3-D medical imaging using 2-D scan data |
US6283919B1 (en) | 1996-11-26 | 2001-09-04 | Atl Ultrasound | Ultrasonic diagnostic imaging with blended tissue harmonic signals |
US6458083B1 (en) | 1996-11-26 | 2002-10-01 | Koninklijke Philips Electronics N.V. | Ultrasonic harmonic imaging with adaptive image formation |
US6013032A (en) | 1998-03-13 | 2000-01-11 | Hewlett-Packard Company | Beamforming methods and apparatus for three-dimensional ultrasound imaging using two-dimensional transducer array |
US5997479A (en) | 1998-05-28 | 1999-12-07 | Hewlett-Packard Company | Phased array acoustic systems with intra-group processors |
US6530885B1 (en) | 2000-03-17 | 2003-03-11 | Atl Ultrasound, Inc. | Spatially compounded three dimensional ultrasonic images |
US6443896B1 (en) | 2000-08-17 | 2002-09-03 | Koninklijke Philips Electronics N.V. | Method for creating multiplanar ultrasonic images of a three dimensional object |
US6468216B1 (en) | 2000-08-24 | 2002-10-22 | Kininklijke Philips Electronics N.V. | Ultrasonic diagnostic imaging of the coronary arteries |
US6733458B1 (en) * | 2001-09-25 | 2004-05-11 | Acuson Corporation | Diagnostic medical ultrasound systems and methods using image based freehand needle guidance |
CN104411249B (zh) * | 2012-05-31 | 2017-07-28 | 皇家飞利浦有限公司 | 用于图像引导流程的超声成像***和方法 |
-
2018
- 2018-10-15 EP EP18200503.3A patent/EP3639750A1/en not_active Withdrawn
-
2019
- 2019-09-11 CN CN201980059634.5A patent/CN112672696A/zh active Pending
- 2019-09-11 EP EP19765260.5A patent/EP3849424B1/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020049375A1 (en) * | 1999-05-18 | 2002-04-25 | Mediguide Ltd. | Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation |
US20090123048A1 (en) * | 2007-05-09 | 2009-05-14 | Jean-Daniel Leroux | Image Reconstruction Methods Based on Block Circulant System Matrices |
US20140121501A1 (en) * | 2012-10-31 | 2014-05-01 | Queen's University At Kingston | Automated intraoperative ultrasound calibration |
CN105025803A (zh) * | 2013-02-28 | 2015-11-04 | 皇家飞利浦有限公司 | 从多个三维视图对大对象的分割 |
WO2015092628A1 (en) * | 2013-12-20 | 2015-06-25 | Koninklijke Philips N.V. | Ultrasound imaging systems and methods for tracking locations of an invasive medical device |
CN108198235A (zh) * | 2017-12-25 | 2018-06-22 | 中国科学院深圳先进技术研究院 | 一种三维超声重建方法、装置、设备及存储介质 |
CN108186115A (zh) * | 2018-02-08 | 2018-06-22 | 北京数字精准医疗科技有限公司 | 手持式荧光超声融合造影导航*** |
Also Published As
Publication number | Publication date |
---|---|
EP3849424B1 (en) | 2023-11-08 |
EP3849424A1 (en) | 2021-07-21 |
EP3639750A1 (en) | 2020-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2667617C2 (ru) | Система и способ эластографических измерений | |
CN109310399B (zh) | 医学超声图像处理设备 | |
EP3934539B1 (en) | Methods and systems for acquiring composite 3d ultrasound images | |
CN112867444B (zh) | 用于引导对超声图像的采集的***和方法 | |
CN112912010A (zh) | 用于导出与来自血管的流量有关的参数的方法和*** | |
CN113164156A (zh) | 用于引导式超声数据采集的***和方法 | |
CN113573645B (zh) | 用于调整超声探头的视场的方法和*** | |
EP3752984B1 (en) | An imaging system and method with stitching of multiple images | |
CN108024789B (zh) | 容积间病变检测和图像准备 | |
EP3849424B1 (en) | Tracking a tool in an ultrasound image | |
JP7261870B2 (ja) | 超音波画像内のツールを追跡するためのシステム及び方法 | |
EP4243695B1 (en) | Methods and systems for tracking a motion of a probe in an ultrasound system | |
CN118251180A (zh) | 具有视场调整的3d超声成像 | |
CN114867418A (zh) | 用于评估胎盘的***和方法 | |
US20240000430A1 (en) | Processing ultrasound scan data | |
JP7216738B2 (ja) | 三次元超音波画像の提供 | |
EP4223227A1 (en) | A method and system for performing fetal weight estimations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |