CN107809955A - 经由感兴趣界标的自动检测在x射线成像中进行实时准直和roi过滤器定位 - Google Patents
经由感兴趣界标的自动检测在x射线成像中进行实时准直和roi过滤器定位 Download PDFInfo
- Publication number
- CN107809955A CN107809955A CN201580080774.2A CN201580080774A CN107809955A CN 107809955 A CN107809955 A CN 107809955A CN 201580080774 A CN201580080774 A CN 201580080774A CN 107809955 A CN107809955 A CN 107809955A
- Authority
- CN
- China
- Prior art keywords
- boundary mark
- program
- boundary
- image
- roi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 title claims description 21
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 16
- 210000003484 anatomy Anatomy 0.000 claims abstract description 6
- 238000002679 ablation Methods 0.000 claims description 9
- 238000012790 confirmation Methods 0.000 claims description 6
- 210000003748 coronary sinus Anatomy 0.000 claims description 6
- 238000002608 intravascular ultrasound Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 claims description 4
- 210000004204 blood vessel Anatomy 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 4
- 229910052791 calcium Inorganic materials 0.000 claims description 4
- 239000011575 calcium Substances 0.000 claims description 4
- 230000001684 chronic effect Effects 0.000 claims description 4
- 230000007831 electrophysiology Effects 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 14
- 230000008859 change Effects 0.000 description 3
- 239000002872 contrast media Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 206010003658 Atrial Fibrillation Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000004070 electrodeposition Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002594 fluoroscopy Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000013175 transesophageal echocardiography Methods 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/06—Diaphragms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/486—Diagnostic techniques involving generating temporal series of image data
- A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
- A61B6/545—Control of apparatus or devices for radiation diagnosis involving automatic set-up of acquisition parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Vascular Medicine (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
用于在介入程序中的X射线成像中进行实时准直和ROI过滤器定位的方法包括：在医疗介入程序开始时在对象上获取感兴趣区域（ROI）的图像；基于所述图像中的低级特征对图像进行分类以确定正在执行的程序的类型；从正在执行的程序的类型确定所述图像中的界标列表；以及针对在所述界标列表中的每个界标加载预先训练的界标模型，其中，界标包括在所述医疗介入程序中使用的医疗设备和所述对象的解剖结构，以及从使用所述界标模型计算出的所述界标的分界框和ROI过滤器边界来计算X射线成像设备的准直器设置。
Description
技术领域
本发明涉及用于经由感兴趣界标的自动检测和跟踪在介入程序中的X射线成像中进行实时准直和感兴趣区域（ROI）过滤器定位的方法。
背景技术
现今的大多数介入程序使用X射线荧光透视以用于成像和指导。这些介入程序通常利用计算机化的X射线成像***来执行。如果***使用仅一个X射线成像臂则将该***称为单翼***，而如果它使用双臂则称为双翼***。双翼***提供两个X射线图像，其实现了更好的3D成像和实时导航。大多数X射线成像***针对每个X射线成像臂包括X射线源、图像增强器和记录介质。
现今的一个关注问题是在介入程序期间防止散射的X射线到达图像增强器，因为散射的X射线可能对在手术室中执行这些程序的医务人员提出了健康问题。可以通过使用准直器将X射线束准直到感兴趣的区域以对感兴趣的目标进行成像来解决所关注的问题。
对于大多数介入程序，正确设置准直和感兴趣区域（ROI）过滤器位置可以减少对医务人员的不必要的X射线辐射。在一些诊断程序中，调整准直器以最佳地覆盖没有身体部位的场景部分。然而，在一些介入程序中，调整准直器以覆盖医生不感兴趣的一些身体部位。 ROI过滤器可以被定位成使得以衰减的辐射对ROI周围的区域进行成像，导致不太强烈和较大噪声的荧光透视图像。在许多X射线程序中，这样的心房颤动消融程序中，将造影剂注射到患者体内并用X射线成像设备进行捕获。
利用X射线成像设备的介入程序至少有两个特性。
1.在大多数介入程序中，在程序期间***各种医疗设备并将其引导到患者或对象体内的感兴趣区域。大部分时间这些医疗设备都在X射线图像的清晰可见区域中。图1（a）-图1（c）示出了在其中采用不同介入设备的各种介入程序的X射线图像，诸如图1（a）和图1（b）中的支架11、引导导管12和引导线13、以及图1（c）中的不同的导管和冷冻球囊导管14。准直器和ROI过滤器应该被设置成使得成像区域覆盖医疗设备和患者的相关结构。除了对象的感兴趣结构之外，最佳准直设置还取决于这些设备的位置。这样的介入医疗设备包括：
a.导管，
b.温度探头，
c.引导线，
d.支架，
e.针，
f.血管内超声（IVUS）换能器，
g.心脏内超声心动图（ICE）导管，
h.经食道超声心动图（TEE）探头等。
2.每当有新设备时或在程序要求时，需要更改准直器和ROI过滤器的设置。这在很多情况下都会发生。例如，当下列场景发生时可能需要更新准直器：注入造影剂、（一个或多个）介入设备移动到准直内部的新位置、或者从程序中移除（一个或多个）新的介入设备。每当有需要时手动设置准直器和ROI过滤器就将暴露给医疗人员的辐射最小化，但是，需要花费大量的人力，并增加了程序的持续时间。另一种解决方案可以使用眼睛***，但是这种眼睛***在临床程序中的使用不够成熟。
发明内容
如本文所述的本公开的示例性实施例通常包括用于在介入程序中的X射线成像中进行实时准直和ROI过滤器定位的***和方法。
根据本公开的实施例，提供了一种用于在介入程序中的X射线成像中进行实时准直和ROI过滤器定位的方法，包括：在医疗介入程序开始时在对象上获取感兴趣区域（ROI）的图像，基于所述图像中的低级特征对图像进行分类以确定正在执行的程序的类型，从正在执行的程序的类型确定所述图像中的界标列表，并且针对在界标列表中的每个界标加载预先训练的界标模型，其中，界标包括在所述医疗介入程序中使用的医疗设备和所述对象的解剖结构，以及从使用所述界标模型计算出的所述界标的分界框和ROI过滤器边界来计算X射线成像设备的准直器设置。
根据本公开的另一实施例，该方法包括向操作员呈现所述X射线成像设备的计算出的准直器设置，并且从所述操作员接收所述操作员对所述计算出的准直器设置的确认。
根据本公开的另一实施例，该方法包括在所述医疗介入程序期间检测界标已经移动到所述ROI中，并且重新计算所述X射线成像设备的所述ROI过滤器边界和所述准直器设置。
根据本公开的另一实施例，所述界标模型被用来检测所述图像中的界标。
根据本公开的进一步的实施例，界标包括球囊标志、引导导管、引导线、血管内超声换能器、血管、消融导管电极、周围标测导管电极、冠状窦导管电极、钙和骨结构。
根据本公开的另一实施例，如果针对一个界标不退出预先训练的界标模型，所述方法还包括对所述界标进行初始化，从用户接收所述界标的正样本，从所述图像的其它区域接收所述界标的负样本，从表示初始化后的界标的外观的图像块中确定所述图像的外观，以及使用所述正样本、所述负样本和所述图像外观来训练界标模型。
根据本公开的另一实施例，利用线段、曲线、分界框、圆或其他类似类型的结构中的一个对所述界标进行初始化。
根据本公开的进一步的实施例，所述低级特征包括边缘、Haar类特征、尺度不变特征、有序梯度直方图和局部三元模式（LTP）。
根据本公开的另一实施例，基于正在执行的程序的类型而由分类器对所述图像进行分类，其中所述程序类型包括电生理程序、血管内超声程序、慢性完全闭塞（CTO）程序和球囊血管成形术程序。
根据本公开的另一个实施例，提供了一种用于在介入程序中的X射线成像中进行实时准直和ROI过滤器定位的方法，包括：在医疗介入程序的开始时在对象上获取感兴趣区域（ROI）的图像，基于正在执行的程序的类型对所述图像进行分类，检测所述图像中的界标，其中从正在执行的程序的类型确定正被检测的界标，其中界标包括在所述医疗介入程序中使用的医疗设备和所述对象的解剖结构，以及从使用检测到的界标计算出的所述界标的分界框和ROI过滤器边界来计算X射线成像设备的准直器设置。
根据本公开的另一实施例，该方法包括从正在执行的程序的类型来确定界标列表，并且针对所述界标列表中的每个界标加载预先训练的界标模型，其中所述界标模型被用来检测所述图像中的界标。
根据本公开的另一实施例，如果针对一个界标不退出预先训练的界标模型，则所述方法还包括对所述界标进行初始化，从用户接收所述界标的正样本，从所述图像的其它区域接收所述界标的负样本，从表示初始化后的界标的外观的图像块中确定所述图像的外观，以及使用所述正样本、所述负样本和所述图像外观来训练界标模型。
根据本公开的另一实施例，该方法包括向操作员呈现所述X射线成像设备的计算出的准直器设置，并且从所述操作员接收所述操作员对所述计算出的准直器设置的确认。
根据本公开的另一实施例，该方法包括在所述医疗介入程序期间，检测界标已经移动到所述ROI中，并且重新计算所述X射线成像设备的所述ROI过滤器边界和所述准直器设置。
根据本公开的进一步的实施例，使用低级特征来对图像进行分类，其中所述低级特征包括边缘、Haar类特征、尺度不变特征、有序梯度直方图和局部三元模式（LTP）。
根据本公开的另一个实施例，提供了一种计算机可读的非暂时性程序储存设备，有形地体现由计算机执行的指令程序以执行用于在介入程序中的X射线成像中进行实时准直和ROI过滤器定位的方法步骤。
附图说明
图1（a）-图1（c）示出了根据本公开的实施例的在其中采用不同介入设备的各种介入程序的X射线图像。
图2是根据本公开的实施例的用于在介入程序中的X射线成像中进行实时准直和ROI过滤器定位的方法的流程图。
图3示出了根据本公开的实施例的支架程序。
图4（a）-图4（c）图示出了根据本公开的实施例的冠状窦导管上的电极的检测。
图5是根据本公开的实施例的球囊标志、引导线、支架和引导导管的X射线图像。
图6是根据本发明实施例的标签与学习方法的流程图。
图7是根据本公开的实施例的用于在介入程序中的X射线成像中进行实时准直和ROI过滤器定位的示例性计算机***的框图。
具体实施方式
如本文所述的本公开的示例性实施例通常包括用于在介入程序中的X射线成像中进行实时准直和ROI过滤器定位的***和方法。因此，尽管本公开易有各种修改和替代形式，但是其特定实施例在附图中通过示例的方式被示出，并且将在本文中进行详细描述。然而，应该理解，不旨在将本公开限制为所公开的特定形式，而是相反，本公开将涵盖落入本公开的精神和范围内的所有修改、等同物和替代。
如本文所使用的，术语“图像”是指由离散图像元素（例如，用于2维图像的像素和用于3维图像的体素）组成的多维数据。图像可以是例如通过计算机断层摄影、磁共振成像、超声波或本领域技术人员已知的任何其它医疗成像***收集的对象的医疗图像。图像也可以从非医疗上下文中提供，诸如例如遥感***、电子显微镜等。尽管图像可以被认为是从R3到R或R7的函数，但是本公开的方法不限于这样的图像，并且可以应用于任何维度的图像，例如二维图片或三维体积。对于二维或三维图像，图像的域通常是二维或三维矩形阵列，其中每个像素或体素可以参考一组2个或3个相互正交的轴来进行寻址。本文所使用的术语“数字”和“数字化”将适当地指代经由来自模拟图像的转换或者经由数字采集***获取的数字或数字化的格式而获得的图像或体积。
本公开的实施例可以提供用于通过考虑到上面提及的特性来以最佳方式且实时自动设置准直器和ROI过滤器从而将散射的X射线最小化的方法。根据本公开的实施例的方法可以基于荧光透视图像中的医疗设备或结构的存在而将场景分类成不同的类别。根据本公开的实施例，对象的结构和在该程序中使用的医疗设备被称为“界标”。基于检测到的场景类别，可以加载对应界标的模型以检测图像中的界标的位置并生成准直器和ROI过滤器设置。例如，如果检测到心房颤动程序，则自动加载消融导管、冠状窦导管和周围标测导管的模型。如果针对一个界标不存在模型，则该界标被认为是新的，并且使用“标签与学习”方法以允许技术人员对该界标进行初始化，并且然后在X射线图像中检测类似的界标。将检测到的新界标添加到界标数据库。
图2是用于经由感兴趣界标的自动检测和跟踪来在介入程序中的X射线成像中进行实时准直和ROI过滤器定位的示例性的非限制性方法的流程图。现在参考该图，该方法在步骤21通过获取荧光透视图像而开始。如果荧光透视成像***是单翼***，则该图像是单翼图像，或者否则就是双翼帧。该图像是在程序开始时被获取的，并且在当时以及在X射线成像设备已经在患者或对象的感兴趣区域处居中之后包括医疗设备。
在捕捉到初始图像之后，可以基于正在执行的程序将图像或场景在步骤22处分类为不同的类别，因为不同的医疗程序采用不同的医疗设备，并且荧光透视图像在患者身体中具有不同的感兴趣区域。根据本公开的实施例，场景分类法使用诸如边缘、Haar类特征、尺度不变特征、有序梯度直方图、局部三元模式（LTP）等等的低级图像特征，并且采用分类器来对场景进行分类。用于对图像进行分类的介入程序的示例性的非限制性列表包括电生理程序、血管内超声程序、慢性完全闭塞（CTO）程序、球囊血管成形术程序等。
一旦场景被确定，在步骤23处就可以确定寻找哪些界标以及可以加载预先训练的分类器以检测那些界标。可以自动地或者由操作员手动地执行关于在图像中呈现哪些界标的确定。在手动模式下，操作员检查图像并从候选界标列表中选择界标列表。可替代地，在自动模式下，加载所有预先训练的界标模型以检测图像中界标的存在，从其中选择界标模型的列表。预先训练的界标模型是界标特定的，并且是从大量注释的X射线图像中学习的。针对以下界标的预先训练的模型的示例性的非限制性列表如下：
•通常存在于支架程序中的球囊标志；
•通常存在于IVUS程序中的引导导管；
•也存在于IVUS以及许多其他程序中的导引线；
•IVUS换能器；
•在造影剂注射后可见的血管；
•存在于消融EP程序中的消融导管电极；
•也存在于消融EP程序中的周围标测导管电极；
•EP程序中使用的冠状窦导管电极；
•存在于一些介入程序中的钙；和
•骨结构。
作为一个示例，在其图像在图3中被示出的支架程序的情况下，选择以下界标的模型：（1）引导导管；（2）球囊标志；和（3）引导线。可以将界标模型的列表存储在数据库中。
根据本公开的实施例的用于检测这三个界标的示例性的非限制性算法如下。
图4（a）-图4（c）图示出了冠状窦导管上的电极的检测。在图4（a）中，箭头41指示电极；在图4（b）中，点42在候选电极位置上；以及图4（c）示出了在非最大抑制之后检测到的候选位置43。导管尖端和电极可以被检测为定向点（x，y，θ），并且可以通过它们的位置（x，y）和定向（θ）而被参数化。为了快速检测，可以使用边界空间学习来首先仅仅检测尖端和电极位置（x，y），并且然后在有希望的位置处搜索所有的定向（θ）。可以使用经训练的二元分类器来检测尖端和电极位置（x，y）。示例性的非限制性分类器在（k×k）尺寸的居中窗口中使用约100,000个Haar特征。示例性的非限制性分类器是能够输出概率P（e =（x，y）| D）的概率推进树（PBT），其中D是特征集合。导管尖端在上下文和外观方面不同于其他电极，并且它可以比其他电极更可靠地被检测到。然后用一组离散定向来扩充检测到的电极和候选位置，并将其提供给经训练的定向点检测器，并且这同样适用于检测到的尖端位置。示例性定向点检测器使用更丰富的特征池，包括相对于查询位置和定向的可转向特征响应和图像强度差异。将在每帧处检测到的电极和尖端的集合提供给选择聚集检测的非最大抑制（NMS）阶段。在每个帧中，最多选择K个电极和F个尖端。
类似于导管电极的检测，根据本公开的实施例的球囊标志检测包括两个步骤。在第一步骤中，PBT分类器检测候选标志位置，而在第二步骤中，由另一个PBT分类器评估一对两个候选标志。图5是球囊标志51、引导线52、支架53和引导导管54的X射线图像。
根据引导线的本公开的实施例的示例性的非限制性检测算法包括语义引导线模型，其包含三个部分，包括导管尖端、引导线尖端和引导线主体。将这些不同部分的检测整合到用于检测整个引导线的贝叶斯公式中。应用分层和多分辨率方案来有效地检测引导线。
当不需要诸如可视化和GUI交互之类的其他计算工作负载时，可以并行地执行根据本公开的实施例的界标检测。
再次参考图2，根据本公开的实施例，对于对其而言预先训练的模型不可用的诸如新型医疗设备或难以定义的模式（诸如钙化）的新类型界标，可以在步骤24处使用标签与学习方法从用户初始化在线地对模型进行学习。图6中示出了根据本公开的实施例的标签与学习方法的流程图。参照图6，在步骤61处，新的界标可以由操作员手动地或半自动地初始化。示例性的非限制性初始化包括线段、曲线、分界框、圆或其它类似类型的结构。在步骤62处，通过用户初始化提供正样本的示例，从图像的其余区域获取负样本，并且通过学习初始化后的界标的模板来获取图像外观，其中模板是表示界标的外观的图像块。例如，在专利申请中可以使用基于模板匹配的方法，其可以在心房颤动消融程序中跟踪X射线图像中的冠状窦导管。在步骤63处通过利用正样本、负样本和图像外观来执行新的界标模型的学习。
再次参考图2，在步骤25处计算准直并且生成准直器设置。从界标模型计算所有界标的分界框连同ROI过滤器的边界。由这些可以生成准直器设置。根据本公开的实施例，可以基于在给定场景中什么类型的界标是重要的而自动确定分界框和ROI过滤器边界。例如，对于支架植入场景，那么两个球囊标志的位置是重要的，并且图像应该围绕这对球囊标志周围定义ROI。示例性的非限制性准直器设置是
其中假定准直器设置定义了矩形。根据本公开的其它实施例，如果准直器具有另一种形状，诸如圆形，则可以类似于上述情况来导出准直器的设置。在步骤26处，向操作员示出所提出的准直器设置以进行确认。操作员可以接受这些新设置来设置准直器，或拒绝设置来更新它们。
根据本公开的实施例的***可以在一个或多个界标移动到准直区域时跟踪感兴趣的界标。在步骤27处，如果感兴趣的界标被检测为在准直内部移动，则使用上述步骤22-26重新计算准直器和ROI过滤器设置并向操作员示出以供确认。
除了在***初始化和更新的准直器和ROI过滤器设置的确认期间之外，根据本公开的实施例的方法可以在很少或没有人工输入的情况下实时地自动工作，但是操作员可以在任何时间手动设置这些参数。
应理解，本公开的实施例可以以硬件、软件、固件、专用处理或其组合的各种形式来实现。在一个实施例中，可以将本公开的实施例以软件实现为在计算机可读程序储存设备上有形地体现的应用程序。可以将应用程序上传到包含任何适当架构的机器并由其执行。
图7是根据本公开的实施例的用于实现用于在介入程序中的X射线成像中进行实时准直和ROI过滤器定位的方法的示例性计算机***的框图。现在参照图7，用于实现本公开的实施例的计算机***71尤其可以包括中央处理单元（CPU）72、存储器73和输入/输出（I/O）接口74。计算机***71通常通过I/O接口74耦合到显示器75和诸如鼠标和键盘的各种输入设备76。支持电路可以包括诸如高速缓存、电源、时钟电路和通信总线之类的电路。存储器73可以包括随机存取存储器（RAM）、只读存储器（ROM）、磁盘驱动器、磁带驱动器等或其组合。可以将本公开的实施例实现为存储在存储器73中并由CPU 72执行以处理来自信号源78的信号的例程77。如此，计算机***71是在执行本公开的例程77时变成专用计算机***的一个通用计算机***。
计算机***71还包括操作***和微指令代码。本文所述的各种处理和功能可以是经由操作***执行的微指令代码的一部分或者应用程序的一部分（或其组合）。另外，可以将各种其他***设备连接到诸如附加数据储存设备和打印设备的计算机平台。
应该进一步理解，因为附图中描绘的一些组成***组件和方法步骤可以以软件来实现，所以***组件（或者处理步骤）之间的实际连接可以取决于对本公开的实施例进行编程的方式而有所不同。鉴于本文所提供的本公开的教导，相关领域的普通技术人员将能够设想本公开的这些和类似的实现或配置。
尽管已经参考示例实施例详细地描述了本公开的实施例，但是本领域技术人员将认识到，不脱离如在所附权利要求中所阐述的本发明的精神和范围的情况下可以对其做出各种修改和替换。
Claims (24)
1.一种用于在介入程序中的X射线成像中进行实时准直和ROI过滤器定位的方法，包括以下步骤：
在医疗介入程序开始时在对象上获取感兴趣区域（ROI）的图像；
基于所述图像中的低级特征对图像进行分类以确定正在执行的程序的类型；
从正在执行的程序的类型确定所述图像中的界标列表，并且针对在所述界标列表中的每个界标加载预先训练的界标模型，其中，界标包括在所述医疗介入程序中使用的医疗设备和所述对象的解剖结构；和
从使用所述界标模型计算出的所述界标的分界框和ROI过滤器边界来计算X射线成像设备的准直器设置。
2.根据权利要求1所述的方法，还包括向操作员呈现所述X射线成像设备的计算出的准直器设置，并且从所述操作员接收所述操作员对所述计算出的准直器设置的确认。
3.根据权利要求1所述的方法，还包括：在所述医疗介入程序期间，检测界标已经移动到所述ROI中，并且重新计算所述X射线成像设备的所述ROI过滤器边界和所述准直器设置。
4.根据权利要求1所述的方法，其中，所述界标模型被用来检测所述图像中的界标。
5.根据权利要求4所述的方法，其中，界标包括球囊标志、引导导管、引导线、血管内超声换能器、血管、消融导管电极、周围标测导管电极、冠状窦导管电极、钙和骨结构。
6.根据权利要求4所述的方法，其中，如果针对一个界标不退出预先训练的界标模型，则所述方法还包括对所述界标进行初始化，从用户接收所述界标的正样本，从所述图像的其它区域接收所述界标的负样本，从表示初始化后的界标的外观的图像块中确定所述图像的外观，以及使用所述正样本、所述负样本和所述图像外观来训练界标模型。
7.根据权利要求6所述的方法，其中，利用线段、曲线、分界框、圆或其他类似类型的结构中的一个对所述界标进行初始化。
8.根据权利要求1所述的方法，其中，所述低级特征包括边缘、Haar类特征、尺度不变特征、有序梯度直方图和局部三元模式（LTP）。
9.根据权利要求1所述的方法，其中，基于正在执行的程序的类型而由分类器对所述图像进行分类，其中所述程序类型包括电生理程序、血管内超声程序、慢性完全闭塞（CTO）程序和球囊血管成形术程序。
10.一种用于在介入程序中的X射线成像中进行实时准直和ROI过滤器定位的方法，包括以下步骤：
在医疗介入程序的开始时在对象上获取感兴趣区域（ROI）的图像；
基于正在执行的程序的类型对所述图像进行分类；
检测所述图像中的界标，其中从正在执行的程序的类型确定正被检测的界标，其中界标包括在所述医疗介入程序中使用的医疗设备和所述对象的解剖结构；和
从使用检测到的界标计算出的所述界标的分界框和ROI过滤器边界来计算X射线成像设备的准直器设置。
11.根据权利要求10所述的方法，还包括从正在执行的程序的类型来确定界标列表，并且针对所述界标列表中的每个界标加载预先训练的界标模型，其中所述界标模型被用来检测所述图像中的界标。
12.根据权利要求11所述的方法，其中，如果针对一个界标不退出预先训练的界标模型，则所述方法还包括对所述界标进行初始化，从用户接收所述界标的正样本，从所述图像的其它区域接收所述界标的负样本，从表示初始化后的界标的外观的图像块中确定所述图像的外观，以及使用所述正样本、所述负样本和所述图像外观来训练界标模型。
13.根据权利要求10所述的方法，还包括向操作员呈现所述X射线成像设备的计算出的准直器设置，并且从所述操作员接收所述操作员对所述计算出的准直器设置的确认。
14.根据权利要求10所述的方法，还包括：在所述医疗介入程序期间，检测界标已经移动到所述ROI中，并且重新计算所述X射线成像设备的所述ROI过滤器边界和所述准直器设置。
15.根据权利要求10所述的方法，其中使用低级特征对图像进行分类，其中所述低级特征包括边缘、Haar类特征、尺度不变特征、有序梯度直方图和局部三元模式（LTP）。
16.一种计算机可读的非暂时性程序储存设备，有形地体现由计算机执行的指令程序以执行用于在介入程序中的X射线成像中进行实时准直和ROI过滤器定位的方法步骤，所述方法包括以下步骤：
在医疗介入程序开始时在对象上获取感兴趣区域（ROI）的图像；
基于所述图像中的低级特征对图像进行分类以确定正在执行的程序的类型；
从正在执行的程序的类型确定所述图像中的界标列表，并且针对在所述界标列表中的每个界标加载预先训练的界标模型，其中，界标包括在所述医疗介入程序中使用的医疗设备和所述对象的解剖结构；和
从使用所述界标模型计算出的所述界标的分界框和ROI过滤器边界来计算X射线成像设备的准直器设置。
17.根据权利要求16所述的计算机可读程序储存设备，所述方法还包括向操作员呈现所述X射线成像设备的计算出的准直器设置，并且从所述操作员接收所述操作员对所述计算出的准直器设置的确认。
18.根据权利要求16所述的计算机可读程序储存设备，所述方法还包括：在所述医疗介入程序期间，检测界标已经移动到所述ROI中，并且重新计算所述X射线成像设备的所述ROI过滤器边界和所述准直器设置。
19.根据权利要求16所述的计算机可读程序储存设备，其中，所述界标模型被用来检测所述图像中的界标。
20.根据权利要求19所述的计算机可读程序储存设备，其中界标包括球囊标志、引导导管、引导线、血管内超声换能器、血管、消融导管电极、周围标测导管电极、冠状窦导管电极、钙和骨结构。
21.根据权利要求19所述的计算机可读程序储存设备，其中如果针对一个界标不退出预先训练的界标模型，则所述方法还包括对所述界标进行初始化，从用户接收所述界标的正样本，从所述图像的其它区域接收所述界标的负样本，从表示初始化后的界标的外观的图像块中确定所述图像的外观，以及使用所述正样本、所述负样本和所述图像外观来训练界标模型。
22.根据权利要求21所述的计算机可读程序储存设备，其中，利用线段、曲线、分界框、圆或其他类似类型的结构中的一个对所述界标进行初始化。
23.根据权利要求16所述的计算机可读程序储存设备，其中，所述低级特征包括边缘、Haar类特征、尺度不变特征、有序梯度直方图和局部三元模式（LTP）。
24.根据权利要求16所述的计算机可读程序储存设备，其中，基于正在执行的程序的类型而由分类器对所述图像进行分类，其中所述程序类型包括电生理程序、血管内超声程序、慢性完全闭塞（CTO）程序和球囊血管成形术程序。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2015/034792 WO2016200370A1 (en) | 2015-06-09 | 2015-06-09 | Real-time collimation and roi-filter positioning in x-ray imaging via automatic detection of the landmarks of interest |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107809955A true CN107809955A (zh) | 2018-03-16 |
| CN107809955B CN107809955B (zh) | 2021-01-19 |
Family
ID=53433322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580080774.2A Active CN107809955B (zh) | 2015-06-09 | 2015-06-09 | 经由感兴趣界标的自动检测在x射线成像中进行实时准直和roi过滤器定位 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10268915B2 (zh) |
| EP (2) | EP3307169B1 (zh) |
| CN (1) | CN107809955B (zh) |
| WO (1) | WO2016200370A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113661544A (zh) * | 2019-04-02 | 2021-11-16 | 美国西门子医疗***股份有限公司 | 基于图像的探针定位 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10417763B2 (en) * | 2014-07-25 | 2019-09-17 | Samsung Electronics Co., Ltd. | Image processing apparatus, image processing method, x-ray imaging apparatus and control method thereof |
| US10342505B2 (en) | 2016-03-31 | 2019-07-09 | General Electric Company | System and method for adjusting a radiation dose during imaging of an object within a subject |
| CN108937975A (zh) * | 2017-05-19 | 2018-12-07 | 上海西门子医疗器械有限公司 | X-射线曝光区域调节方法、存储介质和x-射线*** |
| CN107871319B (zh) * | 2017-11-21 | 2021-09-17 | 上海联影医疗科技股份有限公司 | 限束器区域的检测方法、装置、x射线***和存储介质 |
| GB2575795A (en) * | 2018-07-23 | 2020-01-29 | Medsolve Ltd | Imaging system for use in a fluoroscopy procedure |
| EP3824475B1 (en) * | 2019-02-14 | 2023-06-14 | Brainlab AG | Automatic setting of imaging parameters |
| JP2020185145A (ja) * | 2019-05-14 | 2020-11-19 | 株式会社島津製作所 | Ｘ線撮影装置 |
| DE102020204454A1 (de) | 2019-05-14 | 2020-11-19 | Siemens Healthcare Gmbh | Überwachung einer Behandlung eines Objekts |
| WO2021055837A1 (en) * | 2019-09-20 | 2021-03-25 | Canon U.S.A., Inc. | Artificial intelligence coregistration and marker detection, including machine learning and using results thereof |
| DE102020213035A1 (de) * | 2020-10-15 | 2022-04-21 | Siemens Healthcare Gmbh | Verfahren zur Ansteuerung eines Röntgengerätes und medizinisches System |
| DE102021214738A1 (de) | 2021-12-20 | 2023-06-22 | Siemens Healthcare Gmbh | Ansteuerverfahren für Röntgengerät und Röntgengerät |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103429158A (zh) * | 2011-03-15 | 2013-12-04 | 皇家飞利浦有限公司 | 用于提供支持介入设备的定位的图像表示的医疗成像设备 |
| US20140187923A1 (en) * | 2012-12-28 | 2014-07-03 | General Electric Company | Collimator for imaging system and method for using the same |
| CN103999088A (zh) * | 2011-12-14 | 2014-08-20 | 皇家飞利浦有限公司 | 用于防止高剂量c型拱几何位置的实时反馈 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5278887A (en) | 1992-06-29 | 1994-01-11 | Siemens Corporate Research, Inc. | Apparatus and method for reducing X-ray dosage during a fluoroscopic procedure |
| DE69529857T2 (de) * | 1994-03-25 | 2004-01-08 | Kabushiki Kaisha Toshiba, Kawasaki | Strahlentherapie-System |
| US6055295A (en) | 1998-01-29 | 2000-04-25 | Siemens Corporate Research, Inc. | Method and apparatus for automatic collimation in x-ray peripheral imaging |
| JP3513700B2 (ja) | 2000-03-29 | 2004-03-31 | 稔 植松 | 移動式放射線遮蔽装置 |
| DE602004029791D1 (de) | 2003-07-30 | 2010-12-09 | Philips Intellectual Property | Röntgeneinrichtung mit automatisch einstellbarem kollimator |
| US8423121B2 (en) | 2008-08-11 | 2013-04-16 | Siemens Aktiengesellschaft | Method and system for guidewire tracking in fluoroscopic image sequences |
| WO2010041201A1 (en) * | 2008-10-10 | 2010-04-15 | Philips Intellectual Property & Standards Gmbh | Angiographic image acquisition system and method with automatic shutter adaptation for yielding a reduced field of view covering a segmented target structure or lesion for decreasing x-radiation dose in minimally invasive x-ray-guided interventions |
| US8311308B2 (en) | 2009-12-10 | 2012-11-13 | Siemens Corporation | Stent viewing using a learning based classifier in medical imaging |
| US8548213B2 (en) | 2010-03-16 | 2013-10-01 | Siemens Corporation | Method and system for guiding catheter detection in fluoroscopic images |
| US8565859B2 (en) | 2010-06-29 | 2013-10-22 | Siemens Aktiengesellschaft | Method and system for image based device tracking for co-registration of angiography and intravascular ultrasound images |
| US8892186B2 (en) | 2010-09-20 | 2014-11-18 | Siemens Aktiengesellschaft | Method and system for detection and tracking of coronary sinus catheter electrodes in fluoroscopic images |
| US9002436B2 (en) | 2011-09-19 | 2015-04-07 | Siemens Aktiengesellschaft | Method and system for ablation catheter and circumferential mapping catheter tracking in fluoroscopic images |
| US9700276B2 (en) | 2012-02-28 | 2017-07-11 | Siemens Healthcare Gmbh | Robust multi-object tracking using sparse appearance representation and online sparse appearance dictionary update |
| US20130272504A1 (en) * | 2012-04-16 | 2013-10-17 | Meir Deutsch | X-Ray Dose Reduction by Controlled Shutter Speed |
| BR112015003888A2 (pt) | 2012-08-27 | 2017-07-04 | Koninklijke Philips Nv | controlador de colimador, método de controle de um colimador em um formador de imagens de raio x para obter uma imagem de um objeto, sistema formador de imagens de raio x, elemento de programa de computador para controlar um aparelho e mídia legível por computador |
| US9904998B2 (en) * | 2012-08-27 | 2018-02-27 | Koninklijke Philips N.V. | Patient-specific and automatic x-ray system adjustment based on optical 3D scene detection and interpretation |
| JP2014054425A (ja) * | 2012-09-13 | 2014-03-27 | Toshiba Corp | Ｘ線診断装置 |
| WO2014162275A1 (en) * | 2013-04-03 | 2014-10-09 | Koninklijke Philips N.V. | Interventional x-ray system |
| US9420976B2 (en) * | 2014-03-19 | 2016-08-23 | General Electric Company | Systems and methods for optimized source collimation |
| KR20160007121A (ko) * | 2014-07-11 | 2016-01-20 | 삼성전자주식회사 | 엑스선 장치 |
-
2015
- 2015-06-09 US US15/574,203 patent/US10268915B2/en active Active
- 2015-06-09 WO PCT/US2015/034792 patent/WO2016200370A1/en unknown
- 2015-06-09 EP EP15730033.6A patent/EP3307169B1/en active Active
- 2015-06-09 EP EP19204288.5A patent/EP3656309A1/en not_active Withdrawn
- 2015-06-09 CN CN201580080774.2A patent/CN107809955B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103429158A (zh) * | 2011-03-15 | 2013-12-04 | 皇家飞利浦有限公司 | 用于提供支持介入设备的定位的图像表示的医疗成像设备 |
| CN103999088A (zh) * | 2011-12-14 | 2014-08-20 | 皇家飞利浦有限公司 | 用于防止高剂量c型拱几何位置的实时反馈 |
| US20140187923A1 (en) * | 2012-12-28 | 2014-07-03 | General Electric Company | Collimator for imaging system and method for using the same |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113661544A (zh) * | 2019-04-02 | 2021-11-16 | 美国西门子医疗***股份有限公司 | 基于图像的探针定位 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10268915B2 (en) | 2019-04-23 |
| US20180129896A1 (en) | 2018-05-10 |
| EP3307169A1 (en) | 2018-04-18 |
| WO2016200370A1 (en) | 2016-12-15 |
| EP3656309A1 (en) | 2020-05-27 |
| CN107809955B (zh) | 2021-01-19 |
| EP3307169B1 (en) | 2020-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107809955A (zh) | 经由感兴趣界标的自动检测在x射线成像中进行实时准直和roi过滤器定位 | |
| JP7519354B2 (ja) | 拡張現実ディスプレイでの光学コードの使用 | |
| US8126241B2 (en) | Method and apparatus for positioning a device in a tubular organ | |
| JP6175073B2 (ja) | 最適なデバイスナビゲーションのための血管系ビューのリアルタイム表示 | |
| EP2297673B1 (en) | Feature-based registration method | |
| JP5497630B2 (ja) | 外科的処置のためのリスク表示 | |
| CN110248603A (zh) | 3d超声和计算机断层摄影结合用于引导介入医疗规程 | |
| US9721379B2 (en) | Real-time simulation of fluoroscopic images | |
| CN106793992A (zh) | 对象识别 | |
| US20240008844A1 (en) | Method, device and system for intracavity probe procedure planning | |
| US10991069B2 (en) | Method and apparatus for registration of medical images | |
| US11127153B2 (en) | Radiation imaging device, image processing method, and image processing program | |
| CN105992556B (zh) | 具有观察角优化功能的医学观察*** | |
| Brost et al. | Constrained registration for motion compensation in atrial fibrillation ablation procedures | |
| US20220051401A1 (en) | Providing a scene with synthetic contrast | |
| CN108430376B (zh) | 提供投影数据集 | |
| US11657519B2 (en) | Method for deformation correction | |
| Bamps et al. | Deep learning based tracked X-ray for surgery guidance | |
| CN112308817A (zh) | 对结构的自动定位 | |
| Bodart et al. | Technical and clinical study of x‐ray‐based surface echo probe tracking using an attached fiducial apparatus | |
| JP7303144B2 (ja) | 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法 | |
| CN109478240A (zh) | 自动图像特征移除 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |