CN106687048A - 医学成像装置 - Google Patents

医学成像装置 Download PDF

Info

Publication number
CN106687048A
CN106687048A CN201580048332.XA CN201580048332A CN106687048A CN 106687048 A CN106687048 A CN 106687048A CN 201580048332 A CN201580048332 A CN 201580048332A CN 106687048 A CN106687048 A CN 106687048A
Authority
CN
China
Prior art keywords
data
medical
unit
ultrasound
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580048332.XA
Other languages
English (en)
Inventor
C·迪富尔
B·J-D·B·M·莫里
G·C-H·吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN106687048A publication Critical patent/CN106687048A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/40Arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4064Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
    • A61B6/4085Cone-beams
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30172Centreline of tubular or elongated structure

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pulmonology (AREA)
  • Optics & Photonics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

公开了一种用于评价医学图像数据的医学成像装置(10)。所述医学成像装置包括:超声采集单元,其包括用于采集患者(12)的超声图像数据的超声探头(14);以及超声分割单元(24),其用于分割所述超声图像数据中的所述患者的解剖结构特征,并且用于提供超声分割数据(46)。所述装置包括:图像数据接口(18),其用于接收所述患者的3D医学图像数据;以及医学图像分割单元(26),其用于分割所述3D医学图像数据并且用于提供医学图像分割数据(48)。用户输入接口(38)被提供,其用于由所述用户在所述3D医学图像数据中和/或在所述超声图像数据中识别位置(44),以便基于由所述用户识别的所述位置来发起由所述医学图像分割单元和/或所述超声分割单元对解剖结构特征的所述分割,其中,配准单元(32)将所述超声分割数据与所述医学图像分割数据进行相关。

Description

医学成像装置
技术领域
本发明涉及用于评价医学图像数据的医学成像装置。本发明还涉及用于评价医学图像数据的医学图像评价方法以及包括程序代码单元的计算机程序,所述程序代码单元用于令计算机执行用于评价医学图像数据的方法的步骤。
背景技术
在医学成像***的领域中,通常已知对通过不同医学分析***采集的患者的不同图像进行组合,以便改进诊断可能性。具体地,已知超声***将超声图像和从如MRT或CT的不同分析***导出的患者的术前图像数据进行组合。为了使得能够将患者的实况超声图像与同一患者的术前体积数据进行融合,通常利用位置跟踪***来在空间上对准不同的图像数据。
位置跟踪***依赖于例如基于人工标记的校准,所述人工标记能够在术前数据和超声数据中被识别出并且能够彼此相关,使得能够确定数据的对准。
此外,不同图像的对准能够基于如在不同图像数据中识别出的血管的解剖结构特征的自动配准,然而,自动配准是复杂的,涉及大的技术努力且并非对任何病例都是可靠的。用于将来自不同成像***的图像自动相关的对应***例如从US 2013/0053679 A1所知晓。
还可以基于用户输入来校准位置跟踪***,其中,由操作者在要被对准的两者图像数据中识别多个对应位置。然而,该方法需要专家作为操作者来校准位置跟踪***,使得该***是复杂低效的。
Physics in Medicine and Biology(第57卷,第1期,2011年11月29日,第81-91页)公开了一种对肝脏的3D术中超声图像与术前CT图像之间的自动配准。
发明内容
因此,本发明的目的是提供用于评价医学图像数据的改进的医学成像装置和对应的改进的医学成像评价方法,其对于用户来说更加可靠且较不复杂。
根据本发明的一方面,提供了一种用于评价医学图像数据的医学成像装置,包括:
-超声采集单元,其包括用于采集患者的超声图像数据的超声探头,
-超声分割单元,其用于分割所述超声图像数据中的所述患者的解剖结构特征,并用于提供超声分割数据,
-图像数据接口,其用于接收所述患者的3D医学图像数据,
-医学图像分割单元,其用于分割所述3D医学图像数据并且用于提供医学图像分割数据,
-用户输入接口,其用于由所述用户在所述3D医学图像数据中和/或所述超声图像数据中识别位置,以便基于由所述用户识别的所述位置来发起由所述医学图像分割单元和/或所述超声分割单元对解剖结构特征的所述分割,
-配准单元,其用于将所述超声分割数据与所述医学图像分割数据进行相关。
根据本发明的另一方面,提供了一种用于评价医学图像数据的医学图像评价方法,包括以下步骤:
-借助于超声探头采集患者的超声数据,
-接收所述患者的3D医学图像数据,
-由用户经由用户输入接口在所述3D医学图像数据中和/或在超声图像数据中识别位置,
-分割所述超声数据中的所述患者的解剖结构特征并且提供所述解剖结构特征的超声分割数据,
-分割所述3D医学图像数据中的解剖结构特征并且提供医学图像分割数据,
其中,基于由所述用户识别的所述位置来发起在所述超声数据中和/或所述3D医学图像数据中对所述解剖结构特征的所述分割,并且
-将所述超声分割数据与所述医学图像分割数据进行相关。
根据本发明的由另一方面,提供了一种包括程序代码单元的计算机程序,所述程序代码单元用于在所述计算机程序在计算机上执行时令计算机执行根据本发明的医学图像评价方法的步骤。
在从属权利要求中定义了本发明的优选实施例。应当理解,请求保护的方法具有与请求保护的设备以及从属权利要求中定义的相似和/或相同的优选实施例。
本发明基于这样的想法:即,由用户经由用户输入接口识别3D医学图像数据中和/或超声图像数据中的位置,以便向***提供哪些解剖结构特征被认为是对于分割和对于不同图像数据的配准是有利的信息。基于所识别的位置来发起由医学图像分割单元和/或超声分割单元所执行的解剖结构特征的分割,使得分割单元并不需要执行对整个图像数据的分割,并且显著减少了技术努力和计算时间。在基于所识别的位置计算出的分割数据的基础上,配准单元能够将超声图像数据与3D医学图像数据进行配准,使得能够以高准确度执行对超声探头的跟踪和/或对不同图像数据的融合。由于由用户识别的位置发起分割的位置,因此能够显著减小用于分割超声图像数据和/或3D医学图像数据的努力并且能够改进分割的可靠性,这是因为图像数据的最显著的解剖结构特征能够通过用户输入容易地识别并且伪影的影响能够被降低。
因此,本发明实现了以改进的可靠性对医学图像数据的评价且其对于用户而言是舒服的。
在优选实施例中,由用户识别的位置是3D医学图像数据和/或超声图像数据中的点。在另外的优选实施例中,由用户识别的位置对应于3D医学图像数据的体素和/或超声图像数据的体素或像素。
在优选实施例中,所述医学成像装置还包括位置确定单元,所述位置确定单元被附接到所述超声探头,以用于确定所述超声探头的位置,其中,所述位置确定单元包括校准单元,所述校准单元用于基于从所述配准单元接收的所述分割数据的相关性来校准所述超声探头的位置。这能够减少在外科手术期间的评价努力,因为当所述超声探头的位置是基于所述分割数据的所述相关性而被校准时所述位置确定单元还能够改进配准。
在另外的优选实施例中,所述医学成像装置还包括融合单元,所述融合单元用于基于由所述位置确定单元确定的所述超声探头的位置来融合所述超声图像数据与所述3D医学图像数据。这能够基于所述超声图像数据和所述3D医学图像数据来提供连续融合的医学图像。
对于基于超声探头的位置来融合超声图像数据与3D医学图像数据而言备选地或额外地,所述融合单元还可以适于基于由配准单元提供的超声分割数据与医学图像分割数据的相关性来融合超声图像数据与3D医学图像数据。这能够改进超声图像数据与3D医学图像数据的融合。
在采集超声图像数据期间由融合单元连续执行对超声图像数据与3D医学图像数据的融合,使得能够实时提供基于超声图像数据与3D医学图像数据的组合的融合图像。
在优选实施例中,3D医学图像分割单元适于分割3D医学图像数据中邻近于或围绕在所述3D医学图像数据中识别的位置的解剖结构特征。这能够利用特定解剖结构特征的分割数据,所述特定解剖结构特征能够被容易地识别,使得配准的可靠性能够被改进。
在优选实施例中,所述超声分割单元适于分割超声图像数据中邻近于或围绕在所述超声图像数据中识别的位置的解剖结构特征。这能够发起对特定解剖结构特征的分割,所述特定解剖结构特征能够在超声图像数据中被容易地识别,使得配准的可靠性能够被改进。
在优选实施例中,所述解剖结构特征是所识别的位置附近的表面。这能够改进配准的准确度,这是因为能够借助于分割单元来容易地识别图像数据中的表面。
在优选实施例中,所述解剖结构特征是所述患者的血管。这能够进一步改进配准,这是因为血管的形状能够由分割单元容易地识别,且血管的唯一形状能够被配准,使得不同图像数据的相关性的可靠性能够被改进。
在优选实施例中,所述超声分割单元和所述医学图像分割单元适于确定所述血管的中心线和/或分叉,并且其中,所述配准单元适于基于所述血管的所确定的中心线和/或分叉来配准所述超声图像数据与所述3D医学图像数据。这能够减少用于配准图像数据的技术努力并改进配准的准确度,这是因为能够从分割数据容易地导出中心线和分叉,并且能够以高准确度和低技术努力来配准这样导出的数据。
在优选实施例中,所述用户输入接口包括显示单元,所述显示单元用于显示所述3D医学图像数据和/或所述超声图像数据,并且其中,所述用户接口包括输入设备,所述输入设备用于识别在所述显示单元处的所述3D医学图像数据和/或所述超声图像数据的位置。这能够容易地识别图像数据中的位置,使得用户输入更舒服。
在优选实施例中,所述输入设备适于控制在所述显示单元处被显示在所显示的图像数据内的指示符的位置,并且适于基于所述指示符的所述位置和用户输入来在所显示的图像数据中识别所述位置。这对用户而言还能够以高精确度和低努力来识别位置,这是因为指示符在显示单元处被显示在所显示的图像数据内。在另外的优选实施例中,指示符是鼠标指针等,并且输入设备包括如鼠标等的输入单元,其中,能够通过在所显示的图像数据内的单次鼠标点击来识别位置。这能够进一步改进用户输入的舒适性并减少用户的努力。
在另外的优选实施例中,所述显示单元包括接触敏感表面,所述接触敏感表面用于通过用户输入在所显示的图像中识别所述位置。换言之,显示单元被形成为触摸屏,其中,通过在显示单元处显示的对应位置处的单次触摸来识别图像数据中的位置。这能够进一步改进位置的识别的准确度并减少用户的努力。
在优选实施例中,所述3D医学图像数据是先前采集的,并且所述图像数据被存储在存储器设备中。这能够组合不同分析方法的医学图像数据,所述不同分析方法的医学图像数据能够在超声分析之前从患者捕获,使得能够减少检查时间。
在优选实施例中,所述3D医学图像数据是MR图像数据、CT图像数据、锥形射束CT图像数据或超声图像数据。这些能够改进诊断可能性,这是因为不同的分析方法具有不同的对比度和不同的识别技术,并且解剖结构特征的信息量能够被改进。
如上所述,本发明能够改进配准的可靠性,这是因为配准是基于由用户识别的位置的或是基于所识别的位置而被发起的,并且技术努力,尤其是计算努力,能够被减少,这是因为***不需要提供整个图像数据的分割数据,因为由用户输入识别感兴趣区域。此外,由于操作者仅仅需要识别图像数据中的一个位置而不需要识别不同图像数据中的对应位置,因此不必需要专业知识并且处理对用户而言更加舒服。
附图说明
参考下文描述的(一个或多个)实施例,本发明的这些方面和其他方面将显而易见并且得到阐明。在附图中:
图1示出了用于扫描患者身体的体积的医学成像装置的示意性表示;
图2a、图2b示出了要被相关的患者身体的特定部位的超声图像和CT图像;
图3a和图3b示出了被部分分割以配准图像数据的图2a和图2b的图像;
图4a和图4b示出了在图3a和图3b中示出的图像数据的血管的分割数据;
图5a和图5b示出了从图4a和图4b中示出的分割数据导出的中心线和分叉;
图6示出了在分割数据中识别的中心线和分叉的相关性;
图7a和图7b示出了图2a中示出的初始超声图像和基于分割和配准流程融合的融合超声和CT图像;并且
图8示出了用于评价医学图像数据的方法的流程图。
具体实施方式
图1示出了通常由10指代的医学成像装置的示意性图示。医学成像装置10被应用为检查解剖结构部位的体积,具体为患者12的解剖结构部位的体积。医学成像装置10包括超声探头14,所述超声探头具有至少一个换能器阵列,所述至少一个换能器阵列包括用于发射和接收超声波的多个换能器元件。换能器元件优选被布置在2D阵列中,尤其是用于提供多维图像数据。
医学成像装置10通常包括连接到超声探头14的图像处理装置16,以用于评价从超声探头14接收的超声数据并且用于将患者12的超声图像与术前图像进行组合或相关。成像处理装置16包括图像接口18,所述图像接口18用于从数据库20或外部分析与成像装置20接收术前3D医学图像数据。术前图像数据优选为计算机断层摄影图像数据(CT)、磁共振断层摄影图像数据(MRT)、锥形射束CT图像数据或术前3D超声图像数据。图像处理装置16包括连接到超声探头14并且连接到图像接口18的图像处理单元22,以用于评价超声数据并且用于提供来自由超声探头14分析的患者12的体积或对象的超声图像数据,并且用于评价从图像接口18接收的术前3D医学图像数据。
图像处理装置16还包括超声分割单元24,所述超声分割单元用于在超声图像数据中分割患者的解剖结构特征,并且用于将对应的超声分割数据提供给图像处理单元22。图像处理装置16还包括医学图像分割单元26,所述医学图像分割单元用于分割经由接口18从数据库20接收的3D医学图像数据,并且用于将医学图像分割数据提供给图像处理单元22。
医学成像装置10还包括被附接到超声探头14的位置确定单元28,所述位置确定单元用于确定超声探头14的位置。位置确定单元28例如借助于电磁跟踪来确定超声探头的相对位置,以便确定超声探头14关于初始位置或校准位置的移动。借助于校准单元30来校准初始位置。校准单元30连接到图像处理单元22,以便基于从超声分割单元24和医学图像分割单元26接收的超声分割数据和医学图像分割数据来将由超声探头14捕获的超声数据、从位置确定单元28接收的超声探头14的位置和3D医学图像数据相关,如下文描述的。这样确定的超声探头14关于3D医学图像数据的位置被用作超声探头14的参考位置或被用作超声探头14的校准位置。如果超声探头14关于校准位置移动,则位置确定单元28检测关于校准位置的距离和方向并且提供超声探头14的这样确定的当前位置。
图像处理单元22还包括配准单元32,所述配准单元用于将超声分割数据与医学图像分割数据相关。校准单元30基于从配准单元32接收的超声分割数据与医学图像分割数据的相关性来利用患者12的相应超声数据和3D医学图像数据校准超声探头14的位置。
图像处理单元22还包括融合单元34,所述融合单元用于基于由位置确定单元28确定的超声探头14的位置来融合超声图像数据与3D医学图像数据。
融合单元34还可以利用从配准单元32接收的超声分割数据与医学图像分割数据的相关性,以便融合超声图像数据与3D医学图像数据。这能够进一步改进不同数据的融合。
医学成像装置10还包括显示单元36,所述显示单元用于显示从图像处理装置16接收的图像数据。显示单元36接收通常来自图像处理单元22的图像数据,并且适于显示超声图像数据和3D医学图像数据以及相应分割数据。医学成像装置10还包括输入设备38,所述输入设备可以连接到显示单元36或连接到图像处理装置16,以便控制图形采集并且识别在显示单元36上显示的3D医学图像数据和/或超声图像数据中的位置。输入设备38可以包括键盘或鼠标等,或者可以被形成为显示单元36的触摸屏,以识别或指示在所显示的超声图像数据和/或3D医学图像数据内的特定解剖结构特征或位置。
图像处理单元22适于接收由用户借助于输入设备38在图像数据中识别的位置。图像处理单元22基于在图像数据中识别的位置来发起超声分割单元24或医学图像分割单元26,以在所识别的位置处和在所识别的位置附近和/或所识别的位置周围执行对相应图像数据的分割。
成像处理单元22以及尤其是被包括在图像处理单元22中的配准单元32将超声分割数据与3D医学图像分割数据相关,并且融合单元34组合相应超声图像数据与3D医学图像数据,以提供复合医学图像并将复合医学图像提供给显示单元36。
由于对患者12的解剖结构特征的分割是通过由用户确定的在所显示的超声图像数据和/或3D医学图像数据内的位置来发起的,因此相应分割单元24、26在能够由分割单元容易地识别出的特定解剖结构特征处执行分割,使得减少用于分割的技术努力和计算时间,并且能够以改进的可靠性且更快地识别用于相关性的解剖结构特征。
基于从配准单元32接收的相关性由融合单元34执行对超声图像数据与3D医学图像数据的空间对准。
在超声扫描期间由融合单元34连续地执行对超声图像数据与3D医学图像数据的融合。因此能够在超声扫描期间实时提供基于超声图像数据与3D医学图像数据的组合的融合图像。
图2a示出了基于从超声探头接收的且从患者12捕获的超声图像数据的超声图像40。图2b示出了基于患者12的3D医学图像数据的剖面医学图像42。在该特定情况下,图2a和图2b示出了患者12的肝,其中,超声图像40和剖面医学图像42在空间上彼此尚未对齐或相关。
为了在剖面医学图像42中发起分割,用户借助于如用户输入接口的输入设备38识别剖面医学图像42中的位置。在图2b中,由能在剖面医学图像42内移动的指示符44来识别位置。指示符44示出由用于识别的位置,所述位置在该特定情况下为肝的门静脉,其在超声图像40的视场中也是可见的。
基于所识别的位置,如图3b所示发起对3D医学图像数据的分割,并且如图3a所示还在超声图像数据中执行对血管的分割。由于门静脉是由用户输入和指示符44所识别的,因此能够较快且以较高的可靠性执行对该解剖结构特征的分割,使得对相应图像数据的配准和相关的总体可靠性被增强。应当理解,能够在剖面医学图像42和/或超声图像40内识别特定解剖结构特征的位置,使得通常能够较快地且以较高的可靠性执行分割。
对围绕所识别的位置的解剖结构特征进行分割,其中,所述解剖结构特征可以是周围表面,如血管或在患者身体内的其他解剖结构表面。在图3a中,用46指代超声分割数据,并且在图3b中,用48指代医学图像分割数据。
图4a示出了借助于超声分割单元24从超声图像数据导出的血管的超声分割数据46。图4b示出了借助于医学图像分割单元26从3D医学图像数据导出的医学图像分割数据。
超声分割单元24根据超声分割数据46确定中心线50和分叉52,并且医学图像分割单元26根据医学图像分割数据48确定中心线54和分叉56,如图5b所示。
配准单元32如图6所示将分割数据46、48的中心线50、54和分叉52、56相关,并且融合单元34基于从配准单元32接收的相关性和/或由位置确定单元28确定的超声探头14的位置来组合超声图像数据与3D医学图像数据。
图7a示出了在图2a中示出的超声图像40,并且图7b示出了由图像处理单元22的融合单元34基于从配准单元32接收的相关性而在空间上对准的图像。能够通过用户输入来容易地执行相关,这是因为减少了分割努力并且能够改进对图像数据内的显著解剖结构特征的识别的可靠性。
在图8中,示出了用于评价医学图像数据的方法的流程图,所述方法通常用60来指代。
方法60开始于如在步骤62处所示借助于超声探头14来采集患者12的超声数据,并且开始于如在步骤64处所示接收来自外部数据库20的患者12的3D医学图像数据(其通常为先前从患者12采集的MRT数据或CT数据)。在步骤66处,由用户经由输入设备38识别在3D医学图像数据和/或超声图像数据中的位置,如在步骤66处所示。
在超声数据中分割患者12的解剖结构特征,并且提供解剖结构特征的对应的分割数据,如在步骤68处所示。此外,分割3D医学图像数据中的解剖结构特征,并且提供医学图像分割数据48,如在步骤70处所示。在超声数据中和/或在3D医学图像数据中对解剖结构特征的分割是基于所识别的位置的,其中,在超声数据和/或医学图像数据中的相应分割是基于所识别的位置来发起的。
优选地,对围绕所识别的位置的解剖结构特征进行分割,以便仅分割相关的且由用户识别的那些解剖结构特征。如果位置在3D医学图像数据中被识别,则通常可以执行对超声数据的分割,或者,如果位置在超声图像数据中被识别,则通常可以执行对医学图像数据的分割。在特定实施例中,要被分割的位置在3D医学图像数据以及超声图像数据中被识别。
超声分割数据和医学图像分割数据被提供给配准单元32,其中,在步骤72处将超声分割数据46与医学图像分割数据48进行相关。
基于这样相关的分割数据,能够执行对位置确定单元28的校准,并且能够由融合单元34执行对超声图像数据与3D医学图像数据的融合。
尽管在附图和前面的描述中已经详细图示和描述了本发明,但是这些图示和描述应被视为说明性或示范性的而非限制性的;本发明不限于所公开的实施例。通过研究附图、公开内容以及权利要求书,本领域技术人员在实践所要求保护的本发明时能够理解和实现对所公开的实施例的其他变型。
在权利要求书中,“包括”一词不排除其他元件或步骤,并且词语“一”或“一个”不排除多个。单个元件或其他单元可以履行权利要求书中所记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施,但是这并不指示不能有利地使用这些措施的组合。
计算机程序可以被存储/分布在合适的介质上,例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质,但计算机程序可也可以以其他形式来分布,例如经由因特网或者其他有线或无线电信***分布。
权利要求书中的任何附图标记不应被解读为对范围的限制。

Claims (15)

1.一种用于评价医学图像数据的医学成像装置(10),包括:
-超声采集单元,其包括用于采集患者(12)的超声图像数据的超声探头(14),
-超声分割单元(24),其用于分割所述超声图像数据中的所述患者的解剖结构特征并且用于提供超声分割数据(46),
-图像数据接口(18),其用于接收所述患者的3D医学图像数据,
-医学图像分割单元(26),其用于分割所述3D医学图像数据并且用于提供医学图像分割数据(48),
-用户输入接口(38),其用于由用户在所述3D医学图像数据中和/或在所述超声图像数据中识别位置(44),以便基于由所述用户识别的所述位置来发起由所述医学图像分割单元和/或所述超声分割单元对解剖结构特征的所述分割,
-配准单元(32),其用于将所述超声分割数据与所述医学图像分割数据进行相关。
2.根据权利要求1所述的医学成像装置,还包括:位置确定单元(28),其被附接到所述超声探头,所述位置确定单元用于确定所述超声探头的位置;以及校准单元(30),其用于基于从所述配准单元接收的所述分割数据的相关性来校准所述超声探头的所述位置。
3.根据权利要求2所述的医学成像装置,还包括融合单元(34),所述融合单元用于基于由所述位置确定单元确定的所述超声探头的所述位置来融合所述超声图像数据与所述3D医学图像数据。
4.根据权利要求1所述的医学成像装置,其中,3D医学图像分割单元适于分割所述3D医学图像数据中邻近于或围绕在所述3D医学图像数据中识别的所述位置的解剖结构特征。
5.根据权利要求1所述的医学成像装置,其中,所述超声分割单元适于分割所述超声图像数据中邻近于或围绕在所述超声图像数据中识别的所述位置的解剖结构特征。
6.根据权利要求4或5所述的医学成像装置,其中,所述解剖结构特征是所识别的位置附近的表面。
7.根据权利要求6所述的医学成像装置,其中,所述解剖结构特征是所述患者的血管。
8.根据权利要求7所述的医学成像装置,其中,所述超声分割单元和所述医学图像分割单元适于确定所述血管的中心线(50、54)和/或分叉(52、56),并且其中,所述配准单元适于基于所确定的所述血管的中心线和/或分叉来配准所述超声图像数据与所述3D医学图像数据。
9.根据权利要求1所述的医学成像装置,其中,所述用户输入接口包括显示单元(36),所述显示单元用于显示所述3D医学图像数据和/或所述超声图像数据,并且其中,所述用户接口包括输入设备,所述输入设备用于识别在所述显示单元处的所述3D医学图像数据和/或所述超声图像数据中的所述位置。
10.根据权利要求9所述的医学成像装置,其中,所述输入设备适于控制在所述显示单元处被显示在所显示的图像数据内的指示符(44)的位置,并且适于基于所述指示符的所述位置和用户输入而在所显示的图像数据中识别所述位置。
11.根据权利要求9所述的医学成像装置,其中,所述显示单元包括接触敏感表面,所述接触敏感表面用于通过用户输入来识别所显示的图像数据的所述位置。
12.根据权利要求1所述的医学成像装置,其中,所述3D医学图像数据是先前采集的图像数据,所述先前采集的图像数据被存储在存储器设备(20)中。
13.根据权利要求1所述的医学成像装置,其中,所述3D医学图像数据是MR图像数据、CT图像数据、锥形射束CT图像数据或超声图像数据。
14.一种用于评价医学图像数据的医学图像评价方法(60),包括以下步骤:
-采集(62)患者(12)的超声数据,
-接收(64)所述患者的3D医学图像数据,
-由用户经由用户输入接口(38)在所述3D医学图像数据中和/或在所述超声图像数据中识别(66)位置(44),
-分割(68)所述超声数据中的所述患者的解剖结构特征并且提供所述解剖结构特征的超声分割数据(46),
-分割(70)所述3D医学图像数据的解剖结构特征并且提供医学图像分割数据(48),
其中,基于由所述用户识别的所述位置来发起在所述超声数据中和/或所述3D医学图像数据中对所述解剖结构特征的所述分割,并且
-将所述超声分割数据与所述医学图像分割数据进行相关(72)。
15.一种包括程序代码单元的计算机程序,所述程序代码单元用于在所述计算机程序在计算机上执行时令计算机执行根据权利要求14所述的方法(60)的步骤。
CN201580048332.XA 2014-09-08 2015-09-07 医学成像装置 Pending CN106687048A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14306376.6 2014-09-08
EP14306376 2014-09-08
PCT/EP2015/070362 WO2016037969A1 (en) 2014-09-08 2015-09-07 Medical imaging apparatus

Publications (1)

Publication Number Publication Date
CN106687048A true CN106687048A (zh) 2017-05-17

Family

ID=51582329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580048332.XA Pending CN106687048A (zh) 2014-09-08 2015-09-07 医学成像装置

Country Status (6)

Country Link
US (1) US20180214129A1 (zh)
EP (1) EP3190973A1 (zh)
JP (1) JP2017526440A (zh)
CN (1) CN106687048A (zh)
RU (1) RU2017111807A (zh)
WO (1) WO2016037969A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833230A (zh) * 2018-06-27 2018-11-16 梧州井儿铺贸易有限公司 一种智能家居***
WO2021114226A1 (zh) * 2019-12-12 2021-06-17 珠海横乐医学科技有限公司 基于肝内血管配准的手术导航***

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107548294B (zh) * 2015-03-31 2021-11-09 皇家飞利浦有限公司 医学成像装置
JP7270331B2 (ja) * 2017-06-15 2023-05-10 キヤノンメディカルシステムズ株式会社 医用画像診断装置及び画像処理装置
WO2020037668A1 (zh) * 2018-08-24 2020-02-27 深圳迈瑞生物医疗电子股份有限公司 超声图像处理设备及方法及计算机可读存储介质
US20220317294A1 (en) * 2021-03-30 2022-10-06 GE Precision Healthcare LLC System And Method For Anatomically Aligned Multi-Planar Reconstruction Views For Ultrasound Imaging

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100002925A1 (en) * 2008-07-07 2010-01-07 Siemens Corporate Research, Inc. Fluid Dynamics Approach To Image Segmentation
CN101903909A (zh) * 2007-12-18 2010-12-01 皇家飞利浦电子股份有限公司 用于基于解剖学统计模型多模态融合成像数据的***
US20110028843A1 (en) * 2009-07-31 2011-02-03 Dong Gyu Hyun Providing a 2-dimensional ct image corresponding to a 2-dimensional ultrasound image
WO2013140315A1 (en) * 2012-03-23 2013-09-26 Koninklijke Philips N.V. Calibration of tracked interventional ultrasound
US20130324841A1 (en) * 2012-05-31 2013-12-05 Ali Kamen System and Method for Real-Time Ultrasound Guided Prostate Needle Biopsy Based on Biomechanical Model of the Prostate from Magnetic Resonance Imaging Data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574026B2 (en) * 2003-02-12 2009-08-11 Koninklijke Philips Electronics N.V. Method for the 3d modeling of a tubular structure
US8751961B2 (en) * 2012-01-30 2014-06-10 Kabushiki Kaisha Toshiba Selection of presets for the visualization of image data sets
CN105025803B (zh) * 2013-02-28 2018-02-23 皇家飞利浦有限公司 从多个三维视图对大对象的分割

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101903909A (zh) * 2007-12-18 2010-12-01 皇家飞利浦电子股份有限公司 用于基于解剖学统计模型多模态融合成像数据的***
US20100002925A1 (en) * 2008-07-07 2010-01-07 Siemens Corporate Research, Inc. Fluid Dynamics Approach To Image Segmentation
US20110028843A1 (en) * 2009-07-31 2011-02-03 Dong Gyu Hyun Providing a 2-dimensional ct image corresponding to a 2-dimensional ultrasound image
WO2013140315A1 (en) * 2012-03-23 2013-09-26 Koninklijke Philips N.V. Calibration of tracked interventional ultrasound
US20130324841A1 (en) * 2012-05-31 2013-12-05 Ali Kamen System and Method for Real-Time Ultrasound Guided Prostate Needle Biopsy Based on Biomechanical Model of the Prostate from Magnetic Resonance Imaging Data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833230A (zh) * 2018-06-27 2018-11-16 梧州井儿铺贸易有限公司 一种智能家居***
WO2021114226A1 (zh) * 2019-12-12 2021-06-17 珠海横乐医学科技有限公司 基于肝内血管配准的手术导航***

Also Published As

Publication number Publication date
JP2017526440A (ja) 2017-09-14
EP3190973A1 (en) 2017-07-19
RU2017111807A3 (zh) 2019-03-14
RU2017111807A (ru) 2018-10-10
WO2016037969A1 (en) 2016-03-17
US20180214129A1 (en) 2018-08-02

Similar Documents

Publication Publication Date Title
CN105407811B (zh) 用于超声图像的3d获取的方法和***
CN106687048A (zh) 医学成像装置
US8777854B2 (en) Method and system for ultrasound based automated detection, quantification and tracking of pathologies
US11013495B2 (en) Method and apparatus for registering medical images
EP3013244B1 (en) System and method for mapping ultrasound shear wave elastography measurements
US20170251988A1 (en) Ultrasound imaging apparatus
US20110270270A1 (en) Method for determining an insertion trajectory of a tool in a deformable tissular matrix and robotic system executing the method
JP2018514352A (ja) 後期マーカー配置による融合イメージベース誘導のためのシステムおよび方法
US20090093702A1 (en) Determining and identifying changes in the position of parts of a body structure
CN106456084B (zh) 超声成像装置
EP3400878B1 (en) Method for postural independent location of targets in diagnostic imagines acquired by multimodal acquisitions and system for carrying out the said method
CN102197316A (zh) 3-d超声成像
EP3242602B1 (en) Ultrasound imaging apparatus and method for segmenting anatomical objects
EP3855396A2 (en) Orientation detection in fluoroscopic images
US20210100530A1 (en) Methods and systems for diagnosing tendon damage via ultrasound imaging
CN105096306A (zh) 用于对医学图像进行配准的方法和设备
CN112545551A (zh) 用于医学成像设备的方法和***
EP2601637A1 (en) System and method for multi-modality segmentation of internal tissue with live feedback
US20200305837A1 (en) System and method for guided ultrasound imaging
US8724878B2 (en) Ultrasound image segmentation
US20170281135A1 (en) Image Registration Fiducials
US7961923B2 (en) Method for detection and visional enhancement of blood vessels and pulmonary emboli
US10076311B2 (en) Method and apparatus for registering medical images
CN111292248B (zh) 超声融合成像方法及超声融合导航***
US11452495B2 (en) Apparatus and method for detecting a tool

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170517

WD01 Invention patent application deemed withdrawn after publication