CN111210401B - 根据医学图像的主动脉自动检测和量化 - Google Patents

根据医学图像的主动脉自动检测和量化 Download PDF

Info

Publication number
CN111210401B
CN111210401B CN201911141160.7A CN201911141160A CN111210401B CN 111210401 B CN111210401 B CN 111210401B CN 201911141160 A CN201911141160 A CN 201911141160A CN 111210401 B CN111210401 B CN 111210401B
Authority
CN
China
Prior art keywords
aorta
aortic
patient
measurement
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911141160.7A
Other languages
English (en)
Other versions
CN111210401A (zh
Inventor
S.拉帕卡
M.A.古尔森
D.诺伊曼
J.斯珀尔
R.凯尔格尔
B.乔治斯库
P.沙马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN111210401A publication Critical patent/CN111210401A/zh
Application granted granted Critical
Publication of CN111210401B publication Critical patent/CN111210401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

提供了用于评估患者的主动脉的***和方法。接收患者的主动脉的医学图像。从医学图像中分割出主动脉。在分割的主动脉上识别一个或多个测量平面。在一个或多个测量平面中的每一个处计算至少一个测量。基于在一个或多个测量平面中的每一个处计算的至少一个测量来评估患者的主动脉。

Description

根据医学图像的主动脉自动检测和量化
技术领域
本发明一般涉及根据医学图像对患者的主动脉的检测和量化,并且更具体地涉及使用多个机器学习模型分析医学图像来对主动脉的自动检测和量化。
背景技术
早期检测对于许多主动脉疾病(诸如主动脉夹层、主动脉破裂和破裂的腹主动脉瘤)是关键的。如果不进行治疗,这种主动脉疾病具有严重的和潜在致命的后果。传统上,通过对患者的医学图像的人工评估来诊断这种主动脉疾病。然而,这种主动脉疾病通常是无症状的,并且仅在并发症已经显现之后才能检测到。因此,在并发症已经显现之前难以诊断出这种主动脉疾病,导致诊断延迟或诊断失败。
发明内容
根据一个或多个实施例,提供了用于评估患者的主动脉的***和方法。接收患者的主动脉的医学图像,并从医学图像中分割出主动脉。在分割出的主动脉上识别测量平面,并在测量平面处计算测量。基于在测量平面处计算的测量来评估患者的主动脉。可以使得计算的测量和/或评估的主动脉的结果在显示设备上显示给用户。有利地,本文描述的实施例提供通过将机器学习模型应用于医学图像对主动脉的自动检测和量化,即使这样的医学图像不被获取来诊断主动脉疾病。
根据一个或多个实施例,通过识别主动脉的主动脉中心线并将主动脉中心线上的位置和对应平面法向量识别为测量平面,在分割的主动脉上识别测量平面。通过基于主动脉中心线细化分割的主动脉并基于细化的分割的主动脉细化主动脉中心线,可以联合地和迭代地确定分割的主动脉和主动脉中心线。
根据一个或多个实施例,在测量平面处计算的测量是在测量平面处的分割的主动脉的直径。例如,直径可以包括在测量平面处的分割的主动脉的最小直径、最大直径和/或平均直径。
根据一个或多个实施例,通过将在测量平面处计算的测量值与患者特定范围进行比较来评估患者的主动脉。响应于所述比较,可以生成指示评估结果的警报。还可以响应于所述比较来计算风险得分,并且可以基于所述风险得分来使得临床治疗计划被呈现给用户。
根据一个或多个实施例,提供了一种用于评估患者主动脉的设备。所述设备包括:用于接收患者的主动脉的医学图像的装置;用于从所述医学图像中分割出所述主动脉的装置;用于识别所述分割的主动脉上的一个或多个测量平面的装置;用于计算所述一个或多个测量平面中的每一个处的至少一个测量的装置;以及用于基于在所述一个或多个测量平面中的每一个处计算的所述至少一个测量来评估所述患者的主动脉的装置。
根据一个或多个实施例,提供了一种非暂时性计算机可读介质。该非暂时性计算机可读介质存储用于评估患者的主动脉的计算机程序指令。该计算机程序指令在由处理器执行时使该处理器执行以下操作:接收患者的主动脉的医学图像;从医学图像中分割出主动脉;识别分割的主动脉上的一个或多个测量平面;在所述一个或多个测量平面中的每一个处计算至少一个测量;以及基于在所述一个或多个测量平面中的每一个处计算的所述至少一个测量来评估患者的主动脉。
通过参考下面的详细描述和附图,本发明的这些和其它优点对于本领域的普通技术人员来说将是显而易见的。
附图说明
图1示出根据一个或多个实施例的用于评估患者的主动脉的示例性***;
图2示出根据一个或多个实施例的用于评估患者的主动脉的高级工作流程;
图3示出根据一个或多个实施例的用于评估患者的主动脉的方法;
图4示出根据一个或多个实施例的用于训练和应用机器学习模型用于从医学图像中分割出主动脉的工作流程;
图5示出根据一个或多个实施例的用于从医学图像中分割出主动脉并计算主动脉的主动脉中心线的联合和迭代过程的工作流程;
图6示出根据一个或多个实施例的描绘主动脉的测量和评估结果的说明性用户界面;以及
图7示出计算机的高级框图。
具体实施方式
本发明一般涉及用于根据医学图像自动检测和量化主动脉的方法和***。在此描述本发明的实施例以给出对这样的方法和***的视觉理解。数字图像通常由一个或多个对象(或形状)的数字表示组成。在此,经常在识别和操纵对象方面来描述对象的数字表示。这样的操纵是在计算机***的存储器或其它电路/硬件中完成的虚拟操纵。因此,应当理解,本发明的实施例可以由计算机***使用存储在该计算机***内的数据来执行。
图1示出了根据一个或多个实施例的被配置为评估患者的主动脉的***100。***100包括工作站102,其可以用于辅助临床医生(例如,医生、医学专业人员或任何其他用户)执行患者106 (或任何其他主体)的医学评估。工作站102可以使用任何合适的计算设备(诸如,图7的计算机702)来实现。
在一个实施例中,工作站102可以帮助临床医生执行对患者106的医学评估。患者106的医学评估可以是患者106的任何医学评估,包括与患者106的主动脉疾病的诊断相关的评估或与患者106的主动脉疾病的诊断无关的评估。因此,工作站102可以从一个或多个医学成像***104接收患者106的医学图像。医学成像***104可以具有任何模态,诸如例如,二维(2D)或三维(3D)计算机断层扫描(CT)、x射线、磁共振成像(MRI)、超声(US)、单光子发射计算机断层扫描(SPECT)、正电子发射断层扫描(PET)或任何其它合适的模态或模态的组合。在另一个实施例中,工作站102可以通过加载使用医学成像***104获取的患者的先前存储的图像来接收图像。
本发明的实施例提供通过应用多个机器学习模型分析医学图像来对患者106的主动脉的自动检测和量化。有利地,本发明的实施例使得能够实现医学图像的快速和自动分析,以评估患者106的主动脉疾病,并在症状或并发症显现之前提供主动脉疾病的早期检测。这种快速和自动分析允许对在执行与患者106的主动脉疾病的诊断无关的医学评估时获取的常规医学图像进行分析。因此,虽然实际上不能执行对为与主动脉疾病无关的医学评估而获取的这种医学图像的传统的手动分析,但是本发明的实施例提供了对医学图像的快速和自动分析,从而提供了对计算机和计算机相关技术的改进。
应当理解,虽然可以关于分析医学图像以评估患者的主动脉疾病来描述这里讨论的实施例,但是本发明并不局限于此。本发明的实施例可以应用于针对任何感兴趣的度量来分析任何类型的图像。
图2示出了根据一个或多个实施例的用于评估患者主动脉的高级工作流程200。在工作流程200中,获取患者胸部的CT医学图像202。从医学图像202中分割出主动脉204。在分割的主动脉204上识别多个测量平面206。在每个测量平面206处,计算分割的主动脉204的一个或多个直径。可以将一个或多个直径与患者的正常直径范围进行比较来评估主动脉。例如,正常范围外的直径可以指示主动脉中的异常。工作流程200由此提供患者主动脉的自动检测和量化。
图3示出了根据一个或多个实施例的用于评估患者的主动脉的方法300。方法300将参考图1的***100来讨论。在一个实施例中,方法300的步骤由图1的工作站102执行。
在步骤302处,接收患者的主动脉的医学图像。医学图像中的主动脉可以是患者的整个主动脉或患者主动脉的一部分。可以直接从医学成像***,诸如例如图1的医学成像***104接收医学图像。可替代地,可以通过从计算机***的存储装置或存储器加载先前获取的医学图像或者接收已经从远程计算机***传输的医学图像来接收医学图像。在一个实施例中,医学图像是CT医学图像,然而应当理解,医学图像也可以具有任何合适的模态。
在步骤304处,从医学图像中分割出主动脉。可以使用任何合适的方法从医学图像中分割出主动脉。在一个实施例中,通过应用深度学习模型从医学图像中分割出主动脉。深度学习模型可以是例如深度图像到图像网络。在一个实施例中,如以下参考图4更详细描述的,训练并应用深度学习模型。在一个实施例中,使用美国专利号9,715,637中描述的方法从医学图像中分割出主动脉,该专利的公开内容通过引用以其整体合并于此。分割的主动脉可以表示为例如医学图像中主动脉的网格、为医学图像的每个体素分配标签的掩模(mask)、医学图像中属于主动脉的点的点云或任何其他合适的格式。
在步骤306处,在分割的主动脉上识别一个或多个测量平面。测量平面是主动脉上要获得测量的感兴趣位置处的横截面。在一个实施例中,测量平面的感兴趣位置是主动脉上的预定义界标。例如,根据临床接受的指导,测量平面的感兴趣位置可以是主动脉上的临床重要位置。测量平面的这种临床重要的感兴趣位置的示例包括主动脉环、主动脉根、窦管连接、管、主动脉弓、降主动脉和腹主动脉。
可以使用任何合适的方法基于医学图像、分割出的主动脉、主动脉的主动脉中心线和/或患者的其他解剖信息来识别一个或多个测量平面。例如,可以使用经训练的深度学***面。一个或多个测量平面可以提供为具有平面法向量的主动脉中心线上的位置(例如,主动脉中心线上的点)。
在一些实施例中,由于例如噪声或其它成像伪像,模型可能不能识别一个或多个测量平面的感兴趣位置。在这种情况下,可以使用单独的深度学习模型来使用其他可用信息预测感兴趣的位置。
可以通过应用经训练的深度学习模型来计算主动脉的主动脉中心线,然而可以采用任何合适的方法。在一个实施例中,从医学图像中分割出主动脉,并且在联合和迭代过程中针对主动脉计算主动脉中心线以增加两者的精度,如下面关于图5进一步详细描述的。
用于识别一个或多个测量平面的患者的解剖信息可以包括患者的特征,诸如例如心脏的位置和大小、附近解剖界标(例如肺、脊柱、主动脉分叉和锁骨下动脉)的位置等。例如,通过应用被训练成识别这样的解剖信息的单独的深度学习网络,可以从医学图像中提取患者的解剖信息。患者的解剖信息可以采用任何合适的格式。例如,患者的解剖信息可以表示为表示不同界标的位置、表示特定器官的边界的网格或掩模、嵌入关于医学图像的信息的特征向量等。
在一个实施例中,不是从分割的主动脉中(在步骤304分割)识别一个或多个测量平面,而是从在步骤302接收的医学图像中直接识别一个或多个测量平面,并且跳过步骤304。
在步骤308处,在一个或多个测量平面的每一个处计算至少一个测量以评估主动脉。所述至少一个测量可包括分割的主动脉的直径,然而可以计算任何其它合适的测量。在一个实施例中,针对每个测量平面而在不同方向上计算多个直径。例如,至少一个测量可以包括每个测量平面的最大、最小和/或平均直径。在一个实施例中,至少一个测量包括最大直径和沿着与每个测量平面的最大直径正交方向的直径。图6示出了在测量平面上不同方向的测量的示例,如下面更详细地讨论的。
可以使用任何合适的方法来计算所述至少一个测量。在一个实施例中,训练深度学习模型以预测至少一个测量。在一个实施例中,连同预测至少一个测量,机器学习模型还可以预测与预测的至少一个测量相对应的不确定度。可以将所述至少一个测量与来自训练数据集的测量进行比较,并且在所述至少一个测量偏离(例如,偏离阈值量)来自训练数据集的测量的情况下,请求用户确认或干预。用户所采取的动作可以被保存并应用为用于改进未来数据集的模型的训练数据。
在步骤310处,基于在一个或多个测量平面的每一个处计算的至少一个测量来评估患者的主动脉。在一个实施例中,将在一个或多个测量平面中的每一个处计算的至少一个测量与相应的范围进行比较,使得在该范围之外的测量可以指示主动脉的异常。例如,可以将测量平面的患者主动脉直径与该测量平面的主动脉直径的患者特定的正常范围进行比较。可以基于患者(诸如例如,患者的年龄、患者的性别、患者的种族和患者的其他人口统计学因素)来确定主动脉直径的患者特定的正常范围。主动脉直径的患者特定的正常范围可以是主动脉直径的临床上可接受的范围,例如根据美国心脏协会或欧洲心脏学协会指导。因此,可以针对一个或多个测量平面中的每一个来定义主动脉直径的患者特定的正常范围,以检测患者的主动脉直径在患者特定的正常范围之外的感兴趣的位置。
在步骤312处,基于(在步骤308计算的)至少一个测量和/或(在步骤310执行的)主动脉的评估的结果产生输出。在一个实施例中,通过使至少一个测量和/或主动脉的评估的结果显示在计算机***的显示设备上、将至少一个测量和/或主动脉的评估的结果存储在计算机***的存储器或存储装置上、或者通过将至少一个测量和/或主动脉的评估的结果传输到远程计算机***来生成输出。图6示出了示例性输出,包括显示测量平面处的主动脉的横截面视图和主动脉的两个正交直径,如下面进一步详细讨论的。
可以在显示设备上以任何合适的格式向用户显示所计算的测量。在一个示例中,真实感绘制技术可以用于生成主动脉的高分辨率图像,同时还描绘附加信息,诸如例如一个或多个测量平面、至少一个测量(例如平均直径)以及评估结果。在另一个示例中,可以在弯曲的多平面重建(MPR)视图中将分割的主动脉、主动脉中心线以及一个或多个测量平面的位置显示为覆盖在原始接收的医学图像的顶部。MPR视图具有示出分割的主动脉和与其它重要解剖结构相关的一个或多个测量平面的优点,所述其它重要解剖结构诸如例如头臂动脉、左颈动脉和锁骨下动脉等。在一个实施例中,一个或多个测量平面仅在主动脉主干上,同时显示主动脉的较大子集。
在一个实施例中,输出包括响应于主动脉评估的结果而生成的音频和/或视觉警报,以便向用户警告结果。例如,该警报可以警告用户至少一个测量值在患者的患者特定正常范围之外。在一个示例中,该警报可以包括弹出窗口,该弹出窗口向用户通知评估结果并提示用户确认评估结果。作为响应,用户可以校正例如主动脉的分割、主动脉中心线、一个或多个测量平面的位置和/或取向、和/或至少一个测量。用户动作可被保存并被用作训练数据以改进模型以用于将来的预测。
在一个实施例中,计算风险得分,其指示不利结果的可能性。例如,可以响应于评估结果或响应于用户确认警报来计算风险得分。基于所计算的风险得分和临床指导,可以建议用于最佳患者结果的临床治疗计划。例如,临床治疗计划可以包括具有基于风险得分指示的严重性程度的持续时间的随访评估、用于确认结果的潜在的附加测试(例如,附加的成像或实验室测试)、或者在风险得分指示高风险的情况下的即时干预。临床治疗计划可以基于所建立的临床指导,并且与支持该计划的已公布临床决策制定路径连同与该计划中的每个项目相关联的不同风险和结果的已知统计数据的链接一起呈现给用户。在一个实施例中,临床治疗计划可以被发送到患者管理***以自动触发与患者的通信,从而促进临床治疗计划的执行(例如,促进设置预约)。
方法300的步骤可以全自动和/或半自动地执行。在全自动的情况下,模型自动执行所有步骤并生成结果,而无需附加用户输入。结果可以是任何合适格式的。在一个实施例中,结果是可以直接输入到医院数据管理***中的格式的。在半自动情况下,模型的输出(例如,主动脉的分割、一个或多个测量平面的位置/取向的识别、和/或至少一个测量的计算等)可以由用户来编辑。例如,可以由用户校正步骤304处的主动脉的过度分割。经校正的结果可被输入到医院管理***中。用户输入可被保存并被应用为训练数据以改进将来的预测。
在一些实施例中,被训练来预测某一结果(诸如例如主动脉的分割或至少一个测量的计算)的机器学习模型可能由于医学图像的部分中的噪声或伪像而提供不准确的结果。代替提供不准确的结果,可以提示用户用手动输入或校正结果。
图4示出了根据一个或多个实施例的用于训练和应用机器学习模型以从医学图像中分割出主动脉的工作流程400。步骤402-404示出了用于训练机器学习模型的离线或训练阶段。步骤406-410示出了用于将经训练的机器学习模型应用于新接收的输入医学图像的在线或推断阶段。在一个实施例中,通过执行推断状态的步骤(步骤406-410)来执行图3的步骤304。可以针对(一个或多个)每个新接收的输入医学图像重复推断阶段(步骤406-410)。
在步骤402处,在训练阶段期间,接收包括主动脉的训练图像。训练图像是与在推断阶段(在步骤406)期间要分析的输入医学图像的模态相对应的模态的医学图像。例如,所述模态可以是计算机断层扫描(CT)、磁共振(MR)、DynaCT、超声、x射线、正电子发射断层扫描(PET)等。在一个实施例中,可以通过从医学图像数据库加载多个先前存储的医学训练图像来接收训练图像。
训练图像可以包括被注释以指示主动脉的位置的真实训练图像。注释可以采用任何合适的形式。在一个实施例中,注释包括例如网格、将标记分配给训练图像中的每个体素的掩模、或训练图像中属于主动脉的点的点云。
训练图像还可以包括合成训练图像。合成图像可以使用例如幻像数据集的成像或成像模拟器来生成,其基于不同器官的大小和位置生成合成图像。在一些实施例中,使用深度学习模型生成合成图像,所述深度学习模型诸如例如是生成性对抗网络(GAN),其被训练以使用来自其他成像模态的已知图像生成现实外观的图像。例如,可以训练GAN以从MRI图像生成主动脉的CT训练图像。该模型可以用于产生大的训练图像集合。
训练图像还可以包括使用数据增强技术生成的增强的训练图像。在一个实施例中,可以通过对真实训练图像及其注释应用变换来生成增强的训练图像。可以应用任何合适的变换,诸如例如,向真实训练图像中添加一定程度的噪声、缩放真实训练图像、旋转真实训练图像等。在一个实施例中,局部改变所述变换以模拟病理或状况。例如,可以局部地扩大真实训练图像及其注释以模拟腹部动脉瘤的效果。可以应用其他变换来模拟例如主动脉狭窄。
在一个实施例中,训练图像可以与用于训练机器学习模型的附加数据相关联。例如,与训练图像相关联的附加数据可以包括附加解剖信息,如上关于图3的步骤306所述。在另一个示例中,与训练图像相关联的附加数据还可以包括与训练图像相关联的患者的遗传特征。
在一个实施例中,训练图像包括在其中用户已经提供输入(例如,以定义分割)的推断阶段期间先前接收的输入图像。因此,用户输入被提供为输入图像的基本实况。输入图像可以来自健康护理中心的本地群体,使得模型学习以更好地适应健康护理中心的群体,或者来自从远程位置接收的所有(或多个)健康护理中心的全局群体,以改进那些健康护理中心的未来表现。
在步骤404处,训练机器学习模型以基于训练图像(和附加数据)从医学图像中分割出主动脉。在一个实施例中,机器学习模型是深度图像到图像网络,其被训练以学习训练图像和它们的基本实况之间的对应。深度图像到图像网络学习以最小化预测分割(例如分割掩模)和基本实况(例如基本实况掩模)之间的差异,这可以使用不同的数学损失函数(例如已知的损失函数)来实现。
在步骤406处,在推断阶段期间,接收患者的输入医学图像。输入医学图像包括主动脉。还可以接收附加数据,诸如例如患者的附加解剖信息、患者的遗传简档信息等。在一个实施例中,输入医学图像是在图3的步骤302处接收的医学图像。
在步骤408处,使用经训练的机器学习模型预测来自输入医学图像的主动脉分割。将输入医学图像输入到经训练的机器学习模型,并且经训练的机器学习模型基于输入医学图像生成主动脉的分割。在一些实施例中,诸如患者的附加解剖信息、患者的遗传简档信息等的附加患者数据也可被输入到经训练的机器学习模型,并用于生成主动脉的分割。分割可以采用任何合适的形式,诸如例如输入医学图像中主动脉的网格、将标签分配给输入医学图像的每个体素的掩模、或输入医学图像中属于主动脉的点的点云。
在步骤410处,输出主动脉的分割。在一个实施例中,通过将分割返回到图3的步骤304来输出主动脉的分割。在一些实施例中,可以通过在计算机***的显示设备上显示分割、在计算机***的存储器或存储装置上存储分割、或通过将分割传输到远程计算机***来输出主动脉的分割。
应当理解,一旦在训练阶段期间训练了机器学习模型,就可以针对(一个或多个)每个新接收的输入医学图像重复推断阶段的步骤406-410。
还应当理解,可以执行类似于工作流程400的工作流程以使用合适的训练数据来训练并应用机器学***面、在图3的步骤308处计算至少一个测量、或者在图4的步骤402中使用合适的训练数据生成合成图像。
图5示出了根据一个或多个实施例的用于从医学图像分割出主动脉并计算主动脉的主动脉中心线的联合和迭代过程的工作流程500。在一个实施例中,可以执行工作流程500以在图3的步骤304处从医学图像中分割出主动脉,并在图3的步骤306处计算主动脉的主动脉中心线。有利地,工作流程500的联合和迭代过程提供了更精确的分割的主动脉和主动脉中心线。
在步骤502处,接收包括主动脉的医学图像。
在步骤504处,从医学图像中分割出主动脉以提供初始主动脉掩模。例如,可以使用如根据图4训练和应用的经训练的机器学习模型从医学图像中分割出主动脉。虽然在步骤504处将分割的主动脉表示为主动脉掩模,但是应当理解,也可以以任何合适的格式(例如,网格或点云)来表示分割的主动脉。
在步骤506处,计算主动脉的初始主动脉中心线。可以使用任何合适的方法,诸如经训练的深度学习模型,来计算主动脉中心线。
在步骤508处,确定细化的主动脉掩模和细化的主动脉中心线。在一个实施例中,可以首先通过使用在初始主动脉中心线的邻域中应用的按区域模型来细化初始主动脉掩模,来确定细化的主动脉掩模。然后,可以使用例如基于细化的主动脉掩模的经训练的深度学习模型来确定细化的主动脉中心线。步骤508可以迭代重复任意次数(例如,预定次数),直到确定了主动脉和主动脉中心线的合适分割为止。
应当理解,步骤504和506可以以任何次序执行。例如,在一个实施例中,在步骤506处,首先直接从医学图像计算初始主动脉中心线,然后在步骤504处,基于初始主动脉中心线从医学图像中确定初始主动脉掩模。因此,在该实施例中,在步骤508处,首先使用基于初始主动脉掩模的经训练的深度学习模型来确定细化的主动脉中心线,并且然后使用基于细化的主动脉中心线的按区域模型来确定细化的主动脉掩模。
图6示出了根据一个或多个实施例的描绘主动脉的测量和评估结果的用户界面600。在一个实施例中,用户界面600可以是图3的步骤312处的输出。用户界面600示出了描绘在测量平面处的主动脉的截面视图的CT医学图像602。分割的主动脉掩模602被覆盖在其上,其中测量606和608表示所计算的分割的主动脉掩模602的正交直径。测量结果610被示出,指示针对测量608的37.7毫米的直径。
可以使用数字电路,或者使用一个或多个计算机,使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其它组件来实现这里描述的***、装置和方法。通常,计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机也可以包括或耦合到一个或多个大容量存储设备,诸如一个或多个磁盘、内部硬盘和可移除盘、磁光盘、光盘等。
可以使用以客户端-服务器关系操作的计算机来实现在此描述的***、装置和方法。通常,在这样的***中,客户端计算机位于远离服务器计算机,并且经由网络进行交互。客户端-服务器关系可由运行在相应客户端和服务器计算机上的计算机程序来定义和控制。
本文描述的***、装置和方法可在基于网络的云计算***内实现。在这种基于网络的云计算***中,连接到网络的服务器或另一处理器经由网络与一个或多个客户端计算机通信。例如,客户端计算机可以经由驻留并运行在客户端计算机上的网络浏览器应用与服务器进行通信。客户端计算机可以将数据存储在服务器上,并经由网络访问数据。客户端计算机可以经由网络向服务器传输针对数据的请求或针对在线服务的请求。服务器可以执行所请求的服务并向(多个)客户端计算机提供数据。服务器还可以传输适于使客户端计算机执行指定功能(例如,执行计算)的数据,以在屏幕上显示指定数据等。例如,服务器可以传输适于使客户端计算机执行这里描述的方法和工作流程的一个或多个步骤或功能的请求,包括图2-5的一个或多个步骤或功能。本文所述的方法和工作流程的某些步骤或功能(包括图2至图5的一个或多个步骤或功能)可由服务器或由基于网络的云计算***中的另一处理器来执行。本文所述的方法和工作流程的某些步骤或功能(包括图2至图5的一个或多个步骤)可由基于网络的云计算***中的客户端计算机来执行。本文所述的方法和工作流程的步骤或功能,包括图2至图5的一个或多个步骤,可以由服务器和/或由基于网络的云计算***中的客户端计算机以任何组合来执行。
可以使用有形地包含在信息载体中(例如,在非暂时性机器可读存储设备中)的计算机程序产品来实现这里描述的***、装置和方法,以便由可编程处理器执行;并且可以使用可由这样的处理器执行的一个或多个计算机程序来实现这里描述的方法和工作流程步骤,包括图2-5的一个或多个步骤或功能。计算机程序是可以在计算机中直接或间接地用来执行某个活动或带来某个结果的一组计算机程序指令。计算机程序可以以任何形式的编程语言编写,包括编译或解释语言,并且它可以以任何形式来部署,包括作为独立程序或作为模块、组件、子例程或适于在计算环境中使用的其它单元。
图7中描绘了可以用于实现在此描述的***、装置和方法的示例性计算机702的高级框图。计算机702包括操作地耦合到数据存储设备712和存储器710的处理器704。处理器704通过执行定义计算机702的全部操作的计算机程序指令来控制这样的操作。计算机程序指令可以存储在数据存储设备712或其他计算机可读介质中,并且当期望执行计算机程序指令时可以被加载到存储器710中。因此,图2-5的方法和工作流程步骤或功能可以由存储在存储器710和/或数据存储设备712中的计算机程序指令来定义,并且可以由执行计算机程序指令的处理器704来控制。例如,计算机程序指令可以被实现为由本领域技术人员编程以执行图2-5的方法和工作流程步骤或功能的计算机可执行代码。因此,通过执行计算机程序指令,处理器704执行图2-5的方法和工作流程步骤或功能。计算机704还可包括用于经由网络与其它设备通信的一个或多个网络接口706。计算机702还可以包括一个或多个输入/输出设备708,其使得用户能够与计算机702交互(例如,显示器、键盘、鼠标、扬声器、按钮等)。
处理器704可以包括通用和专用微处理器二者,并且可以是计算机702的唯一处理器或多个处理器之一。例如,处理器704可以包括一个或多个中央处理单元(CPU)。处理器704、数据存储设备712和/或存储器710可以包括一个或多个专用集成电路(ASIC)和/或一个或多个现场可编程门阵列(FPGA),或者由一个或多个专用集成电路(ASIC)和/或一个或多个现场可编程门阵列(FPGA)补充或并入其中。
数据存储设备712和存储器710均包括有形非暂时性计算机可读存储介质。数据存储设备712和存储器710可以均包括高速随机存取存储器,诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率同步动态随机存取存储器(DDR RAM)或其他随机存取固态存储器设备,并且可以包括非易失性存储器,诸如一个或多个磁盘存储设备(诸如内部硬盘和可移除盘)、磁光盘存储设备、光盘存储设备、闪速存储器设备、半导体存储器设备,诸如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、压缩盘只读存储器(CD-ROM)、数字多功能盘只读存储器(DVD-ROM)盘或其他非易失性固态存储设备。
输入/输出设备708可以包括***设备,例如打印机、扫描仪、显示屏等。例如,输入/输出设备708可以包括诸如阴极射线管(CRT)或液晶显示器(LCD)监视器之类的用于向用户显示信息的显示设备、键盘、以及诸如鼠标或跟踪球之类的指示设备,用户可以通过该指示设备向计算机702提供输入。
在此讨论的任何或所有***和装置,包括图1的工作站102的元素,都可以使用一个或多个计算机(诸如计算机702)来实现。
本领域的技术人员将认识到,实际计算机或计算机***的实现可以具有其它结构,并且也可以包含其它组件,并且图7是用于说明性目的这种计算机的一些组件的高级表示。
前面的详细描述应当被理解为在每个方面是说明性和示例性的,而不是限制性的,并且这里公开的本发明的范围不应是由详细描述来确定的,而是由根据专利法所允许的全部范围解释的权利要求来确定的。应当理解,这里示出和描述的实施例仅说明本发明原理,并且本领域技术人员可以在不背离本发明的范围和精神的情况下实现各种修改。本领域技术人员可以在不脱离本发明范围和精神的情况下实现各种其它特征组合。

Claims (14)

1.一种用于评估患者的主动脉的方法,包括:
接收患者的主动脉的医学图像;
通过迭代地1)基于主动脉的主动脉中心线细化主动脉的主动脉掩模,以及2)基于所述主动脉掩模细化所述主动脉中心线,来从所述医学图像中分割出主动脉;
基于所述主动脉中心线,在分割出的主动脉上识别一个或多个测量平面;
计算在所述一个或多个测量平面中每个测量平面处分割的主动脉的最大直径,以及沿与所述最大直径正交方向的该分割的主动脉的直径;以及
通过将计算的所述一个或多个测量平面中每个相应测量平面处的所述最大直径和所述沿与最大直径正交方向的直径与针对该相应测量平面定义的患者特定正常主动脉直径范围进行比较来评估所述患者的主动脉。
2.如权利要求1所述的方法,其中基于所述主动脉中心线在分割出的主动脉上识别一个或多个测量平面包括:
识别所述主动脉的所述主动脉中心线;以及
将所述主动脉中心线上的一个或多个位置和对应平面法向量识别为一个或多个测量平面。
3.如权利要求1所述的方法,还包括
计算在一个或多个测量平面中的每个测量平面处的分割的主动脉的最小直径和平均直径中的至少一个。
4.如权利要求1所述的方法,还包括:
响应于所述比较,生成指示所述评估的结果的警报。
5.如权利要求1所述的方法,还包括:
响应于所述比较计算风险得分;以及
使得临床治疗计划基于所述风险得分而被呈现给用户。
6.如权利要求1所述的方法,还包括:
使得计算和/或评估的结果显示在显示设备上。
7.一种用于评估患者主动脉的设备,包括:
用于接收患者的主动脉的医学图像的装置;
用于通过迭代地1)基于主动脉的主动脉中心线细化主动脉的主动脉掩模,以及2)基于所述主动脉掩模细化所述主动脉中心线,来从所述医学图像中分割出主动脉的装置;
用于基于所述主动脉中心线,在所述分割的主动脉上识别一个或多个测量平面的装置;
用于计算在所述一个或多个测量平面中每个测量平面处分割的主动脉的最大直径,以及沿与所述最大直径正交方向的该分割的主动脉的直径的装置;以及
用于通过将计算的所述一个或多个测量平面中的每个相应测量平面处的最大直径和所述沿与最大直径正交方向的直径与针对该相应测量平面定义的患者特定正常主动脉直径范围进行比较来评估所述患者的主动脉的装置。
8.如权利要求7所述的设备,其中用于基于所述主动脉中心线在所述分割的主动脉上识别一个或多个测量平面的装置包括:
用于识别主动脉的所述主动脉中心线的装置;以及
用于识别主动脉中心线上的一个或多个位置和对应平面法向量作为一个或多个测量平面的装置。
9.如权利要求7所述的设备,还包括:
用于计算在所述一个或多个测量平面中的每个测量平面处的所述分割的主动脉的最小直径和平均直径中的至少一个的装置。
10.一种存储用于评估患者的主动脉的计算机程序指令的非暂时性计算机可读介质,所述计算机程序指令在由处理器执行时使所述处理器执行以下操作,所述操作包括:
接收患者的主动脉的医学图像;
通过迭代地1)基于主动脉的主动脉中心线细化主动脉的主动脉掩模,以及2)基于所述主动脉掩模细化所述主动脉中心线,来从医学图像中分割出主动脉;
基于所述主动脉中心线,在分割的主动脉上识别一个或多个测量平面;
计算在所述一个或多个测量平面的每个测量平面处分割的主动脉的最大直径,以及沿与所述最大直径正交方向的该分割的主动脉的直径;以及
通过将计算的在所述一个或多个测量平面中每个相应测量平面处的所述最大直径和所述沿与最大直径正交方向的直径与针对该相应测量平面定义的患者特定正常主动脉直径范围进行比较来评估患者的主动脉。
11.如权利要求10所述的非暂时性计算机可读介质,其中基于所述主动脉中心线在分割的主动脉上识别一个或多个测量平面包括:
识别主动脉的所述主动脉中心线;以及
将主动脉中心线上的一个或多个位置和对应平面法向量识别为一个或多个测量平面。
12.如权利要求10所述的非暂时性计算机可读介质,所述操作还包括:
响应于所述比较,生成指示所述评估的结果的警报。
13.如权利要求10所述的非暂时性计算机可读介质,所述操作还包括:
响应于所述比较来计算风险得分;以及
使得临床治疗计划基于风险得分而被呈现给用户。
14.如权利要求10所述的非暂时性计算机可读介质,所述操作还包括:
使得计算和/或评估的结果显示在显示设备上。
CN201911141160.7A 2018-11-20 2019-11-20 根据医学图像的主动脉自动检测和量化 Active CN111210401B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/196,454 US11127138B2 (en) 2018-11-20 2018-11-20 Automatic detection and quantification of the aorta from medical images
US16/196454 2018-11-20

Publications (2)

Publication Number Publication Date
CN111210401A CN111210401A (zh) 2020-05-29
CN111210401B true CN111210401B (zh) 2023-10-13

Family

ID=68834934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911141160.7A Active CN111210401B (zh) 2018-11-20 2019-11-20 根据医学图像的主动脉自动检测和量化

Country Status (3)

Country Link
US (1) US11127138B2 (zh)
EP (1) EP3657437B1 (zh)
CN (1) CN111210401B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11238197B1 (en) * 2018-04-03 2022-02-01 David Byron Douglas Generating a 3D dataset containing a simulated surgical device
EP3792870A1 (en) 2019-09-12 2021-03-17 Siemens Healthcare GmbH Method and device for automatic determination of the change of a hollow organ
US11682135B2 (en) * 2019-11-29 2023-06-20 GE Precision Healthcare LLC Systems and methods for detecting and correcting orientation of a medical image
EP4174762A1 (en) * 2020-06-29 2023-05-03 Suzhou Rainmed Medical Technology Co., Ltd. Deep learning-based aortic image acquisition system
CN111932552B (zh) * 2020-07-21 2023-12-01 深圳睿心智能医疗科技有限公司 一种主动脉建模的方法及装置
CN112674872B (zh) * 2020-12-22 2021-07-06 中国人民解放军陆军军医大学 一种主动脉复合体解剖特征测量方法
CN113223704B (zh) * 2021-05-20 2022-07-26 吉林大学 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法
US11538163B1 (en) * 2022-01-06 2022-12-27 Rowan University Training a neural network for a predictive aortic aneurysm detection system
CN114782443A (zh) * 2022-06-22 2022-07-22 深圳科亚医疗科技有限公司 基于数据增强的动脉瘤风险评估的装置和存储介质
WO2024095159A1 (en) * 2022-10-31 2024-05-10 Vitaa Medical Solutions Inc. Method and system for training machine learning models to predict abdominal aortic aneurysm (aaa) growth in images

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103068318A (zh) * 2010-08-26 2013-04-24 皇家飞利浦电子股份有限公司 自动的三维主动脉根测量和建模
CN103294883A (zh) * 2011-11-23 2013-09-11 西门子公司 用于针对经导管主动脉瓣植入进行介入规划的方法和***
CN105380598A (zh) * 2014-07-22 2016-03-09 西门子公司 关于针对动脉狭窄的自动治疗规划的方法和***
CN105580019A (zh) * 2013-07-30 2016-05-11 哈特弗罗公司 为优化诊断性能利用边界条件模型化血流的方法和***
CN106061387A (zh) * 2013-12-18 2016-10-26 哈特弗罗公司 用于根据患者特定的解剖图像数据预测冠状动脉斑块易损性的***和方法
CN106537392A (zh) * 2014-04-22 2017-03-22 西门子保健有限责任公司 用于冠状动脉中的血液动力学计算的方法和***
CN106780720A (zh) * 2016-11-30 2017-05-31 上海联影医疗科技有限公司 医学图像显示方法及装置
WO2017136762A1 (en) * 2016-02-03 2017-08-10 Radlogics, Inc. Methods and systems for enhanced measurement of near heart aorta sections
CN107221009A (zh) * 2017-05-31 2017-09-29 上海联影医疗科技有限公司 一种腹主动脉分叉处的定位方法、装置、医学成像***及存储介质
CN107296620A (zh) * 2017-07-28 2017-10-27 海纳医信(北京)软件科技有限责任公司 主动脉检测方法、装置、存储介质和处理器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6905468B2 (en) 2002-09-18 2005-06-14 Diagnostic Ultrasound Corporation Three-dimensional system for abdominal aortic aneurysm evaluation
EP1815436A1 (en) * 2004-11-26 2007-08-08 Bracco Imaging S.P.A. Methods for mapping knowledge structures to organs: automated measurements and visualization using knowledge structure mapping
US20080033302A1 (en) 2006-04-21 2008-02-07 Siemens Corporate Research, Inc. System and method for semi-automatic aortic aneurysm analysis
US9064300B2 (en) * 2008-02-15 2015-06-23 Siemens Aktiengesellshaft Method and system for automatic determination of coronory supply regions
US9715637B2 (en) 2009-03-18 2017-07-25 Siemens Healthcare Gmbh Method and system for automatic aorta segmentation
US9679389B2 (en) * 2009-05-19 2017-06-13 Algotec Systems Ltd. Method and system for blood vessel segmentation and classification
ITPD20120026A1 (it) * 2012-02-03 2013-08-04 Univ Padova Metodo di misura automatico per una arteria di un feto ed in particolare per l'aorta addominale e dispositivo ecografico per una arteria di un feto, in particolare per la realizzazione di tale metodo
WO2015048196A1 (en) * 2013-09-25 2015-04-02 Heartflow, Inc. Systems and methods for validating and correcting automated medical image annotations
CN106999100A (zh) * 2014-03-27 2017-08-01 智能人动力公司 用于追踪腹部取向和活动的***、装置和方法
US10885407B2 (en) * 2016-11-23 2021-01-05 Simbionix Ltd. Method and system for three-dimensional print oriented image segmentation
US10896507B2 (en) * 2017-09-21 2021-01-19 The Regents Of The University Of Michigan Techniques of deformation analysis for quantification of vascular enlargement

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103068318A (zh) * 2010-08-26 2013-04-24 皇家飞利浦电子股份有限公司 自动的三维主动脉根测量和建模
CN103294883A (zh) * 2011-11-23 2013-09-11 西门子公司 用于针对经导管主动脉瓣植入进行介入规划的方法和***
CN105580019A (zh) * 2013-07-30 2016-05-11 哈特弗罗公司 为优化诊断性能利用边界条件模型化血流的方法和***
CN106061387A (zh) * 2013-12-18 2016-10-26 哈特弗罗公司 用于根据患者特定的解剖图像数据预测冠状动脉斑块易损性的***和方法
CN106537392A (zh) * 2014-04-22 2017-03-22 西门子保健有限责任公司 用于冠状动脉中的血液动力学计算的方法和***
CN105380598A (zh) * 2014-07-22 2016-03-09 西门子公司 关于针对动脉狭窄的自动治疗规划的方法和***
WO2017136762A1 (en) * 2016-02-03 2017-08-10 Radlogics, Inc. Methods and systems for enhanced measurement of near heart aorta sections
CN106780720A (zh) * 2016-11-30 2017-05-31 上海联影医疗科技有限公司 医学图像显示方法及装置
CN107221009A (zh) * 2017-05-31 2017-09-29 上海联影医疗科技有限公司 一种腹主动脉分叉处的定位方法、装置、医学成像***及存储介质
CN107296620A (zh) * 2017-07-28 2017-10-27 海纳医信(北京)软件科技有限责任公司 主动脉检测方法、装置、存储介质和处理器

Also Published As

Publication number Publication date
US11127138B2 (en) 2021-09-21
EP3657437A1 (en) 2020-05-27
EP3657437B1 (en) 2022-11-02
CN111210401A (zh) 2020-05-29
US20200160527A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
CN111210401B (zh) 根据医学图像的主动脉自动检测和量化
EP3117771B1 (en) Direct computation of image-derived biomarkers
US10997475B2 (en) COPD classification with machine-trained abnormality detection
KR102312011B1 (ko) 시뮬레이션 정확도 및 성능을 위한 이미지 품질 평가
EP3633623B1 (en) Medical image pre-processing at the scanner for facilitating joint interpretation by radiologists and artificial intelligence algorithms
US11508061B2 (en) Medical image segmentation with uncertainty estimation
US10522253B2 (en) Machine-learnt prediction of uncertainty or sensitivity for hemodynamic quantification in medical imaging
US20180315505A1 (en) Optimization of clinical decision making
US11830197B2 (en) Generating shape difference data between multiple imaging modalities
US11594005B2 (en) System, method and apparatus for assisting a determination of medical images
US20210202072A1 (en) Medical image diagnosis assistance apparatus and method for providing user-preferred style based on medical artificial neural network
US20170018076A1 (en) Method and apparatus for planning Computer-Aided Diagnosis
EP3889892A1 (en) Assessment of abnormality regions associated with a disease from chest ct images
JP2017531519A (ja) 画像化不確実性の可視化
CN109256205B (zh) 用于利用本地和远程分析学进行的临床决策支持的方法和***
US10909676B2 (en) Method and system for clinical decision support with local and remote analytics
EP4064187A1 (en) Automatic hemorrhage expansion detection from head ct images
EP3477551B1 (en) Machine-learnt prediction of uncertainty or sensitivity for hemodynamic quantification in medical imaging
US12014823B2 (en) Methods and systems for computer-aided diagnosis with deep learning models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant