CN110660123A - 基于神经网络的三维ct图像重建方法和设备以及存储介质 - Google Patents

基于神经网络的三维ct图像重建方法和设备以及存储介质 Download PDF

Info

Publication number
CN110660123A
CN110660123A CN201810721039.0A CN201810721039A CN110660123A CN 110660123 A CN110660123 A CN 110660123A CN 201810721039 A CN201810721039 A CN 201810721039A CN 110660123 A CN110660123 A CN 110660123A
Authority
CN
China
Prior art keywords
dimensional
neural network
layer
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810721039.0A
Other languages
English (en)
Other versions
CN110660123B (zh
Inventor
邢宇翔
张丽
杨洪恺
梁凯超
刘以农
高河伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810721039.0A priority Critical patent/CN110660123B/zh
Publication of CN110660123A publication Critical patent/CN110660123A/zh
Application granted granted Critical
Publication of CN110660123B publication Critical patent/CN110660123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

公开了一种基于神经网络的三维CT图像重建方法和设备以及存储介质。该方法包括步骤:对被检查对象进行三维CT扫描,得到三维投影数据;利用第一卷积神经网络对三维投影数据进行处理,对三维体得到逐层独立的二维投影数据,其中,第一卷积神经网络包括多个卷积层;以及对每层的二维投影数据进行等效于解析重建的投影域到图像域转换算子操作,按层得到重建图像,形成三维体图像。或者,进一步利用第二神经网络对图像进行处理,抑制噪声和伪影。利用本公开上述实施例的方案,能够重建得到质量更高的CT图像。

Description

基于神经网络的三维CT图像重建方法和设备以及存储介质
技术领域
本公开的实施例涉及辐射成像,具体涉及一种基于神经网络的三维CT图像重建方法和设备以及存储介质。
背景技术
X射线CT(Computerized-Tomography)成像***在医疗、安检、工业无损检测等领域中都有着广泛的应用。射线源和探测器按照一定的轨道采集一系列的投影数据,经过图像重建算法的复原可以得到被检查对象的线性衰减系数的三维空间分布。CT图像重建过程是从探测器采集到的数据中恢复线性衰减系数分布,是CT成像的核心步骤。目前,在实际应用中主要使用滤波反投影(Filtered Back-Projection)、FDK(Feldkmap-Davis-Kress)类的解析重建算法和ART(Algebra Reconstruction Technique)、MAP(Maximum APosterior)等迭代重建方法。
随着X光CT成像的需求越来越多样化,对降低辐射剂量的要求也越来越高,从常规思路的重建图像方法设计能够达到的图像质量已接近极限。需要开发出新的CT重建技术,从而获得更高质量的重建图像。
发明内容
针对现有技术中的一个或多个问题,提出了一种重建CT图像的方法和设备以及存储介质,能够提高重建图像的质量。
在本公开的一个方面,提出了一种基于神经网络的三维CT图像重建方法,包括步骤:对被检查对象进行三维CT扫描,得到三维投影数据;利用第一卷积神经网络对三维投影数据进行处理,对三维体得到每层独立的二维投影数据,其中,第一卷积神经网络包括多个卷积层;以及对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作,按层得到重建的图像,形成三维体图像。
根据本公开的实施例,按照二维解析重建算法构建神经网络层,与第一卷积神经网络级联,形成综合重建网络,以整体方式训练得到三维CT重建网络。
根据本公开的实施例,按照二维解析重建算法构建神经网络层,与第一卷积神经网络级联,在此基础上进一步级联图像处理网络即第二卷积神经网络,形成综合精细重建网络,以整体方式训练得到三维CT重建网络。
根据本公开的实施例,所述三维CT扫描为如下扫描方式之一:圆周锥束扫描、螺旋扫描、直线轨迹扫描。
根据本公开的实施例,所述第一卷积神经网络和第二卷积神经网络可以均为U型卷积神经网络,但是不限于此。
根据本公开的实施例,所述的方法还包括步骤:在对二维投影数据进行反投影操作之前,使用斜坡滤波器对二维投影数据进行滤波。
根据本公开的实施例,利用第二卷积神经网络对重建的图像进行去噪和伪影抑制以及可选的进一步的细节恢复,得到所述结果图像。
根据本公开的实施例,第一卷积神经网络中的卷积层的卷积核的一个维度为探测器像素序列,另一个维度为扫描角度,并且第一卷积神经网络中的卷积层的卷积核在探测器像素序列维度上的尺度与在扫描角度维度上的尺度是独立设置的。
根据本公开的实施例,第一卷积神经网络中的卷积层的卷积核在探测器像素序列维度上的尺度大于在扫描角度维度上的尺度。
根据本公开的实施例,第一卷积神经网络包括至少3个卷积层,每个卷积层带有一个激活函数,用于对经过卷积处理的投影数据进行非线性运算。
根据本公开的实施例,利用域转换子网络对二维投影数据进行二维解析重建的投影域到图像域的转换运算,所述域转换子网络的网络包含二维反投影或加权反投影运算层,该运算层的节点之间的权重系数由扇束圆周扫描***或者平行束圆周扫描***的几何参数来确定;所述域转换子网络的网络包含滤波层实现斜坡滤波或者希尔伯特滤波;所述域转换子网络的网络可以包含差分运算层,实现投影域数据的差分运算;所述域转换子网络可以包含重采样层,实现图像域的数据重采样。
根据本公开的实施例,使用残差方式分步训练第一卷积神经网络和第二神经网络,对三维投影数据使用近似重建方法形成三维体的逐层图像初步估计,对其进行二维投影,作为第一卷积神经网络使用残差运算的依据,第二卷积神经网络以三维体的逐层图像初步估计作为残差运算的依据。
在本公开的另一方面,提出了一种基于神经网络的三维CT图像重建设备,包括:CT扫描装置,对被检查对象进行三维CT扫描,得到三维投影数据;处理器,配置为:利用第一卷积神经网络对三维投影数据进行处理,对三维体得到每层独立的二维投影数据,其中,第一卷积神经网络包括多个卷积层;以及对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作,按层得到重建的图像,形成三维体图像。
根据本公开的实施例,所述处理器按照二维解析重建算法构建神经网络层,与第一卷积神经网络级联,形成综合重建网络,以整体方式训练得到三维CT重建网络。
根据本公开的实施例,所述处理器按照二维解析重建算法构建神经网络层,与第一卷积神经网络级联,在此基础上进一步级联图像处理网络即第二卷积神经网络,形成综合精细重建网络,以整体方式训练得到三维CT重建网络。
根据本公开的实施例,所述三维CT扫描为如下扫描方式之一:圆周锥束扫描、螺旋扫描、直线轨迹扫描。
根据本公开的实施例,所述处理器还配置为:使用残差方式分部训练第一卷积神经网络和第二神经网络,对三维投影数据使用近似重建方法形成三维体的逐层图像初步估计,对其进行二维投影,作为第一卷积神经网络使用残差运算的依据,第二卷积神经网络以三维体的逐层图像初步估计作为残差运算的依据。
在本公开的再一方面,提出了一种计算机可读介质,存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:利用第一卷积神经网络对三维投影数据进行处理,对三维体得到每层独立的二维投影数据,其中,第一卷积神经网络包括多个卷积层;以及对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作,按层得到重建的图像,形成三维体图像。
利用本公开上述实施例的方案,能够重建得到质量更高的CT图像。
附图说明
为了更好地理解本发明,将根据以下附图对本发明进行详细描述:
图1示出了本公开一个实施例的CT设备的结构示意图;
图2是如图1所示的CT设备中控制与数据处理装置的结构示意图;
图3示出了根据本公开实施例的中三维投影数据的例子;
图4示出了根据本公开实施例中的二维投影数据(正弦图)的例子;
图5示出了根据本公开一个实施例的卷积神经网络的整体结构示意图;
图6是描述如图5所示的神经网络架构中各个模块的具体操作过程的示意图;
图7A、图7B和图7C示出了根据本公开实施例的设备中使用的滤波器核的尺寸示意图;
图8是描述根据本公开的实施例的CT图像重建方法的示意性流程图;以及
图9示出了根据本公开另一实施例的实现螺旋CT扫描的扫描装置的示意图。
具体实施方式
下面将详细描述本发明的具体实施例,应当注意,这里描述的实施例只用于举例说明,并不用于限制本发明。在以下描述中,为了提供对本发明的透彻理解,阐述了大量特定细节。然而,对于本领域普通技术人员显而易见的是:不必采用这些特定细节来实行本发明。在其他实例中,为了避免混淆本发明,未具体描述公知的结构、材料或方法。
在整个说明书中,对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着:结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此,在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外,可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外,本领域普通技术人员应当理解,这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
鉴于现有技术中的问题,本公开的实施例提出了一种基于神经网络的三维CT图像重建方法。首先,对被检查对象进行三维CT扫描,例如圆周锥束扫描/螺旋扫描/直线轨迹扫描,得到三维投影数据。然后,利用第一卷积神经网络对三维投影数据进行处理,对三维体得到每层独立的二维投影数据,其中,第一卷积神经网络包括多个卷积层。接着,对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作(例如二维解析重建滤波反投影操作),按层得到重建的图像,形成三维体图像。利用本公开上述实施例的方案,能够得到质量更高的重建图像,尤其是在锥束扫描的情况下,可以消除锥束伪影。
图1示出了本公开一个实施例的CT设备的结构示意图。如图1所示,根据本实施例的CT设备包括X射线源10、机械运动装置50、探测器和数据采集***20,以及控制和数据处理装置60,对被检查对象40进行三维CT扫描,例如圆周锥束扫描/螺旋扫描/直线轨迹扫描,然后进行数据处理,例如神经网络的训练和利用训练后的网络重建图像。
X射线源10例如为X光机,根据成像的分辨率选择合适的X光机焦点尺寸。在其他实施例中也可以不使用X光机,而是使用直线加速器等产生X射线束。
机械运动装置50包括载物台和机架以及控制***等。载物台可平移以调整旋转中心的位置,机架可平移使X射线源(X光机)10、探测器和旋转中心三者对准。本实施例中按照旋转载物台、固定机架的圆周锥束扫描或者螺旋扫描进行描述。由于载物台与机架的运动属于相对运动,也可采用载物台静止、机架旋转的方式实现本实施例的方法。
探测器及数据采集***20包括X射线探测器和数据采集电路等。X射线探测器可以使用固体探测器,也可以使用气体探测器或者其他探测器,本公开的实施例不限于此。数据采集电路包括读出电路、采集触发电路及数据传输电路等。
控制和数据处理装置60例如包括安装有控制程序和数据处理程序的计算机设备,负责完成CT***运行过程的控制,包括机械转动、电气控制、安全联锁控制等,训练神经网络,并且利用训练的神经网络从投影数据重建CT图像等。
图2示出了如图1所示的控制和数据处理设备200的结构示意图。如图2所示,探测器及数据采集***20采集得到的数据通过接口单元270和总线280存储在存储设备210中。只读存储器(ROM)220中存储有计算机数据处理器的配置信息以及程序。随机存取存储器(RAM)230用于在处理器250工作过程中暂存各种数据。另外,存储设备210中还存储有用于进行数据处理的计算机程序,例如训练神经网络的程序和重建CT图像的程序等等。内部总线280连接上述的存储设备210、只读存储器220、随机存取存储器230、输入装置240、处理器250、显示设备260和接口单元270。
在用户通过诸如键盘和鼠标之类的输入装置240输入的操作命令后,计算机程序的指令代码命令处理器250执行训练神经网络的算法和/或重建CT图像的算法,在得到重建结果之后,将其显示在诸如LCD显示器之类的显示设备260上,或者直接以诸如打印之类硬拷贝的形式输出处理结果。
根据本公开的实施例,利用上述设备对被检查对象进行三维CT扫描,得到三维投影数据,如图3所示。三维投影数据可以呈现在由角度方向、探测器行数和探测器行方向构成的三维空间中。如图3所述三维投影数据包括A1、A2、A3、A4、A5……等多个二维数据表示。本发明实施例中控制设备的处理器250利用训练的卷积神经网络对三维投影数据进行处理,可以将这样的三维投影数据处理成适合反投影操作的二维投影数据,例如在圆周扇束扫描下或者是平行束扫描下的投影数据。具体来说,将三维投影数据A1、A2、A3、A4、A5……转换成逐层独立的二维投影数据A,然后对每层二维投影数据A进行二维滤波反投影操作,按层得到重建的图像,形成三维体图像。
图4示出了根据本公开的实施例得到的二维投影数据的例子。如图4所示的正弦图的横轴方向表示探测器像素序列(例如从1到256),而纵轴表示角度(例如从1度到360度)。控制设备中的处理器250执行重建程序,对二维投影数据进行反投影操作,得到重建的图像,并进一步对重建图像进行处理,得到最终图像。例如,利用训练的卷积神经网络处理重建的图像,例如对图像域的数据进行去噪去伪影处理,得到质量更高的结果图像。
在本公开的实施例中,在投影域利用训练的卷积神经网络对三维投影数据进行处理,得到逐层独立的二维投影数据,然后按层进行二维卷积反投影操作来重建相应层的CT图像。卷积神经网络可以包括卷积层、池化、和全连接层。卷积层识别输入数据集合的特性表征,每个卷积层带一个非线性激活函数运算。池化层精炼对特征的表示,典型的操作包括平均池化和最大化池化。一层或多层的全连接层实现高阶的信号非线性综合运算,全连接层也带非线性激活函数。常用的非线性激活函数有Sigmoid、Tanh、ReLU等等。
图5示出了根据本公开一个实施例的卷积神经网络的整体结构示意图。如图5所示,根据本公开实施例的卷积神经网络包括投影域子网络510、域转换子网络520和图像域子网络530。三个子网络分别解决了投影域从三维空间投影到二维平面内投影的转换,投影到图像的域转换,图像域优化的作用,三部分网络各有其实现的功能,同时又通过整体的目标函数互相关联。
如图5所示,投影域子网络510可以对三维投影数据进行处理,得到二维投影数据,其中,第一卷积神经网络包括多个卷积层。该三维投影数据是对被检查对象进行三维CT扫描所得到的。
例如,投影域子网络510以被检查对象的三维投影数据作为输入,通过若干层卷积神经网络的作用,按层输出物体的二维扇束(或平行束)投影数据。该部分网络旨在通过卷积核来提取出原始的锥束CT投影数据的特征,从而估计按照不同截面互相独立的扇束(或平行束)投影,主要完成将三维投影的高复杂度问题简化为二维平面内投影,从而简化后面的重建问题。三维重建所需的资源和计算量远远大于分层二维平面内的重建。
根据本公开的实施例,利用域转换子网络520对二维投影数据进行二维解析重建的投影域到图像域的转换运算。该述域转换子网络520的网络包含二维反投影或加权反投影运算层,该运算层的节点之间的权重系数由扇束圆周扫描***或者平行束圆周扫描***的几何参数来确定。域转换子网络520的网络可以包含滤波层实现斜坡滤波或者希尔伯特滤波。域转换子网络520的网络可以包含差分运算层,实现投影域数据的差分运算。另外,域转换子网络520可以包含重采样层,实现图像域的数据重采样。
域转换子网络520按层(切片)对二维投影数据进行反投影操作,得到重建的图像。在本实施例中,按照二维滤波反投影算法构建域转换子网络520,即神经网络层,它与投影域子网络510(第一卷积神经网络)级联,形成综合重建网络,以整体方式训练得到三维CT重建网络。例如,域转换子网络520可以实现从CT二维扇束(或平行束)投影域数据到图像域切片的运算,网络节点间的权重系数可以由二维扇束(或平行束)CT扫描关系中的扫描几何确定。此层的输入为投影域子网络输出的二维投影数据(例如,扇束投影数据),输出为初步的CT重建图像。由于投影域子网络510已经把重建问题转化到二维,此部分的域转换网络520可以直接使用解析二维重建的算子完成。
此外,也可以按照二维滤波反投影算法构建神经网络层,与第一卷积神经网络级联,在此基础上进一步级联图像处理网络即第二卷积神经网络,形成综合精细重建网络,以整体方式训练得到三维CT重建网络。
例如,图像域子网络530可以对重建的图像进行处理,得到结果图像。例如,这部分网络以前述域转换子网络520输出的初步CT重建图像为输入,经过若干卷积神经网络作用,采集数据在图像域的特征,并以目标图像为学习目标,对图像特征进行抑制、放大和相互耦合,从而达到在图像域优化图像质量的作用。但是本领域的技术人员可以理解,这部分网络并不是必要的。
根据本公开的实施例,可以定义总体网络的代价函数,例如可以使用但不限于领域内常用的l-范数||f-f*||l等。其中f={f1,f2,…,fn}为输出图像,目标图像为f*
根据本公开的实施例,可以建立基本的扫描物体数学模型,按照实际***建模生成CT仿真数据。然后,使用多个扫描物体的CT仿真数据作为网络输入,使用扫描物体的图像真值作为标记,训练网络参数。在实际***上扫描物体,获得CT扫描数据,输入到此网络获得初步的重建。可以对这些初步重建结果进行针对性的图像处理,例如去噪和伪影抑制以及可选的进一步的细节恢复。使用处理后的图像作为标记,进一步训练网络,达到网络参数的细化微调。
例如,使用残差方式分部训练投影域子网络510和图像域子网络530,对三维投影数据使用近似重建方法形成三维体的逐层图像初步估计,对其进行二维投影,作为投影域子网络510使用残差运算的依据,图像域子网络530以三维体的逐层图像初步估计作为残差运算的依据。
以锥束圆轨道CT成像为例,记CT三维扫描得到的投影数据为
Figure BDA0001717832090000091
P是一个C*V行,R列的矩阵,其中,C表示探测器的列数,R表示探测器的行数,V表示探测器采集到的投影数。也就是将三维投影数据组织成矩阵形式。对于待重建的某一层图像,其投影在探测器上对应于R*行数据,记这部分低剂量(第一剂量)和普通剂量(第二剂量)的投影数据为PL和PN,被成像物体的线衰减系数分布在扇束投影条件下的投影数据为p,
Figure BDA0001717832090000102
在训练网络前,可以先用解析重建方法如FDK方法重建出输入数据对应的该层图像
Figure BDA0001717832090000103
用H表示扇束扫描的***矩阵,所以有
Figure BDA0001717832090000104
如图6所示,用一个U-net型神经网络结构作为投影域子网络510,该部分网络以低剂量PL作为输入,此部分网络作用是估计某一二维截面内线衰减系数的扇束投影p。这部分网络由多个卷积层组成,卷积层配置K个尺度的2维卷积核。对于某一个尺度的2维卷积核有两个维度,此处定义第一维度为探测器方向,第二维度为扫描角度方向。两个维度的卷积核长度不必相同,例如取3*1,3*5,7*3的卷积核,分别如图7A、图7B和图7C所示。每个尺度可以设置多个卷积核。卷积层带一个激活函数。设各个卷积尺度下的卷积核个数为:{k1,k2,…,kK},此层共形成K=k1+k2+…+kK个正弦图。所有的卷积核为待定的网络参数。在网络的池化部分,卷积层之间经过池化,图像尺度逐层减小,在上采样部分,卷积层之间通过上采样,逐层恢复图像尺度。为保持图像分辨率,池化部分和上采样部分同等尺度的图像进行拼接。用φP-net(P)表示投影域子网络对应的算子,最后一层卷积层的输出结果使用残差方式:
Figure BDA0001717832090000105
域转换子网络520对二维图像进行等效于二维解析重建的投影域到图像域转换算子操作,例如采用与扇束CT解析重建同样的计算方式,通过对
Figure BDA0001717832090000106
进行投影域到图像域的逆向计算,得到图像域输出。使用领域内已有的Siddon或其它方法计算投影矩阵,以此***矩阵的元素对应解析重建连接层的连接权重。以FBP扇束解析重建为例,
Figure BDA0001717832090000107
这里w完成投影域数据的加权,F对应于一个斜坡滤波卷积运算,
Figure BDA0001717832090000108
完成带权重的反投影。
图像域网络530采用一个类似第一部分的U-net型神经网络结构,该部分网络以
Figure BDA0001717832090000109
作为输入,作用是实现图像域优化。类似于第一部分网络,在前半部分,卷积层之间经过池化,图像尺度逐层减小,在后半部分,卷积层之间通过上采样,逐层恢复图像尺度。此部分网络依然采用残差训练方式,即最后一层卷积层的输出结果加上
Figure BDA0001717832090000111
等于对二维重建图像的估计
Figure BDA0001717832090000112
定义代价函数为2范数:
Figure BDA0001717832090000113
其中k为训练样本索引号,μ*为图像标签。
鉴于实际应用无法获得真值,可以使用正常剂量完备数据的FDK重建结果作为标签即
Figure BDA0001717832090000114
如有其他途径获得高质量图像,也可以用其他标签。
在本实施实例中,可以在投影域子网络510和图像域子网络520均选择3*3的卷积核,各设置7层卷积层,池化和上采样均采用4*4的采样间隔。选择ReLu作为激活函数。可以使用100个仿真数据进行训练。
例如,利用U型卷积神经网络处理重建的图像,可以得到不同尺度的特征图,并且对不同尺度的特征图进行合并,可以得到结果图像。更具体地,利用上采样操作逐级融合多个尺度下的特征图,并最终得到被检查物体的结果图像。例如,图像域网络530在估计投影解析重建的基础之上,进一步应用先验知识进行去伪影。图像域网络530在本实例中采用U型网络设计,200*200的重建图像经过4次池化,逐步缩小特征图尺寸从而增大接受域学习图像全局特征。随后逐步扩展,并与同尺寸没有降采样的特征图合并,用于防止因降采样导致信息损失,最终再次恢复200*200尺寸经过网络处理后最终重建图像。图像域在不同层级卷积核大小均是3*3,图像在降采样过程中,随着特征图尺寸减小,特征图数量逐渐增多,在升采样过程中,特征图数量再逐渐减少。
虽然图6所示为U型网络,但是本领域的技术人员可想到用其他形式的网络也能实现本公开的技术方案。
根据本公开的实施例,投影域网络510和图像域网络530的所有卷积核为待定的网络参数,可随机初始化,也可使用其它途径的预训练结果,在本网络训练过程中更新。此外,该网络分别对输入数据在投影域和投影域进行处理,使待优化的目标函数(在深度学习领域常称为损失函数)达到最优结果。由于在投影域和图像域相邻像素所具有的几何关系不同,因此投影域卷积层和图像域卷积层可以起到互补作用。
图8是描述根据本公开的实施例的方法的示意性流程图。如图8所示,在步骤S810,对被检查对象进行三维CT扫描,例如圆周锥束扫描/螺旋扫描/直线轨迹扫描,得到三维投影数据。这里的CT扫描可以单能的也可以是多能的,本公开的实施例不限于此。
在步骤S820,利用第一卷积神经网络(如图6所示的U型网络)在投影域对三维投影数据进行处理,对三维体得到每层独立的二维投影数据。例如,利用训练得到的卷积神经网络对锥束扫描得到的三维投影数据进行处理,得到处理后的扇束扫描下的正弦图,如图5所示。然后可选地,使用斜坡滤波器对二维投影数据进行滤波。例如,使用RL斜坡滤波器对投影数据进行滤波。本领域技术人员可以理解,这里可以使用其他的滤波器,或者不进行滤波。
在步骤S830,对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作,按层得到重建的CT图像,形成三维体图像。
如上所述,作为另一实施例,还可以在得到CT图像之后再进行后处理,例如利用第二卷积神经网络(如图6所示的U型网络)对重建的CT图像进行处理,得到结果图像。例如这里对重建的图像进行局部去噪和伪影抑制、细节的进一步恢复处理,或者其他的图像处理操作,例如分割、边缘增强和均衡等等。
虽然上面的描述主要是针对圆周锥束扫描来描述的,但是本领域的技术人员能够理解,上述方案可以用于螺旋扫描的情况,如图9所示。
本发明上述实施例的方法结合深度学习的优势和CT成像问题的特殊性,设计针对性的特殊网络架构,结合仿真和实际数据,训练该网络,从而一方面能够可靠、有效、全面地覆盖所有***信息和被成像对象的集合信息,准确地重建物体图像,抑制低剂量CT带来的噪声影响和锥形束带来的伪影和数值偏差。虽然训练过程需要大量数据和多次迭代运算,但是实际重建过程不需要迭代,重建所需计算量与解析重建方法可比,远快于迭代重建算法。本方法可以灵活适用于不同的CT扫描模式和***架构,可用于医学诊断、工业无损检测和安检领域。
以上的详细描述通过使用示意图、流程图和/或示例,已经阐述了重建CT图像的方法和设备的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下,本领域技术人员应理解,这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中,本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而,本领域技术人员应认识到,这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中,实现为在一台或多台计算机上运行的一个或多个计算机程序(例如,实现为在一台或多台计算机***上运行的一个或多个程序),实现为在一个或多个处理器上运行的一个或多个程序(例如,实现为在一个或多个微处理器上运行的一个或多个程序),实现为固件,或者实质上实现为上述方式的任意组合,并且本领域技术人员根据本公开,将具备设计电路和/或写入软件和/或固件代码的能力。此外,本领域技术人员将认识到,本公开所述主题的机制能够作为多种形式的程序产品进行分发,并且无论实际用来执行分发的信号承载介质的具体类型如何,本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于:可记录型介质,如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等;以及传输型介质,如数字和/或模拟通信介质(例如,光纤光缆、波导、有线通信链路、无线通信链路等)。
虽然已参照几个典型实施例描述了本发明,但应当理解,所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质,所以应当理解,上述实施例不限于任何前述的细节,而应在随附权利要求所限定的精神和范围内广泛地解释,因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (18)

1.一种基于神经网络的三维CT图像重建方法,包括步骤:
对被检查对象进行三维CT扫描,得到三维投影数据;
利用第一卷积神经网络对三维投影数据进行处理,对三维体得到每层独立的二维投影数据,其中,第一卷积神经网络包括多个卷积层;以及
对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作,按层得到重建的图像,形成三维体图像。
2.如权利要求1所述的方法,其中按照二维解析重建算法构建神经网络层,与第一卷积神经网络级联,形成综合重建网络,以整体方式训练得到三维CT重建网络。
3.如权利要求2所述的方法,其中按照二维解析重建算法构建神经网络层,与第一卷积神经网络级联,在此基础上进一步级联图像处理网络即第二卷积神经网络,形成综合精细重建网络,以整体方式训练得到三维CT重建网络。
4.如权利要求1所述的方法,其中所述三维CT扫描为如下扫描方式之一:圆周锥束扫描、螺旋扫描、直线轨迹扫描。
5.如权利要求3所述的方法,其中所述第一卷积神经网络和第二卷积神经网络均为卷积神经网络。
6.如权利要求3所述的方法,还包括步骤:
在对二维投影数据进行反投影操作之前,使用斜坡滤波器对二维投影数据进行滤波。
7.如权利要求3所述的方法,其中利用第二卷积神经网络对重建的图像进行去噪和伪影抑制,以及进一步的细节恢复,得到所述结果图像。
8.如权利要求1所述的方法,其中第一卷积神经网络中的卷积层的卷积核的一个维度为探测器像素序列,另一个维度为扫描角度,并且第一卷积神经网络中的卷积层的卷积核在探测器像素序列维度上的尺度与在扫描角度维度上的尺度是独立设置的。
9.如权利要求8所述的方法,其中,第一卷积神经网络中的卷积层的卷积核在探测器像素序列维度上的尺度大于在扫描角度维度上的尺度。
10.如权利要求1所述的方法,其中,第一卷积神经网络包括至少3个卷积层,每个卷积层带有一个激活函数,用于对经过卷积处理的投影数据进行非线性运算。
11.如权利要求1所述的方法,其中,利用域转换子网络对二维投影数据进行二维解析重建的投影域到图像域的转换运算,所述域转换子网络的网络包含二维反投影或加权反投影运算层,该运算层的节点之间的权重系数由扇束圆周扫描***或者平行束圆周扫描***的几何参数来确定;所述域转换子网络的网络包含滤波层实现斜坡滤波或者希尔伯特滤波;所述域转换子网络的网络可以包含差分运算层,实现投影域数据的差分运算;所述域转换子网络可以包含重采样层,实现图像域的数据重采样。
12.如权利要求1所述的方法,其中使用残差方式分部训练第一卷积神经网络和第二神经网络,对三维投影数据使用近似重建方法形成三维体的逐层图像初步估计,对其进行二维投影,作为第一卷积神经网络使用残差运算的依据,第二卷积神经网络以三维体的逐层图像初步估计作为残差运算的依据。
13.一种基于神经网络的三维CT图像重建设备,包括:
CT扫描装置,对被检查对象进行三维CT扫描,得到三维投影数据;
处理器,配置为:
利用第一卷积神经网络对三维投影数据进行处理,对三维体得到每层独立的二维投影数据,其中,第一卷积神经网络包括多个卷积层;以及
对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作,按层得到重建的图像,形成三维体图像。
14.如权利要求13所述的设备,其中,所述处理器按照二维解析重建算法构建神经网络层,与第一卷积神经网络级联,形成综合重建网络,以整体方式训练得到三维CT重建网络。
15.如权利要求13所述的设备,其中所述处理器按照二维解析重建算法构建神经网络层,与第一卷积神经网络级联,在此基础上进一步级联图像处理网络即第二卷积神经网络,形成综合精细重建网络,以整体方式训练得到三维CT重建网络。
16.如权利要求14或15所述的设备,其中所述三维CT扫描为如下扫描方式之一:圆周锥束扫描、螺旋扫描、直线轨迹扫描。
17.如权利要求13所述的设备,其中所述处理器还配置为:
使用残差方式分部训练第一卷积神经网络和第二神经网络,对三维投影数据使用近似重建方法形成三维体的逐层图像初步估计,对其进行二维投影,作为第一卷积神经网络使用残差运算的依据,第二卷积神经网络以三维体的逐层图像初步估计作为残差运算的依据。
18.一种计算机可读介质,存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
利用第一卷积神经网络对三维投影数据进行处理,对三维体得到每层独立的二维投影数据,其中,第一卷积神经网络包括多个卷积层;以及
对每层的二维投影数据进行等效于二维解析重建的投影域到图像域转换算子操作,按层得到重建的图像,形成三维体图像。
CN201810721039.0A 2018-06-29 2018-06-29 基于神经网络的三维ct图像重建方法和设备以及存储介质 Active CN110660123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810721039.0A CN110660123B (zh) 2018-06-29 2018-06-29 基于神经网络的三维ct图像重建方法和设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810721039.0A CN110660123B (zh) 2018-06-29 2018-06-29 基于神经网络的三维ct图像重建方法和设备以及存储介质

Publications (2)

Publication Number Publication Date
CN110660123A true CN110660123A (zh) 2020-01-07
CN110660123B CN110660123B (zh) 2021-08-31

Family

ID=69028519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810721039.0A Active CN110660123B (zh) 2018-06-29 2018-06-29 基于神经网络的三维ct图像重建方法和设备以及存储介质

Country Status (1)

Country Link
CN (1) CN110660123B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583422A (zh) * 2020-04-17 2020-08-25 清华大学 三维人体模型的启发式编辑方法及装置
CN111583389A (zh) * 2020-04-28 2020-08-25 重庆大学 一种基于cad模型的不完全扫描ct图像重建方法
CN111950705A (zh) * 2020-08-10 2020-11-17 深圳高性能医疗器械国家研究院有限公司 一种重建神经网络及其应用
CN111968167A (zh) * 2020-09-02 2020-11-20 广州海兆印丰信息科技有限公司 Ct三维定位像的图像处理方法、装置和计算机设备
CN112308764A (zh) * 2020-10-12 2021-02-02 杭州三坛医疗科技有限公司 图像配准方法及装置
CN112348936A (zh) * 2020-11-30 2021-02-09 华中科技大学 一种基于深度学习的低剂量锥束ct图像重建方法
CN112381741A (zh) * 2020-11-24 2021-02-19 佛山读图科技有限公司 基于spect数据采样与噪声特性的断层图像重建方法
CN112435341A (zh) * 2020-11-23 2021-03-02 推想医疗科技股份有限公司 三维重建网络的训练方法及装置、三维重建方法及装置
CN112509091A (zh) * 2020-12-10 2021-03-16 上海联影医疗科技股份有限公司 医学图像重建方法、装置、设备及介质
CN112529821A (zh) * 2021-02-07 2021-03-19 南京景三医疗科技有限公司 一种cpr图像伪影的去除方法
CN113223112A (zh) * 2021-06-22 2021-08-06 清华大学 广义等角探测器ct的图像解析重建方法
CN113392955A (zh) * 2021-05-11 2021-09-14 南方医科大学 基于降采样成像几何建模的ct重建神经网络结构及方法
CN113554742A (zh) * 2020-04-26 2021-10-26 上海联影医疗科技股份有限公司 一种三维图像的重建方法、装置、设备及存储介质
CN113643360A (zh) * 2020-05-11 2021-11-12 同方威视技术股份有限公司 目标物体定位方法、装置、设备、介质和程序产品
WO2021233315A1 (zh) * 2020-05-18 2021-11-25 上海联影医疗科技股份有限公司 一种图像质量优化的方法及***
CN113808111A (zh) * 2021-09-18 2021-12-17 广州幻境科技有限公司 一种医学影像的三维虚拟重构方法和***
WO2022032445A1 (zh) * 2020-08-10 2022-02-17 深圳高性能医疗器械国家研究院有限公司 一种重建神经网络及其应用
US20220189011A1 (en) * 2020-12-16 2022-06-16 Nvidia Corporation End-to-end training for a three-dimensional tomography reconstruction pipeline
CN115409835A (zh) * 2022-10-31 2022-11-29 成都浩目科技有限公司 三维成像方法、装置、电子设备、***和可读存储介质
US11890124B2 (en) 2021-02-01 2024-02-06 Medtronic Navigation, Inc. Systems and methods for low-dose AI-based imaging
CN117611750A (zh) * 2023-12-05 2024-02-27 北京思博慧医科技有限公司 三维成像模型的构建方法、装置、电子设备和存储介质
CN118196232A (zh) * 2024-05-16 2024-06-14 有方(合肥)医疗科技有限公司 锥束螺旋ct重建方法、装置、***、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101138506A (zh) * 2007-10-11 2008-03-12 上海交通大学 基于螺旋马鞍线的锥形束ct重建方法
CN102456227A (zh) * 2010-10-28 2012-05-16 清华大学 Ct图像重建方法及装置
CN103961122A (zh) * 2013-01-31 2014-08-06 通用电气公司 用于非等γ角CT***中数据转换的方法和装置
CN105447866A (zh) * 2015-11-22 2016-03-30 南方医科大学 基于卷积神经网络的x线胸片骨抑制处理方法
CN106056059A (zh) * 2016-05-20 2016-10-26 合肥工业大学 多方向slgs特征描述及性能云加权融合的人脸识别方法
CN106127686A (zh) * 2016-06-29 2016-11-16 西安电子科技大学 基于正弦域图像超分辨率提高ct重建图像分辨率的方法
CN107192726A (zh) * 2017-05-05 2017-09-22 北京航空航天大学 板壳物体快速高分辨三维锥束计算机层析成像方法及装置
US20180082443A1 (en) * 2016-09-21 2018-03-22 Realize, Inc. Anomaly detection in volumetric images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101138506A (zh) * 2007-10-11 2008-03-12 上海交通大学 基于螺旋马鞍线的锥形束ct重建方法
CN102456227A (zh) * 2010-10-28 2012-05-16 清华大学 Ct图像重建方法及装置
CN103961122A (zh) * 2013-01-31 2014-08-06 通用电气公司 用于非等γ角CT***中数据转换的方法和装置
CN105447866A (zh) * 2015-11-22 2016-03-30 南方医科大学 基于卷积神经网络的x线胸片骨抑制处理方法
CN106056059A (zh) * 2016-05-20 2016-10-26 合肥工业大学 多方向slgs特征描述及性能云加权融合的人脸识别方法
CN106127686A (zh) * 2016-06-29 2016-11-16 西安电子科技大学 基于正弦域图像超分辨率提高ct重建图像分辨率的方法
US20180082443A1 (en) * 2016-09-21 2018-03-22 Realize, Inc. Anomaly detection in volumetric images
CN107192726A (zh) * 2017-05-05 2017-09-22 北京航空航天大学 板壳物体快速高分辨三维锥束计算机层析成像方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DUFAN WU ET AL.: "A Cascaded Convolutional Nerual Network for X-ray Low-dose CT Image Denoising", 《ARXIV》 *
JI ZHAO ET AL: "Few-View CT Reconstruction Method Based on Deep Learning", 《IEEE》 *
张慧娟: "基于卷积神经网络的低剂量CT图像处理方法", 《中国优秀硕士学位论文全文数据库信息科技辑(月刊)》 *
蔡文涛: "基于平板成像器件的三维CT重建算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑(月刊)》 *
邹云鹏: "螺旋锥束CT三维图像重建算法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑(月刊)》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583422A (zh) * 2020-04-17 2020-08-25 清华大学 三维人体模型的启发式编辑方法及装置
CN111583422B (zh) * 2020-04-17 2023-03-28 清华大学 三维人体模型的启发式编辑方法及装置
CN113554742A (zh) * 2020-04-26 2021-10-26 上海联影医疗科技股份有限公司 一种三维图像的重建方法、装置、设备及存储介质
CN113554742B (zh) * 2020-04-26 2024-02-02 上海联影医疗科技股份有限公司 一种三维图像的重建方法、装置、设备及存储介质
CN111583389A (zh) * 2020-04-28 2020-08-25 重庆大学 一种基于cad模型的不完全扫描ct图像重建方法
CN111583389B (zh) * 2020-04-28 2023-05-23 重庆大学 一种基于cad模型的不完全扫描ct图像重建方法
CN113643360A (zh) * 2020-05-11 2021-11-12 同方威视技术股份有限公司 目标物体定位方法、装置、设备、介质和程序产品
WO2021233315A1 (zh) * 2020-05-18 2021-11-25 上海联影医疗科技股份有限公司 一种图像质量优化的方法及***
CN111950705A (zh) * 2020-08-10 2020-11-17 深圳高性能医疗器械国家研究院有限公司 一种重建神经网络及其应用
WO2022032445A1 (zh) * 2020-08-10 2022-02-17 深圳高性能医疗器械国家研究院有限公司 一种重建神经网络及其应用
CN111968167B (zh) * 2020-09-02 2023-12-26 广州海兆印丰信息科技有限公司 Ct三维定位像的图像处理方法、装置和计算机设备
CN111968167A (zh) * 2020-09-02 2020-11-20 广州海兆印丰信息科技有限公司 Ct三维定位像的图像处理方法、装置和计算机设备
CN112308764A (zh) * 2020-10-12 2021-02-02 杭州三坛医疗科技有限公司 图像配准方法及装置
CN112435341A (zh) * 2020-11-23 2021-03-02 推想医疗科技股份有限公司 三维重建网络的训练方法及装置、三维重建方法及装置
CN112381741B (zh) * 2020-11-24 2021-07-16 佛山读图科技有限公司 基于spect数据采样与噪声特性的断层图像重建方法
CN112381741A (zh) * 2020-11-24 2021-02-19 佛山读图科技有限公司 基于spect数据采样与噪声特性的断层图像重建方法
CN112348936B (zh) * 2020-11-30 2023-04-18 华中科技大学 一种基于深度学习的低剂量锥束ct图像重建方法
CN112348936A (zh) * 2020-11-30 2021-02-09 华中科技大学 一种基于深度学习的低剂量锥束ct图像重建方法
CN112509091A (zh) * 2020-12-10 2021-03-16 上海联影医疗科技股份有限公司 医学图像重建方法、装置、设备及介质
CN112509091B (zh) * 2020-12-10 2023-11-14 上海联影医疗科技股份有限公司 医学图像重建方法、装置、设备及介质
US20220189011A1 (en) * 2020-12-16 2022-06-16 Nvidia Corporation End-to-end training for a three-dimensional tomography reconstruction pipeline
US11890124B2 (en) 2021-02-01 2024-02-06 Medtronic Navigation, Inc. Systems and methods for low-dose AI-based imaging
CN112529821A (zh) * 2021-02-07 2021-03-19 南京景三医疗科技有限公司 一种cpr图像伪影的去除方法
CN112529821B (zh) * 2021-02-07 2021-05-14 南京景三医疗科技有限公司 一种cpr图像伪影的去除方法
CN113392955A (zh) * 2021-05-11 2021-09-14 南方医科大学 基于降采样成像几何建模的ct重建神经网络结构及方法
CN113223112B (zh) * 2021-06-22 2022-07-15 清华大学 广义等角探测器ct的图像解析重建方法
CN113223112A (zh) * 2021-06-22 2021-08-06 清华大学 广义等角探测器ct的图像解析重建方法
CN113808111A (zh) * 2021-09-18 2021-12-17 广州幻境科技有限公司 一种医学影像的三维虚拟重构方法和***
CN115409835B (zh) * 2022-10-31 2023-02-17 成都浩目科技有限公司 三维成像方法、装置、电子设备、***和可读存储介质
CN115409835A (zh) * 2022-10-31 2022-11-29 成都浩目科技有限公司 三维成像方法、装置、电子设备、***和可读存储介质
CN117611750A (zh) * 2023-12-05 2024-02-27 北京思博慧医科技有限公司 三维成像模型的构建方法、装置、电子设备和存储介质
CN118196232A (zh) * 2024-05-16 2024-06-14 有方(合肥)医疗科技有限公司 锥束螺旋ct重建方法、装置、***、电子设备及存储介质

Also Published As

Publication number Publication date
CN110660123B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN110660123B (zh) 基于神经网络的三维ct图像重建方法和设备以及存储介质
CN110047113B (zh) 神经网络训练方法和设备、图像处理方法和设备和存储介质
CN109300166B (zh) 重建ct图像的方法和设备以及存储介质
CN109300167B (zh) 重建ct图像的方法和设备以及存储介质
CN110544282B (zh) 基于神经网络的三维多能谱ct重建方法和设备及存储介质
JP7187476B2 (ja) 深層学習に基づくトモグラフィ再構成
EP3608877B1 (en) Iterative image reconstruction framework
Dong et al. A deep learning reconstruction framework for X-ray computed tomography with incomplete data
CN109509235B (zh) Ct图像的重建方法、装置、设备及存储介质
CN112085829A (zh) 基于神经网络的螺旋ct图像重建方法和设备及存储介质
US7916828B1 (en) Method for image construction
Sunnegårdh et al. Regularized iterative weighted filtered backprojection for helical cone‐beam CT
KR20190135618A (ko) 뉴럴 네트워크를 이용한 내부 전산단층 촬영 영상 처리 방법 및 그 장치
Kazantsev et al. A novel tomographic reconstruction method based on the robust Student's t function for suppressing data outliers
CN110751701A (zh) 一种基于深度学习的x射线吸收衬度计算机断层成像不完备数据重建方法
Lv et al. A back‐projection‐and‐filtering‐like (BPF‐like) reconstruction method with the deep learning filtration from listmode data in TOF‐PET
Langet et al. Compressed‐sensing‐based content‐driven hierarchical reconstruction: Theory and application to C‐arm cone‐beam tomography
Sunnegårdh Iterative filtered backprojection methods for helical cone-beam CT
CN115239836A (zh) 一种基于端到端神经网络的极端稀疏视角ct重建方法
KR102329938B1 (ko) 뉴럴 네트워크를 이용한 콘빔 단층촬영 영상 처리 방법 및 그 장치
Abbas et al. PET image reconstruction and denoising on hexagonal lattices
Yang et al. Complex artefact suppression for sparse reconstruction based on compensation approach in X‐ray computed tomography
Hamoud et al. Beyond Local Processing: Adapting CNNs for CT Reconstruction
Freitas et al. The formation of computed tomography images from compressed sampled one-dimensional reconstructions
Yang et al. High quality x-ray imaging based on cumulation of forward projection of computed tomography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant