CN111968130B - 脑部造影图像处理方法、装置、介质及电子设备 - Google Patents

脑部造影图像处理方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN111968130B
CN111968130B CN202010719674.2A CN202010719674A CN111968130B CN 111968130 B CN111968130 B CN 111968130B CN 202010719674 A CN202010719674 A CN 202010719674A CN 111968130 B CN111968130 B CN 111968130B
Authority
CN
China
Prior art keywords
brain
image
partition
region
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010719674.2A
Other languages
English (en)
Other versions
CN111968130A (zh
Inventor
杨俊�
冯莹莹
马丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Original Assignee
Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd filed Critical Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Priority to CN202010719674.2A priority Critical patent/CN111968130B/zh
Publication of CN111968130A publication Critical patent/CN111968130A/zh
Application granted granted Critical
Publication of CN111968130B publication Critical patent/CN111968130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种脑部造影图像处理方法、装置、介质及电子设备,包括:获取脑部造影图像;对脑部造影图像进行脑部分区,得到脑部分区图像;对脑部分区图像中的每个分区的边缘分别进行平滑处理,以得到目标脑部分区图像;从目标脑部分区图像中识别出感兴趣区域。这样,能够通过对获取到的脑部造影图像先进行分区,然后分别对分区图像进行感兴趣区域的识别,整个处理方法能够自动化执行,无需人工操作,也无需采用人工方法进行视觉评估,降低了感兴趣区域识别难度和成本,也避免了由于人工方法进行视觉评估而导致的耗时长、效率低,识别结果不一致,从而影响判断结果的可靠性的问题。

Description

脑部造影图像处理方法、装置、介质及电子设备
技术领域
本公开涉及计算机领域,具体地,涉及一种脑部造影图像处理方法、装置、介质及电子设备。
背景技术
在评估缺血性脑卒中的严重程度及预后、指导临床治疗方面,神经影像检查具有重要的临床作用。急性缺血性脑卒中发病几小时内,在头颅非增强CT(non-contrast CT,NCCT,即平扫CT)扫描影像上或将出现局部低密度影。该低密度影继发于局部脑组织缺血而导致的含水量改变。这种早期缺血性改变代表脑组织的细胞毒性水肿,或为不可逆性损伤。为准确评价早期缺血性改变,Barber等制定了Alberta卒中项目早期CT评分(AlbertaStroke Program Early CT Score,ASPECTS),是基于NCCT影像的脑缺血程度量表,旨在测量急性卒中情况下大脑中动脉区域内早期缺血变化的程度和分布区域。根据ASPECTS,将大脑划分成为了在核团层面和核团以上层面的不同区域,其中,核团层面的区域包括:C区=尾状核,L区=豆状核,IC区=内囊,I区=岛叶,MCA区=大脑中动脉,M1区=MCA前部皮质,M2区=岛叶侧面MCA皮质,M3区=MCA后部皮质,核团以上层面的区域包括:M4区=MCA前部皮质,M5区=MCA侧部皮质,M6区=MCA后部皮质。
由于,平扫CT的ASPECTS的敏感度低、且需要丰富医学影像经验视觉评估,若采用CT血管增强的源影像(CT angiography source image,CTA-SI)或磁共振血管造影(magnetic resonance angiography,MRA)对头颅进行扫描以判断大脑的缺血情况,又会出现由于人工方法视觉评估而导致的耗时长、效率低,且存在一致性差异,影响判断结果的可靠性的问题。
发明内容
本公开的目的是提供一种脑部造影图像处理方法、装置、介质及电子设备,能够准确地从脑部的造影图像中识别出感兴趣的区域。
为了实现上述目的,本公开提供一种脑部造影图像处理方法,所述方法包括:
获取脑部造影图像;
对所述脑部造影图像进行脑部分区,得到脑部分区图像;
对所述脑部分区图像中的每个分区的边缘分别进行平滑处理,以得到目标脑部分区图像;
从所述目标脑部分区图像中识别出感兴趣区域。
可选地,所述对所述脑部造影图像进行脑部分区,得到脑部分区图像包括:
根据脑分区模板图像,通过脑部分区模型对所述脑部造影图像进行脑部分区,得到所述脑部分区图像。
可选地,所述根据脑分区模板图像,通过脑部分区模型对所述脑部造影图像进行脑部分区,得到所述脑部分区图像包括:
根据所述脑分区模板图像对所述脑部造影图像进行刚性配准;
从配准后得到的所述脑部造影图像中移除颅骨区域和脑脊液区域,得到脑部造影子图像;
获取脑分区模板子图像,所述脑分区模板子图像为从所述脑分区模板图像中移除颅骨区域和脑脊液区域后得到的图像;
将所述脑部造影子图像和所述脑分区模板子图像输入所述脑部分区模型,获得所述脑部分区模型输出的所述脑部分区图像。
可选地,所述脑部分区模型通过以下方式获得所述脑部分区图像:
根据所述脑分区模板子图像和所述脑部造影子图像,获取目标形变场;
通过所述目标形变场对所述脑分区模板子图像中每个分区进行形变,以得到所述脑部分区图像。
可选地,用于训练所述脑部分区模型的损失函数为:
其中,LOSS为所述损失函数的损失值;为所述目标形变场;M为待分区的脑部造影图像样本对应的脑部分区图像样本;M'为所述脑分区模板子图像经目标形变场/>转换后的模型输出图像;D(M')和D(M)分别为M'与M的方差;N为所述脑部造影图像样本的大小;i,j,k分别为所述目标形变场/>的3个维度;Cn为待分区的脑部造影图像样本中的脑脊液图像样本的第n个数值;C'n为所述脑分区模板子图像中的脑脊液模板图像经所述目标形变场/>转换后的脑脊液输出图像的第n个数值。
可选地,所述对所述脑部分区图像中的每个分区的边缘分别进行平滑处理,以得到目标脑部分区图像包括:
遍历所述脑部分区图像中的每个分区,并根据局部最小二乘法依次对所述分区的边缘进行平滑处理,直至所述脑部分区图像中的每个分区的边缘都已经经过所述平滑处理为止。
可选地,所述目标脑部分区图像包括左侧脑部分区图像和右侧脑部分区图像,所述从所述目标脑部分区图像中识别出感兴趣区域包括:
分别计算所述左侧脑部分区图像和所述右侧脑部分区图像中,除去脑脊液区域和血管区域后的像素点信号平均强度,其中,所述左侧脑部分区图像和所述右侧脑部分区图像中像素点信号平均强度较高的作为第一脑部分区图像,而像素点信号平均强度较低的作为第二脑部分区图像;
根据所述第一脑部分区图像的所述像素点信号平均强度,确定强度阈值,并将所述第二脑部分区图像中像素点信号强度低于所述强度阈值的像素点标记为参考点;
将所述第二脑部分区图像中每个分区中,由所述参考点构成的最大连通区域识别为所述感兴趣区域。
本公开还提供一种脑部造影图像处理装置,所述装置包括:
获取模块,用于获取脑部造影图像;
分区模块,用于对所述脑部造影图像进行脑部分区,得到脑部分区图像;
平滑模块,用于对所述脑部分区图像中的每个分区的边缘分别进行平滑处理,以得到目标脑部分区图像;
识别模块,用于从所述目标脑部分区图像中识别出感兴趣区域。
可选地,所述分区模块还用于:
根据脑分区模板图像,通过脑部分区模型对所述脑部造影图像进行脑部分区,得到所述脑部分区图像。
可选地,所述分区模块包括:
配准子模块,用于根据所述脑分区模板图像对所述脑部造影图像进行刚性配准;
移除子模块,用于从配准后得到的所述脑部造影图像中移除颅骨区域和脑脊液区域,得到脑部造影子图像;
获取子模块,用于获取脑分区模板子图像,所述脑分区模板子图像为从所述脑分区模板图像中移除颅骨区域和脑脊液区域后得到的图像;
分区子模块,用于将所述脑部造影子图像和所述脑分区模板子图像输入所述脑部分区模型,获得所述脑部分区模型输出的所述脑部分区图像。
可选地,所述脑部分区模型通过以下方式获得所述脑部分区图像:
根据所述脑分区模板子图像和所述脑部造影子图像,获取目标形变场;
通过所述目标形变场对所述脑分区模板子图像中每个分区进行形变,以得到所述脑部分区图像。
可选地,用于训练所述脑部分区模型的损失函数为:
其中,LOSS为所述损失函数的损失值;为所述目标形变场;M为待分区的脑部造影图像样本对应的脑部分区图像样本;M'为所述脑分区模板子图像经目标形变场/>转换后的模型输出图像;D(M')和D(M)分别为M'与M的方差;N为所述脑部造影图像样本的大小;i,j,k分别为所述目标形变场/>的3个维度;Cn为待分区的脑部造影图像样本中脑脊液图像样本的第n个数值;C'n为所述脑分区模板子图像中脑脊液模板图像经所述目标形变场/>转换后的脑脊液输出图像的第n个数值。
可选地,所述平滑模块还用于:
遍历所述脑部分区图像中的每个分区,并根据局部最小二乘法依次对所述分区的边缘进行平滑处理,直至所述脑部分区图像中的每个分区的边缘都已经经过所述平滑处理为止。
可选地,所述识别模块包括:
计算子模块,用于分别计算所述左侧脑部分区图像和所述右侧脑部分区图像中,除去脑脊液区域和血管区域后的像素点信号平均强度,其中,所述左侧脑部分区图像和所述右侧脑部分区图像中像素点信号平均强度较高的作为第一脑部分区图像,而像素点信号平均强度较低的作为第二脑部分区图像;
确定子模块,用于根据所述第一脑部分区图像的所述像素点信号平均强度,确定强度阈值,并将所述第二脑部分区图像中像素点信号强度低于所述强度阈值的像素点标记为参考点;
识别子模块,用于将所述第二脑部分区图像中每个分区中,由所述参考点构成的最大连通区域识别为所述感兴趣区域。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以上所述脑部造影图像处理方法的步骤。
本公开还提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现以上所述脑部造影图像处理方法的步骤。
通过上述技术方案,能够通过对获取到的脑部造影图像先进行分区,然后分别对分区图像进行感兴趣区域的识别,整个处理方法能够自动化执行,无需人工操作,也无需采用人工方法进行视觉评估降低了感兴趣区域识别难度和成本,也避免了由于人工方法进行视觉评估而导致的耗时长、效率低,识别结果不一致,从而影响判断结果的可靠性的问题。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据本公开一示例性实施例示出的一种脑部造影图像处理方法的流程图。
图2是根据本公开又一示例性实施例示出的一种脑部造影图像处理方法的流程图。
图3是根据本公开又一示例性实施例示出的一种脑部造影图像处理方法的流程图。
图4是根据本公开又一示例性实施例示出的一种脑部造影图像处理方法中脑部分区模型获得脑部分区图像的方法的流程图。
图5是根据本公开又一示例性实施例示出的一种脑部造影图像处理方法的流程图。
图6是根据本公开又一示例性实施例示出的一种脑部造影图像处理方法的流程图。
图7是根据本公开一示例性实施例示出的一种脑部造影图像处理装置的结构框图。
图8是根据一示例性实施例示出的一种电子设备的框图。
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
图1是根据本公开一示例性实施例示出的一种脑部造影图像处理方法的流程图。如图1所示,所述方法包括步骤101至步骤104。
在步骤101中,获取脑部造影图像。该脑部造影图像可以为通过任意方式获取得到的针对脑部的三维造影图像,也即容积图像,例如,可以是通过CT血管造影(CTA,CTangiography)所得到的dicom格式容积图像,也可以是通过MRA磁共振血管造影(magneticresonance angiography,MRA)所得到的dicom格式容积图像等。
其中,在获取到该脑部造影图像之后,可以先对该脑部造影图像进行预处理,例如,该预处理可以包括图像数据增强和/或去噪处理等。具体的,该图像数据增强可以通过预训练好的数据增强模型来实现,实现方法可以为例如通过对图像对比度的调整来实现对图像数据的增强等。该去噪处理可以通过使用非局部平均去噪算法(non-local means)来实现。
在步骤102中,对所述脑部造影图像进行脑部分区,得到脑部分区图像。该脑部分区图像可以是根据如背景技术中所示的ASPECTS评分将脑部所划分的区域来对脑实质区域进行分区,或者,也可以按照其他的分区原则来对脑部进行区域划分,在本公开中不限制该脑部分区图像中的具体分区内容,只要是能够实现根据该三维的脑部造影图像得到该脑部分区图像即可。
在步骤103中,对所述脑部分区图像中的每个分区的边缘分别进行平滑处理,以得到目标脑部分区图像。在得到该脑部分区图像之后,为了更好地对每个分区中的感兴趣区域进行精准的识别,会先对各个分区的边缘轮廓进行平滑处理,使得该脑部分区图像中各个区域的划分更加接近真实的划分情况。
在步骤104中,从所述目标脑部分区图像中识别出感兴趣区域。
在对脑部分区图像进行了分区,并对每个分区的边缘都进行了平滑处理后,便可以分别对每个分区都进行感兴趣区域的识别。该感兴趣区域可以为血管增强图像中任意一类特殊区域,例如,该感兴趣区域可以为如背景技术中提到的缺血区,或者血管出现扩张、畸形、痉挛、梗塞、出血等问题的区域等等。
通过上述技术方案,能够通过对获取到的脑部造影图像先进行分区,然后分别对分区图像进行感兴趣区域的识别,整个处理方法能够自动化执行,无需人工操作,也无需采用人工方法进行视觉评估,降低了感兴趣区域识别难度和成本,也避免了由于人工方法进行视觉评估而导致的耗时长、效率低,识别结果不一致,从而影响判断结果的可靠性的问题,并且,先对脑部造影图像进行分区识别,再进行感兴趣区域的识别,能够进一步根据不同的脑部分区来对感兴趣区域进行辅助识别,从而能够进一步保障感兴趣区域的识别精度。
图2是根据本公开有一示例性实施例示出的一种脑部造影图像处理方法的流程图。如图2所示,该方法还包括步骤201。
在步骤201中,根据脑分区模板图像,通过脑部分区模型对所述脑部造影图像进行脑部分区,得到所述脑部分区图像。
脑部分区模型可以是预训练好的神经网络,例如,可以为基于深度学习的无监督级联神经网络。该脑部分区模型能够根据该脑分区模板图像来得到该脑部造影图像对应的脑部分区图像,无需人工来对该脑部造影图像造影图像中的各个脑部分区进行识别和划分,减少了由于人工方法的不一致性而导致的分区不准确的问题。
其中,在通过该脑部分区模型对该脑部造影图像进行脑部分区时,可以是直接将该脑分区模板图像和该脑部造影图像输入该脑部分区模型中,由该脑部分区模型直接输出与该脑部造影图像对应的该脑部分区图像;或者,也可以如图3所示,先对该脑部造影图像和该脑分区模板图像进行一定的处理后再将处理后得到的图像输入该脑部分区模型中,以进行对该脑部造影图像的分区。
图3是根据本公开又一示例性实施例示出的一种脑部造影图像处理方法的流程图。如图3所示,该方法还包括步骤301至步骤304。
在步骤301中,根据所述脑分区模板图像对所述脑部造影图像进行刚性配准。该刚性配准的方法可以包括:根据刚性变换函数Y=MX+L来对该脑部造影图像进行变换,以使变换后的脑部造影图像与该脑分区模板图像之间能够最接近,其中,Y即为变换后图像,X为变换前的图像,M为变换矩阵,L为偏移量,变换矩阵M与偏移量L可以通过计算变换后的图像与该脑分区模板图像之间的互信息,并最大化该互信息来确定。通过上述刚性变换函数,能够令该脑部造影图像根据该变换矩阵M左右旋转和/或根据该偏移量L进行平移变换之后,尽可能与该脑分区模板图像相匹配。
在步骤302中,从配准后得到的所述脑部造影图像中移除颅骨区域和脑脊液区域,得到脑部造影子图像。该脑部造影子图像也即移除了颅骨区域和脑脊液区域之后留下的脑实质区域的图像。其中,从该脑部造影图像中移除颅骨区域的方法可以是,使用区域生长算法对该脑部造影图像进行脑部分割,从而将分割出来的颅骨区域从该脑部造影图像中进行移除。从该脑部造影图像中移除该脑脊液区域的方法可以是,通过脑脊液区域和容纳该脑脊液的侧脑室区域与该脑部造影图像中的其他区域的像素值的不同,从而根据一预设阈值将该脑实质区域中的该侧脑室区域以及该侧脑室区域中容纳的脑脊液区域区分出来,进而将该脑脊液区域和该侧脑室区域从该脑部造影图像中进行去除。去除该侧脑室区域和其中容纳的该脑脊液区域之后,能够减少该脑脊液区域对该脑部造影图像分区准确性的影响,还能够减少在分区之后识别该感兴趣区域时,该脑脊液区域可能会造成的影响感兴趣区域识别精度的问题。
在步骤303中,获取脑分区模板子图像,所述脑分区模板子图像为从所述脑分区模板图像中移除颅骨区域和脑脊液区域后得到的图像。
该脑分区模板子图像可以是预处理好的,在对该脑部造影图像进行处理时,直接获取即可;也可以是在获取到该脑分区模板图像之后,通过例如上述步骤302中所述的方法实时获取到的,例如,可以是在通过对获取到的该脑分区模板图像通过上述区域生长算法对该脑分区模板图像进行脑部分割,从而将分割出来的颅骨区域从该脑分区模板图像中进行移除,并通过上述像素值的预设阈值将该脑分区模板图像中的该脑脊液区域进行移除,从而获取得到该脑分区模板子图像。
在步骤304中,将所述脑部造影子图像和所述脑分区模板子图像输入所述脑部分区模型,获得所述脑部分区模型输出的所述脑部分区图像。
在获取到不包括该颅骨区域和该脑脊液区域的脑部造影子图像和该脑分区模板子图像之后,将其输入该脑部分区模型中,进而便可获取到该针对脑部造影子图像的脑部分区图像。
通过上述技术方案,能够通过脑部分区模型来直接根据脑分区模板图像对脑部造影图像进行脑部分区,或者对处理后的不包括脑脊液和颅骨区域的脑部造影子图像进行脑部分区,且该脑部分区模型能够通过大量的训练数据预先训练得到,这样能够大大提高对脑部造影图像的处理效率,且能够保证一定程度的处理精度。
图4是根据本公开又一示例性实施例示出的一种脑部造影图像处理方法中脑部分区模型获得脑部分区图像的方法的流程图。如图4所示,该方法包括步骤401和步骤402。
在步骤401中,根据所述脑分区模板子图像和所述脑部造影子图像,获取目标形变场。其中,该目标形变场可以是通过该脑部分区模型中的多个级联子网络(SubNet)来获得,该每个子网络的输入为该脑分区模板子图像和该脑部造影子图像组成的数据块,输出即为形变场(Warp Field),该级联子网络的最终输出即为该目标形变场。
在步骤402中,通过所述目标形变场对所述脑分区模板子图像中每个分区进行形变,以得到所述脑部分区图像。
其中,该脑分区模板子图像中的每个分区可以以掩模(mask)的形式显示,在对表示该脑分区模板子图像中的每个分区的第一掩模进行形变后,便可以得到该脑部分区图像中各个分区对应的第二掩模,通过该第二掩模和该脑部造影子图像便可以得到该脑部分区图像。
在一种可能的实施方式中,用于训练所述脑部分区模型的损失函数为:
其中,LOSS为所述损失函数的损失值;为所述目标形变场;M为待分区的脑部造影图像样本对应的脑部分区图像样本;M'为所述脑分区模板子图像经目标形变场/>转换后的模型输出图像;D(M')和D(M)分别为M'与M的方差;N为所述脑部造影图像样本的大小;i,j,k分别为所述目标形变场/>的3个维度;Cn为待分区的脑部造影图像样本中脑脊液图像样本的第n个数值;C'n为所述脑分区模板子图像中脑脊液模板图像经所述目标形变场/>转换后的脑脊液输出图像的第n个数值。其中,该脑部造影图像样本的图像大小可以为例如256*256*层数,其中,该层数可以根据获取该脑部造影图像样本的设备参数来确定。
也即,上述损失函数根据了三种约束以对该脑部分区模型进行训练,三种约束包括:(1)形变后的脑部造影图像或脑部造影子图像、与形变前的脑部造影图像或脑部造影子图像之间的相关性;(2)图像中相邻像素点的形变距离;(3)形变后的脑部造影图像或脑部造影子图像中脑脊液区域的分布,与形变前的脑部造影图像或脑部造影子图像中脑脊液区域的分布的接近度。
通过上述三种约束对该脑部分区模型进行训练,不仅能够在训练数据中无需标注数据的情况下对该脑部分区模型进行训练,而且对该脑部造影图像进行的例如图像增强等的图像预处理会使得处理后的脑部造影图像中的血管信号等处于高强度的情况,这样容易影响该脑部分区模型所输出的形变效果,而通过上述损失函数中的三种约束,能够有效地避免因为上述图像预处理而导致的形变异常,使得该脑部造影图像中得到的该目标形变场更加准确。
图5是根据本公开又一示例性实施例示出的一种脑部造影图像处理方法的流程图。如图5所示,该方法还包括步骤501。
在步骤501中,遍历所述脑部分区图像中的每个分区,并根据局部最小二乘法依次对所述分区的边缘进行平滑处理,直至所述脑部分区图像中的每个分区的边缘都已经经过所述平滑处理为止,以得到目标脑部分区图像。
其中,在遍历该脑部分区图像中的每个分区时,可以先基于区域标记法,提取当前最大的联通区域作为当前选中进行遍历的分区,对该分区进行平滑处理结束之后,然后在剩余的分区中再提取最大的联通区域作为下一个将要进行遍历的分区,以此逐一遍历。
通过上述技术方案,在通过该脑部分区模型得到该脑部分区图像之后,再进一步进行各个分区的区域优化,这样能够使得最终得到的脑部分区图像的分区能够更加真实,从而进一步提高该脑部分区图像的分区效果。
图6是根据本公开又一示例性实施例示出的一种脑部造影图像处理方法的流程图。其中,该目标脑部分区图像包括左侧脑部分区图像和右侧脑部分区图像,如图6所示,该方法还包括步骤601至步骤603。
在步骤601中,分别计算所述左侧脑部分区图像和所述右侧脑部分区图像中,除去脑脊液区域和血管区域后的像素点信号平均强度,其中,所述左侧脑部分区图像和所述右侧脑部分区图像中像素点信号平均强度较高的作为第一脑部分区图像,而像素点信号平均强度较低的作为第二脑部分区图像。
在步骤602中,根据所述第一脑部分区图像的所述像素点信号平均强度,确定强度阈值,并将所述第二脑部分区图像中像素点信号强度低于所述强度阈值的像素点标记为参考点。
在步骤603中,将所述第二脑部分区图像中每个分区中,由所述参考点构成的最大连通区域识别为所述感兴趣区域。
在该感兴趣区域为如上所述的缺血区的情况下,该强度阈值可以确定为例如该第一脑部分区图像中像素点信号平均强度的80%。
其中,除了可以根据如步骤601和步骤602中所述,将像素点信号强度低于该强度阈值的像素点标记为参考点之外,也能够根据该感兴趣区域的不同,对该参考点的确定条件进行相应改变。例如,在该感兴趣区域为上述由于梗死造成的缺血区时,该参考点的确定条件可以如步骤601和步骤602中所示,在该感兴趣区域为上述出血区时,该参考点的确定条件可以相应地改为高于某一设定的强度阈值或高于根据其他方式确定出来的某一强度阈值等。
通过对上述像素点信号强度的判断来确定参考点,并根据该参考点来识别该感兴趣区域的方法,相比于传统的基于区域灰度直方图来识别该感兴趣区域的方法,能够更加有效的排除非感兴趣区域的信号强度值对识别结果的影响,从而进一步保证感兴趣区域的识别结果。
在一种可能的实施方式中,在该脑部分区图像的分区是根据上述ASPECTS评分对脑部划分的区域来进行,并且该感兴趣区域为缺血区的情况下,在识别出该感兴趣区域之后,便可以根据各个分区中是否存在该感兴趣区域来进行ASPECTS评分,从而对该脑部造影图像对应的脑部状态进行判断。例如,ASPECTS评分的总分可以与该分区的数量一样为10分,有任一分区中存在该感兴趣区域则减一分,同一分区中出现多个感兴趣区域不重复计分,最终便可计算得到该ASPECTS评分。
图7是根据本公开一示例性实施例示出的一种脑部造影图像处理装置的结构框图。如图7所示,所述装置包括:获取模块10,用于获取脑部造影图像;分区模块20,用于对所述脑部造影图像进行脑部分区,得到脑部分区图像;平滑模块30,用于对所述脑部分区图像中的每个分区的边缘分别进行平滑处理,以得到目标脑部分区图像;识别模块40,用于从所述目标脑部分区图像中识别出感兴趣区域。
通过上述技术方案,能够通过对获取到的脑部造影图像先进行分区,然后分别对分区图像进行感兴趣区域的识别,整个处理方法能够自动化执行,无需人工操作,也无需采用人工方法进行视觉评估,降低了感兴趣区域识别难度和成本,也避免了由于人工方法进行视觉评估而导致的耗时长、效率低,识别结果不一致,从而影响判断结果的可靠性的问题,并且,先对脑部造影图像进行分区识别,再进行感兴趣区域的识别,能够进一步根据不同的脑部分区来对感兴趣区域进行辅助识别,从而能够进一步保障感兴趣区域的识别精度。
在一种可能的实施方式中,所述分区模块20还用于:根据脑分区模板图像,通过脑部分区模型对所述脑部造影图像进行脑部分区,得到所述脑部分区图像。
在一种可能的实施方式中,所述分区模块20包括:配准子模块,用于根据所述脑分区模板图像对所述脑部造影图像进行刚性配准;移除子模块,用于从配准后得到的所述脑部造影图像中移除颅骨区域和脑脊液区域,得到脑部造影子图像;获取子模块,用于获取脑分区模板子图像,所述脑分区模板子图像为从所述脑分区模板图像中移除颅骨区域和脑脊液区域后得到的图像;分区子模块,用于将所述脑部造影子图像和所述脑分区模板子图像输入所述脑部分区模型,获得所述脑部分区模型输出的所述脑部分区图像。
在一种可能的实施方式中,所述脑部分区模型通过以下方式获得所述脑部分区图像:根据所述脑分区模板子图像和所述脑部造影子图像,获取目标形变场;通过所述目标形变场对所述脑分区模板子图像中每个分区进行形变,以得到所述脑部分区图像。
在一种可能的实施方式中,用于训练所述脑部分区模型的损失函数为:
其中,LOSS为所述损失函数的损失值;为所述目标形变场;M为待分区的脑部造影图像样本对应的脑部分区图像样本;M'为所述脑分区模板子图像经目标形变场/>转换后的模型输出图像;D(M')和D(M)分别为M'与M的方差;N为所述脑部造影图像样本的大小;i,j,k分别为所述目标形变场/>的3个维度;Cn为待分区的脑部造影图像样本中脑脊液图像样本的第n个数值;C'n为所述脑分区模板子图像中脑脊液模板图像经所述目标形变场/>转换后的脑脊液输出图像的第n个数值。
在一种可能的实施方式中,所述平滑模块30还用于:遍历所述脑部分区图像中的每个分区,并根据局部最小二乘法依次对所述分区的边缘进行平滑处理,直至所述脑部分区图像中的每个分区的边缘都已经经过所述平滑处理为止。
在一种可能的实施方式中,所述识别模块40包括:计算子模块,用于分别计算所述左侧脑部分区图像和所述右侧脑部分区图像中,除去脑脊液区域和血管区域后的像素点信号平均强度,其中,所述左侧脑部分区图像和所述右侧脑部分区图像中像素点信号平均强度较高的作为第一脑部分区图像,而像素点信号平均强度较低的作为第二脑部分区图像;确定子模块,用于根据所述第一脑部分区图像的所述像素点信号平均强度,确定强度阈值,并将所述第二脑部分区图像中像素点信号强度低于所述强度阈值的像素点标记为参考点;识别子模块,用于将所述第二脑部分区图像中每个分区中,由所述参考点构成的最大连通区域识别为所述感兴趣区域。
在一种可能的实施方式中,该装置还包括评分计算模块,用于在该脑部分区图像的分区是根据上述ASPECTS评分对脑部划分的区域来进行,并且该感兴趣区域为缺血区的情况下,在识别出该感兴趣区域之后,根据各个分区中是否存在该感兴趣区域来进行ASPECTS评分,从而对该脑部造影图像对应的脑部状态进行判断。例如,ASPECTS评分的总分可以与该分区的数量一样为10分,有任一分区中存在该感兴趣区域则减一分,同一脑区中出现多个感兴趣区域不重复计分,最终便可计算得到该ASPECTS评分。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种电子设备800的框图。如图8所示,该电子设备800可以包括:处理器801,存储器802。该电子设备800还可以包括多媒体组件803,输入/输出(I/O)接口804,以及通信组件805中的一者或多者。
其中,处理器801用于控制该电子设备800的整体操作,以完成上述的脑部造影图像处理方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该电子设备800的操作,这些数据例如可以包括用于在该电子设备800上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该电子设备800与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件805可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的脑部造影图像处理方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的脑部造影图像处理方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器802,上述程序指令可由电子设备800的处理器801执行以完成上述的脑部造影图像处理方法。
图9是根据一示例性实施例示出的一种电子设备900的框图。例如,电子设备900可以被提供为一服务器。参照图9,电子设备900包括处理器922,其数量可以为一个或多个,以及存储器932,用于存储可由处理器922执行的计算机程序。存储器932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理器922可以被配置为执行该计算机程序,以执行上述的脑部造影图像处理方法。
另外,电子设备900还可以包括电源组件926和通信组件950,该电源组件926可以被配置为执行电子设备900的电源管理,该通信组件950可以被配置为实现电子设备900的通信,例如,有线或无线通信。此外,该电子设备900还可以包括输入/输出(I/O)接口958。电子设备900可以操作基于存储在存储器932的操作***,例如Windows ServerTM,Mac OSXTM,UnixTM,LinuxTM等等。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的脑部造影图像处理方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器932,上述程序指令可由电子设备900的处理器922执行以完成上述的脑部造影图像处理方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的脑部造影图像处理方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (9)

1.一种脑部造影图像处理方法,其特征在于,所述方法包括:
获取脑部造影图像;
对所述脑部造影图像进行脑部分区,得到脑部分区图像;
对所述脑部分区图像中的每个分区的边缘分别进行平滑处理,以得到目标脑部分区图像;
从所述目标脑部分区图像中识别出感兴趣区域;
其中,所述目标脑部分区图像包括左侧脑部分区图像和右侧脑部分区图像,所述从所述目标脑部分区图像中识别出感兴趣区域包括:
分别计算所述左侧脑部分区图像和所述右侧脑部分区图像中,除去脑脊液区域和血管区域后的像素点信号平均强度,其中,所述左侧脑部分区图像和所述右侧脑部分区图像中像素点信号平均强度较高的作为第一脑部分区图像,而像素点信号平均强度较低的作为第二脑部分区图像;
根据所述第一脑部分区图像的所述像素点信号平均强度,确定强度阈值,并将所述第二脑部分区图像中像素点信号强度低于所述强度阈值的像素点标记为参考点;
将所述第二脑部分区图像中每个分区中,由所述参考点构成的最大连通区域识别为所述感兴趣区域。
2.根据权利要求1所述的方法,其特征在于,所述对所述脑部造影图像进行脑部分区,得到脑部分区图像包括:
根据脑分区模板图像,通过脑部分区模型对所述脑部造影图像进行脑部分区,得到所述脑部分区图像。
3.根据权利要求2所述的方法,其特征在于,所述根据脑分区模板图像,通过脑部分区模型对所述脑部造影图像进行脑部分区,得到所述脑部分区图像包括:
根据所述脑分区模板图像对所述脑部造影图像进行刚性配准;
从配准后得到的所述脑部造影图像中移除颅骨区域和脑脊液区域,得到脑部造影子图像;
获取脑分区模板子图像,所述脑分区模板子图像为从所述脑分区模板图像中移除颅骨区域和脑脊液区域后得到的图像;
将所述脑部造影子图像和所述脑分区模板子图像输入所述脑部分区模型,获得所述脑部分区模型输出的所述脑部分区图像。
4.根据权利要求3所述的方法,其特征在于,所述脑部分区模型通过以下方式获得所述脑部分区图像:
根据所述脑分区模板子图像和所述脑部造影子图像,获取目标形变场;
通过所述目标形变场对所述脑分区模板子图像中每个分区进行形变,以得到所述脑部分区图像。
5.根据权利要求4所述的方法,其特征在于,用于训练所述脑部分区模型的损失函数为:
其中,LOSS为所述损失函数的损失值;为所述目标形变场;/>为待分区的脑部造影图像样本对应的脑部分区图像样本;/>为所述脑分区模板子图像经目标形变场/>转换后的模型输出图像;/>和/>分别为/>与/>的方差;/>为所述脑部造影图像样本的大小;/>分别为所述目标形变场/>的3个维度;/>为待分区的脑部造影图像样本中的脑脊液图像样本的第/>个数值;/>为所述脑分区模板子图像中的脑脊液模板图像经所述目标形变场/>转换后的脑脊液输出图像的第/>个数值。
6.根据权利要求1所述的方法,其特征在于,所述对所述脑部分区图像中的每个分区的边缘分别进行平滑处理,以得到目标脑部分区图像包括:
遍历所述脑部分区图像中的每个分区,并根据局部最小二乘法依次对所述分区的边缘进行平滑处理,直至所述脑部分区图像中的每个分区的边缘都已经经过所述平滑处理为止。
7.一种脑部造影图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取脑部造影图像;
分区模块,用于对所述脑部造影图像进行脑部分区,得到脑部分区图像;
平滑模块,用于对所述脑部分区图像中的每个分区的边缘分别进行平滑处理,以得到目标脑部分区图像;
识别模块,用于从所述目标脑部分区图像中识别出感兴趣区域;
其中,所述目标脑部分区图像包括左侧脑部分区图像和右侧脑部分区图像,所述识别模块包括:
计算子模块,用于分别计算所述左侧脑部分区图像和所述右侧脑部分区图像中,除去脑脊液区域和血管区域后的像素点信号平均强度,其中,所述左侧脑部分区图像和所述右侧脑部分区图像中像素点信号平均强度较高的作为第一脑部分区图像,而像素点信号平均强度较低的作为第二脑部分区图像;
确定子模块,用于根据所述第一脑部分区图像的所述像素点信号平均强度,确定强度阈值,并将所述第二脑部分区图像中像素点信号强度低于所述强度阈值的像素点标记为参考点;
识别子模块,用于将所述第二脑部分区图像中每个分区中,由所述参考点构成的最大连通区域识别为所述感兴趣区域。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
9.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-6中任一项所述方法的步骤。
CN202010719674.2A 2020-07-23 2020-07-23 脑部造影图像处理方法、装置、介质及电子设备 Active CN111968130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010719674.2A CN111968130B (zh) 2020-07-23 2020-07-23 脑部造影图像处理方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010719674.2A CN111968130B (zh) 2020-07-23 2020-07-23 脑部造影图像处理方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN111968130A CN111968130A (zh) 2020-11-20
CN111968130B true CN111968130B (zh) 2023-08-04

Family

ID=73362514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010719674.2A Active CN111968130B (zh) 2020-07-23 2020-07-23 脑部造影图像处理方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN111968130B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012816B (zh) * 2021-04-12 2023-09-01 东北大学 脑分区风险预测方法及装置、电子设备和存储介质
CN114359277B (zh) * 2022-03-18 2022-06-24 佛山科学技术学院 一种脑卒中患者的脑部图像处理方法及***
CN116309355A (zh) * 2023-01-31 2023-06-23 优脑银河(浙江)科技有限公司 用于脑影像图像的冗余信息处理方法、装置及存储介质
KR102588305B1 (ko) 2023-03-30 2023-10-20 주식회사 휴런 미가공 ct 이미지의 기하학적 정렬 및 전처리를 위한 인공지능 기반 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000065985A2 (en) * 1999-04-29 2000-11-09 University Of South Florida Method and system for knowledge guided hyperintensity detection and volumetric measurement
CN109509186A (zh) * 2018-11-09 2019-03-22 北京邮电大学 基于大脑ct图像的缺血性脑卒中病灶检测方法及装置
CN110534189A (zh) * 2018-05-25 2019-12-03 深圳市前海安测信息技术有限公司 阿尔兹海默病症分级评估模型创建方法及计算机装置
CN110934606A (zh) * 2019-10-31 2020-03-31 上海杏脉信息科技有限公司 脑卒中早期平扫ct图像评估***及评估方法、可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190117179A1 (en) * 2017-10-23 2019-04-25 Mg Stroke Analytics Inc. Systems And Methods For Deciding Management Strategy in Acute Ischemic Strokes Using Rotational Angiography

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000065985A2 (en) * 1999-04-29 2000-11-09 University Of South Florida Method and system for knowledge guided hyperintensity detection and volumetric measurement
CN110534189A (zh) * 2018-05-25 2019-12-03 深圳市前海安测信息技术有限公司 阿尔兹海默病症分级评估模型创建方法及计算机装置
CN109509186A (zh) * 2018-11-09 2019-03-22 北京邮电大学 基于大脑ct图像的缺血性脑卒中病灶检测方法及装置
CN110934606A (zh) * 2019-10-31 2020-03-31 上海杏脉信息科技有限公司 脑卒中早期平扫ct图像评估***及评估方法、可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Classification of brain disease from magnetic resonance images based on multi-level brain partitions;Tao Li等;《2016 38TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY》;5933-5936 *
Performance Study on Brain Tumor Segmentation Techniques;Nisha Joseph等;《2018 4th International Conference on Computing Communication and Automation》;正文1-6 *
PET-MRI脑部定量准确性对比研究:MRI与PET脑分区对SUVR计算的影响;李再升等;《核技术》;第43卷(第5期);16-25 *
帕金森病深部脑刺激手术中的图像配准问题研究;倪杨阳;《CNKI优秀硕士毕业论文全文库(医药卫生科技辑)》(第5期);E070-20 *

Also Published As

Publication number Publication date
CN111968130A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111968130B (zh) 脑部造影图像处理方法、装置、介质及电子设备
US11748889B2 (en) Brain image segmentation method and apparatus, network device, and storage medium
CN107945168B (zh) 一种医学图像的处理方法及医学图像处理***
CN109872333B (zh) 医学影像分割方法、装置、计算机设备和存储介质
CN108010021B (zh) 一种医学图像处理***和方法
CN106815481B (zh) 一种基于影像组学的生存期预测方法及装置
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN112070781B (zh) 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备
Aranguren et al. Improving the segmentation of magnetic resonance brain images using the LSHADE optimization algorithm
CN110717905B (zh) 脑部图像检测方法、计算机设备和存储介质
CN110751187B (zh) 异常区域图像生成网络的训练方法和相关产品
DE102018109802A1 (de) Qualitätsbewertung bei einer automatischen Bildregistrierung
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN111951276A (zh) 图像分割方法、装置、计算机设备和存储介质
CN114723763A (zh) 一种医学图像分割方法、装置、设备及存储介质
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN114549462A (zh) 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质
WO2021097595A1 (zh) 图像的病变区域分割方法、装置及服务器
CN113160199B (zh) 影像识别方法、装置、计算机设备和存储介质
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
CN113436187A (zh) 颅脑ct血管造影图像的处理方法、装置、介质及电子设备
CN111932575A (zh) 基于模糊c均值和概率标签融合的图像分割方法及***
WO2021032325A1 (en) Updating boundary segmentations
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant