CN108830848B - 利用计算机确定血管上的血管状况参数的序列的装置和*** - Google Patents

利用计算机确定血管上的血管状况参数的序列的装置和*** Download PDF

Info

Publication number
CN108830848B
CN108830848B CN201810630987.3A CN201810630987A CN108830848B CN 108830848 B CN108830848 B CN 108830848B CN 201810630987 A CN201810630987 A CN 201810630987A CN 108830848 B CN108830848 B CN 108830848B
Authority
CN
China
Prior art keywords
vessel
sequence
path
neural network
sequences
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810630987.3A
Other languages
English (en)
Other versions
CN108830848A (zh
Inventor
王昕�
尹游兵
曹坤琳
李育威
白军杰
许晓阳
宋麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Keya Medical Technology Corp
Original Assignee
Shenzhen Keya Medical Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Keya Medical Technology Corp filed Critical Shenzhen Keya Medical Technology Corp
Publication of CN108830848A publication Critical patent/CN108830848A/zh
Application granted granted Critical
Publication of CN108830848B publication Critical patent/CN108830848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/507Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for determination of haemodynamic parameters, e.g. perfusion CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • G06F18/295Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85Markov-related models; Markov random fields
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Biology (AREA)

Abstract

本公开涉及一种利用计算机确定血管上的血管状况参数的序列的装置和***。所述装置包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机可执行指令,用于实现以下步骤:获取血管路径上的图像块序列;基于所获取的血管路径上的图像块序列,利用训练好的深度学习模型来预测所述血管路径上的血管状况参数的序列,所述深度学习模型基于数据流神经网络、递归神经网络和条件随机场模型的依序串联而构成。该装置利用递归神经网络在序列学习和卷积神经网络在图像学习上的优势,通过端对端地训练模型,解决了血管状况参数序列的快速计算中的几大关键问题,包括提高计算速度、减少特征提取的人工干预、确保精确度等。

Description

利用计算机确定血管上的血管状况参数的序列的装置和***
技术领域
本发明涉及血管状况参数的基于人工智能的学习网络的预测和分析。更具体地,本发明涉及一种利用计算机确定血管上的血管状况参数的序列的装置、***和介质。
背景技术
近来,在医学领域,包括血流储备分数(FFR)在内的各种血管状况参数,例如但不限于血管中的血压、血流量等,为医生进行心血管诊断时提供重要的参考。
以血流储备分数为例,近期的研究表明,基于血流储备分数的血液动力学特性是用以确定、评估动脉疾病患者的最佳治疗方式的重要指标。大量的临床试验证明,FFR值可以很好地指导冠状动脉狭窄及其他血管疾病的治疗。对于心血管疾病而言,如果血流储备分数FFR值大于0.8,则应该选择药物治疗,如果血流储备分数FFR值小于或等于0.8,则应该采用介入性治疗的方法。
采用侵入式定量测量以评估人体血管疾病是现在临床上采用的黄金标准。虽然人们试图引入非侵入式方法,来克服侵入性定量测量方式的风险较大并且成本较高的问题,但是非侵入式测量至少存在如下问题。非侵入式测量一般使用血管的医学图像序列来重建患者的血管几何模型,并且这个模型在计算上通过采用具有适当生理学边界条件和参数的计算流体力学方法(CFD)来模拟血流。但是采用计算动力学方法的计算模拟会产生大量的计算负担且计算时间较长,使得这些虚拟的非侵入式测量难以满足临床环境的要求,严重阻碍了其在临床环境中应用。
随着近年来机器学***滑后处理模型。其中,特征提取模型通常采用某些固定的特征提取算法;FFR预测模型和FFR平滑后处理模型是需要训练的。这些模块的训练一般都是独立进行的,各有各的目标函数。
发明内容
本发明人发现,目前的利用学习网络预测血管状况参数的方法至少存在如下不足。当前的学习网络是基于点的神经网络,导致只能计算血管路径上的某个点的血管状况参数,而非一段血管路径上的血管状况参数分布,而后者对于心血管诊断更有参考意义;对于一段血管路径而言,该路径上的各个点会受到其他点的影响,例如,当前点会受到该路径上其之前的点序列及其之后的点序列的影响,仅仅基于点的神经网络无法对其进行准确的模拟。
本发明人还发现,特征提取模型通常采用某些固定的特征提取算法,导致计算的准确度依赖于该特征提取算法,而固定的特征提取算法显然不能适用于广泛多变的应用情况,也无法有效地学习特征。而临床医生显然无法按需对特征提取算法进行调整:临床医生并非都是学习网络的专家。
本发明人还发现,这些模块的训练一般都是独立进行的,各有各的目标函数。由于各个模块在训练时不能互相取长补短,单个模块训练的目标函数又与***整体的性能有偏差,这样训练出的网络往往达不到整体***的最优性能。
针对现有技术的不足,本发明基于数据流神经网络、递归神经网络和条件随机场模型提出了一套端到端的深度学习模型,其中,数据流神经网络读入血管路径上的图像块,其输出被传递到所述递归神经网络中,最后使用条件随机场模型进行联合解码,直接预测血管路径上的血管状况参数的序列。
根据本发明的第一方案,提供了一种利用计算机确定血管上的血管状况参数的序列的装置,所述装置包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机可执行指令,其特征在于,所述处理器执行所述计算机可执行指令时实现以下步骤:获取血管路径上的图像块序列;基于所获取的血管路径上的图像块序列,利用训练好的深度学习模型来预测所述血管路径上的血管状况参数的序列,所述深度学习模型基于数据流神经网络、递归神经网络和条件随机场模型的依序串联而构成。
根据本发明的第二方案,提供了一种计算机可读存储介质,其上存储有计算机可执行指令,其特征在于,所述计算机可执行指令被处理器执行时,实现用于预测血管上的血管状况参数的序列的方法,所述方法包括如下步骤:
获取血管路径上的图像块序列;
基于所获取的血管路径上的图像块序列,利用训练好的深度学习模型来预测所述血管路径上的血管状况参数的序列,所述深度学习模型基于数据流神经网络、递归神经网络和条件随机场模型的依序串联而构成。
可选地,所述血管状况参数包括血流储备分数、血流量、血流速度、微血管阻力、血流压力降、血管狭窄度中的至少一种。
可选地,所述数据流神经网络包括数个卷积神经网络,所述获取血管路径上的图像块序列的步骤包括:获取血管路径上的数个图像块序列;
基于所获取的血管路径上的图像块序列,利用训练好的深度学习模型来预测所述血管路径上的血管状况参数的序列的步骤包括:将获取的血管路径上的数个图像块序列分别输入到所述数个卷积神经网络;将所述数个卷积神经网络的输出连接起来,作为所述递归神经网络的输入。
可选地,所述数个图像块序列包括2D图像块序列和/或3D图像块序列。
可选地,所述递归神经网络包括双向长短期记忆递归神经网络。
可选地,所述处理器执行所述计算机可执行指令时还实现如下步骤:获取所述血管路径上的图像块序列和相应的血管状况参数序列作为训练数据;利用所述训练数据对所述深度学习模型进行训练。
可选地,获取血管路径上的图像块序列的步骤包括:
获取血管树的医学图像序列;
基于所获取的血管树的医学图像序列,重建所述血管树的几何模型;
从所述血管树的几何模型提取所述血管路径及其上血管的中心线;以及
沿着所提取的血管路径上血管的中心线,来截取所述图像块序列。
可选地,获取相应的血管状况参数序列的步骤包括如下步骤:获取血管树的医学图像序列;基于所获取的血管树的医学图像序列,重建所述血管树的几何模型;对重建的血管树的几何模型进行计算流体动力学(CFD)仿真模拟,以得到相应的血管状况参数序列。
可选地,获取相应的血管状况参数序列的步骤包括如下步骤:通过对所述血管路径进行测量,来得到所述血管路径上的相应的血管状况参数序列。
可选地,所述处理器执行所述计算机可执行指令时,响应于预测所述血管路径上的血管状况参数的序列的步骤,还实现以下步骤:将所预测的所述血管路径上的血管状况参数的序列映射回包括所述血管路径的血管树中。
可选地,将所预测的所述血管路径上的血管状况参数的序列映射回包括所述血管路径的血管树中的步骤包括:基于血管树中发生重叠的各条血管路径上的预测的血管状况参数序列在重叠部分的血管状况参数序列段,来得到所述血管树中的重叠部分的血管状况参数序列段。
根据本发明的第三方案,提供了一种用于利用计算机确定血管路径上的血管状况参数的序列的***,其特征在于,所述***包括:
图像获取单元,其配置为获取血管树的医学图像序列;
重建单元,其配置为:基于从所述图像获取单元获取的医学图像序列重建血管树的几何模型;从所述血管树的几何模型提取所述血管路径及其上血管的中心线;以及沿着所提取的血管路径上血管的中心线,来截取所述图像块序列;以及
预测单元,其配置为:基于由所述重建单元截取的血管路径上的图像块序列,利用训练好的深度学习模型来预测所述血管路径上的血管状况参数的序列,所述深度学习模型基于数据流神经网络、递归神经网络和条件随机场模型的依序串联而构成。
可选地,所述***还包括训练单元或可通信地连接到训练单元,所述训练单元被配置为:
获取所述血管路径上的图像块序列和相应的血管状况参数序列作为训练数据;以及
利用所述训练数据对所述深度学习模型进行训练。
可选地,所述***还包括计算流体力学模拟单元或可通信地连接到所述计算流体力学模拟单元,其配置为:基于利用所述重建单元重建的血管树的几何模型进行计算流体力学模拟计算,以得到所述血管路径上的相应的血管状况参数序列。
可选地,所述训练单元被配置为:从计算流体力学模拟单元获取所述血管路径上的相应的血管状况参数序列,作为训练数据。
可选地,所述训练单元被配置为:从测量装置获取所述血管路径上的相应的血管状况参数序列,作为训练数据。
可选地,所述***内存储有所述深度学习模型,或者可通信地连接到所述深度学习模型。
可选地,所述血管状况参数包括血流储备分数、血流量、血流速度、微血管阻力、血流压力降、血管狭窄度中的至少一种。
可选地,所述数据流神经网络包括数个卷积神经网络,重建单元所截取的所述图像块序列为数个图像块序列,所述预测单元被进一步配置为:
将由所述重建单元截取的血管路径上的数个图像块序列分别输入到所述数个卷积神经网络;
将所述数个卷积神经网络的输出连接起来,作为所述递归神经网络的输入。
可选地,所述数个图像块序列包括2D图像块序列和/或3D图像块序列。
可选地,所述递归神经网络包括双向长短期记忆递归神经网络。
可选地,所述***还包括映射单元,其配置为将所预测的所述血管路径上的血管状况参数的序列映射回包括所述血管路径的血管树中。
可选地,所述映射单元还配置为:基于血管树中发生重叠的各条血管路径上的预测的血管状况参数序列在重叠部分的血管状况参数序列段,来得到所述血管树中的重叠部分的血管状况参数序列段。
本发明与现有技术相比较,通过采用深度回归模型从端到端的角度进行更为精确的建模和更为全局的优化。相比传统的基于串行模块的多阶段***,端到端***中不再有分立的特征提取模型、FFR预测模型等模块,而是从输入端(图像块的序列)到输出端(血管状况参数的序列)利用端到端模型直接用神经网络相连,让这个神经网络来承担原先所有模块的功能,能够全局地优化整个***。此外,本发明利用递归神经网络在序列学习和卷积神经网络在图像学习上的优势,通过端对端地训练模型,解决了血管状况参数序列的快速计算中的几大关键问题,包括提高计算速度、减少特征提取的人工干预等,为血管路径上的血管状况参数序列的快速和精确计算,实现了一套完整的解决方案。
附图说明
在不一定按比例绘制的附图中,相同的附图标记可以在不同的视图中描述相似的构件。具有不同字母后缀的相同附图标记可以表示相似构件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例,并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候,在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是示例性的,并且不旨在作为本装置、***或方法的穷尽性的或排他性的实施例。
图1(a)示出了根据本发明第一实施例的用于对用于预测血管路径上的血管状况参数的序列的深度学习模型进行训练的方法的总体流程图;
图1(b)示出了根据本发明第二实施例的用于预测血管路径上的血管状况参数的序列的方法的总体流程图;
图2示出了根据本发明第三实施例的基于数据流神经网络、递归神经网络和条件随机场模型的依序串联而构成的深度学习模型的示例的结构示意图;
图3示出了作为图2中的数据流神经网络的示例的多数据流神经网络的结构示意图;
图4示出对图2中的深度学习模型进行联合训练的示例性的流程图;
图5示出根据本发明第四实施例的用于预测血管路径上的血管状况参数的序列的***中各个软件模块的功能框图和数据流向的示意图。
具体实施方式
本公开的其它目的和优点将在下面的具体实施例中进行部分地阐述,并且将部分地从本说明书中显而易见,或者可以通过本公开的实践来获知。本公开的目的和优点可以通过所附权利要求中特别指出的元件和组合来实现和获得。
应当理解的是,以上的概述以及下面的具体实施方式仅仅是示例性和说明性的,而不是对所要求保护的本发明的限制。注意,在本文中,技术术语“血管路径”表示血管树中沿着任意一条路径的任意长度的血管段,以血管树包括两条分支为例,从血管树的分支前方的基部连同第一分支可以作为一条血管路径,该条血管路径中的一部分血管也可以作为另一条血管路径;从血管树的分支前方的基部连同第二分支也可以作为一条血管路径,该条血管路径中的一部分血管也可以作为再一条血管路径。技术术语“血管状况参数”表示与血管的生理状况相关的任何参数,下文中以FFR为例对本发明进行说明,但须知“血管状况参数”不限于FFR。技术术语“血管状况参数”包括但不限于血流储备分数(FFR)、血流量、血流速度、微血管阻力、血流压力降、血管狭窄度中的至少一种。
下面结合附图对一种基于端到端深度学习对血流储备分数进行预测的方法、装置和***进行详细说明,本发明能够以临床上能够广泛接受的计算负担和计算速度,实现对血流储备分数的精确计算和预测。
本发明的实施例提供了一种用于预测血管路径上的血管状况参数的序列的装置,所述装置包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机可执行指令,所述处理器执行所述计算机可执行指令时实现如图1(b)所示的根据本发明第二实施例的用于预测血管路径上的血管状况参数的序列的方法的总体流程,包括:获取血管路径上的图像块序列(步骤S103);以及基于所获取的血管路径上的图像块序列,利用训练好的深度学习模型来预测所述血管路径上的血管状况参数的序列,所述深度学习模型基于数据流神经网络、递归神经网络和条件随机场模型的依序串联而构成(步骤S104)。
本文中的处理器可以是包括诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等的一个或更多通用处理装置的处理器电路。更具体地,处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器、或实现指令集的组合的处理器。
处理器还可以是一个或更多专用处理装置,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上***(SoC)等。如本领域技术人员将领会的,在一些实施例中,处理器装置可以是专用处理器,而不是通用处理器。处理器可以包括一个或更多已知的处理装置,诸如由IntelTM制造的PentiumTM或XeonTM系列的微处理器、由AMDTM制造的TurionTM系列的微处理器、或由其他供应商诸如OracleTM制造的任何各种处理器(例如,SPARCTM架构处理器)。处理器还可以包括由NvidiaTM制造的图形处理单元。所公开的实施例不限于与所公开的实施例相符的以其他方式被配置为满足识别、分析、维护、生成和/或提供大量成像数据或任何其他类型的数据的计算需求的任何类型的(一个或数个)处理器。
本文中的存储器可以包括被配置为存储由处理器使用的计算机可执行指令的一个或更多存储设备,以执行与所公开的实施例相关的功能。例如,存储器可以存储用于操作***、重建单元、流体仿真模拟处理单元、训练单元和预测单元中的任何一个的计算机可执行软件指令。
步骤S103能够以各种方式来获取血管路径上的图像块序列。例如,在提供现有的血管重建软件模块或设备的情况下,例如西门子的Artis Q ceiling医用血管造影***中就可安装syngo DynaCT Cardiac软件模块,其能够进心脏血管的重建,本实施例的用于预测血管路径上的血管状况参数的序列的装置可与之可通信地连接,并从其导入血管路径上的图像块序列。再例如,也可以利用独立的重建模块来获取血管路径上的图像块序列。例如,本实施例的用于预测血管路径上的血管状况参数的序列的装置能够与医学成像装置(例如CT)可通信地连接,以从其获取个体的血管树的医学图像序列。随后,利用独立的重建模块,例如开源工具VMTK等,来重建具有个体特异性的血管树的几何模型,并从所重建的血管树的几何模型中提取图像中所有血管的中心线,然后,沿着中心线上的各个点,以当前点为中心,截取一定大小的图像块,从而获取血管路径上的图像块序列。所述图像块序列可以是2D图像块序列和/或3D图像块序列。所述图像块序列中图像块的大小可以根据用户需要和经验来设定。
步骤S104中用于预测的深度学习模型基于数据流神经网络、递归神经网络和条件随机场模型的依序串联而构成,该深度学习模型的输入是血管路径上的图像块序列,输出则直接是血管路径上的血管状况参数序列,这种端到端的建模方式不再引入分立的特征提取模型、FFR预测模型等模块,而是由该深度学习模型来承担现有***中所有传统相关模块的功能。因为该深度学习模型直接作用于血管路径上的图像块序列,自动逐层进行特征学习,其训练过程直接优化唯一的目标函数,并端到端地学习图像块序列到作为目标的FFR值的序列的映射关系。如此,避免了对人工设计特征提取算法的依赖,自动特征学习使其能够扩展或转用于不同血管树中不同血管状况参数的预测,这种端到端的模拟方式提高了用户友好度,且针对FFR值本身的联合优化能够提升FFR预测的准确度。优选地,所述数据流神经网络采用卷积神经网络,如此,本发明的预测方法经由深度学习模型的配置,充分利用了卷积神经网络在图像学习上的优势以及递归神经网络在序列学习上的优势,相较现有技术中固定的特征提取算法和针对独立点的预测,能够更有效自主地学习特征,能够更准确地模拟血管路径上的各点之间的相互作用,进而更迅速且准确地预测出血管路径上的血管状况参数的序列。
图1(a)示出了根据本发明第一实施例的用于对用于预测血管路径上的血管状况参数的序列的深度学习模型进行训练的方法的总体流程图,其总体包括:获取所述血管路径上的图像块序列和相应的血管状况参数序列的集合作为训练数据(步骤S101);利用所述训练数据对所述深度学习模型进行训练(步骤S102)。
步骤S101可以采用各种方式来获取所述血管路径上的图像块序列和相应的血管状况参数序列的集合作为训练数据。例如,患者的血管路径上的图像块序列和实际预测的相应的血管状况参数序列可以存储在共享的医学数据库中,可以从该医学数据库获取相应的图像块序列和血管状况参数序列作为训练数据。相应的血管状况参数序列可以是之前利用深度学习模型为患者的血管路径预测得到的,也可以是利用其他检测方法,例如经由侵入式导管来测量FFR、经由超声多普勒来测量血流速度、经由血管造影来测量血流量等等,而实际测量得到的。可选地,相应的血管状况参数序列还可以是经由对血管树的CFD仿真建模来获取的。举例说来,可以为上文中重建的血管树的几何模型生成有限元网格;基于血流动力学,施加符合人体生理学特性的个体特异性的边界条件和相关参数;由此,进行流体有限元分析,从而得到血管树中各个血管路径上的血液的压力、血流量和血流速度,然后可以按需对这些血管状况参数的后处理,来得到所需的血管状况参数,例如FFR、微血管阻力等。可选地,根据所需血管状况参数的不同,有时也可以利用血管重建而无需CFD仿真建模来获取相应的血管状况参数序列。以血管狭窄度为例,当血管狭窄度定义为血管直径的函数时,可以基于所重建的血管树的几何模型中血管路径上的血管直径分布来获取该血管路径上的血管狭窄度的序列,在此不赘述。
上述步骤S101和S102可以相对于临床现场离线执行,因此在耗时上限制减少,例如,可以利用深度学习模型不用于现场预测的时期,对其进行充分的训练,以便每次现场预测时,临床医生能够直接调用已经训练好的深度学习模型。深度学习模型的离线训练优化了时间配置,显著减少了现场预测的耗时。
下面基于图2中所示的根据本发明第三实施例的深度学习模型的示例以及图3中示出的图2中的深度学习模型中的数据流神经网络的示例,对深度学习模型的构建、训练和运行方法进行详细说明。
图2中示出了组合了卷积神经网络、双向长短期记忆递归神经网络和条件随机场模型的深度学习模型。血管路径上单个点的血管状况参数受到其周边范围内的各点的血管状况参数的序列的影响,本发明人引入了长短期记忆递归神经网络来模拟这种相互作用。在本发明人之前,没有其在血管路径上的血管状况参数序列的预测做任何探讨,也不知道其能否以临床可接受的速度准确地预测血管路径上的血管状况参数序列。本发明人通过大量的模拟计算,验证了其能够在临床上适用于预测血管路径上的血管状况参数序列,由于长短期记忆递归神经网络的独特的设计结构,其能有效应用于处理和预测序列数据;但是在预测序列数据时,普通的长短期记忆递归神经网络只使用到当前点之前的信息,并没有考虑到当前点之后的信息,还有改进空间。本发明人引入双向长短期记忆递归神经网络,其中分别包含前向处理层和后向处理层,同时学习到了序列中的前向和后向信息,从而准确地模拟了血管路径上当前点的前向序列信息和后向序列信息对其的综合作用,进一步提高了模拟的准确度。
条件随机场模型是Lafferty于2001年在最大熵模型和隐马尔科夫模型的基础上,提出的一种判别式概率无向图学习模型,是一种用于标注和切分有序数据的条件概率模型。本发明人在深度学习模型中的双向长短期记忆递归神经网络层后加入了条件随机场模型层进行最后的联合解码。单独利用双向长短期记忆递归神经网络对每个状态单独解码,图2中的深度学习模型中通过加入条件随机场模型层,考虑整个序列的标记来联合解码,也就是利用双向长短期记忆递归神经网络层的输出的整个序列来直接预测血管路径上的整个FFR值的序列,由此能够实现更精确的建模和更全局的优化。要注意,图2中所示的深度学习模型仅仅是示例,根据不同的需求,双向长短期记忆递归神经网络也可以替换为其他递归神经网络,例如门控循环单元,长短期记忆递归神经网络等。
优选地,图2中的深度学习模型中的数据流神经网络可以采用两个不同的卷积神经网络,例如2D卷积神经网络和3D卷积神经网络,来分别学习血管路径上的2D图像块和3D图像块,两个卷积神经网络分别返回一个向量,可以通过连接层将两个向量连接为一个向量,如图3所示,连接而成的向量被传输到双向递归神经网络,例如双向长短期记忆递归神经网络,后者的输出向量h被输入到条件随机场模型,例如,利用如下公式,来进行联合解码。
P(y|h,λ)∝exp(∑jjtj(yi-1yi,h,i))+∑k(uksk(yi,h,i)))公式1
其中h是输入变量的值,在此示例中,表示双向长短期记忆递归神经网络的输出向量;y是输出变量的值,在此示例中,y表示血管路径上的FFR值的序列;P(y|h,λ)是当输入变量的值为h且设定了λ的条件下,输出变量的值为y的非规范化条件概率;tj和sk表示局部特征函数,例如可以分别是定义在边上的特征函数以及定义在结点上的特征函数,λj和uk是分别与tj和sk对应的权值,可通过学习来得到,而下标i、j和k分别是对应函数值或参数的序号。
通过联合解码,能够预测出血管路径上的FFR值的序列。
可选地,所述两个不同的卷积神经网络也可以用来分别学习血管路径上不同角度的2D图像块,从而对不同角度的图像特征进行学习。鉴于血管路径上的当前点的一定空间范围内的3D图像特征信息也会影响当前点的血管状况参数,优选地采用2D卷积神经网络和3D卷积神经网络,来分别学习血管路径上的2D图像块和3D图像块,从而获取对血管路径上的血管状况参数的序列有影响的更全面的图像特征信息,由此能够进一步提高预测精度。
下面以图2和图3中所示的深度学习模型为例,对训练过程进行说明。
通过上文结合步骤101描述的各种方式来获取训练数据,可以利用多卷积神经网络-双向长短期记忆网络-条件随机场模型的配置的深度学习网络,来训练从血管路径上的图像几何特征的序列到其相应的血管路径上的FFR值的序列的映射。
一般的来讲,当给定序列的输入和输出,也就是训练数据中的血管路径上的图像块序列→血管路径上的FFR值的序列,表示为
Figure BDA0001699744980000111
该深度学习网络把输入xt,传入多卷积神经网络,产生一个固定长度的向量zt=V(xt).然后向量zt被传入到双向长短期记忆网络-条件随机场模型中,双向长短期记忆网络-条件随机场模型中,双向长短期记忆网络包含两个一般的长短期记忆网络模型,可以同时学习序列数据中正方向和反方向的相关性。优选地,如图2所示,双向长短期记忆网络中的前向网络和反向网络是并行的,两者之间没有共同的边,由此,前向网络和反向网络可以利用一般长短期记忆网络的训练方法来训练,提高了训练的速度。最后,双向长短期记忆网络的输出连接到条件随机场模型。
具体来讲,在上述深度学习模型中包含多卷积神经网络部分的参数V和和双向长短期记忆网络-条件随机场模型部分的参数W(其中包含条件随机场模型部分的参数和双向长短期记忆网络部分的参数),它们可以在框架中被联合优化。例如,我们可以使用随机梯度下降的方法来优化参数(V,W),梯度
Figure BDA0001699744980000121
L(V,W)可以采用反向传播来计算。如此,可以使用随机梯度下降方法来对所述深度学习模型进行联合优化,直到目标函数收敛为止(随机梯度下降方法的目标函数的定义在此不赘述)。上述参数V例如可以包括多卷积神经网络中的网络层数、每层网络的节点数中的至少一种,上述参数W例如可以包括双向长短期记忆网络中隐藏层的数量、学习率和初始值中的至少一种。在一些实施例中,可以使用随机梯度下降的变种方法训练所述深度学习模型,直到目标函数收敛。在一些实施例中,也可以采用除随机梯度下降以外的方法,例如L-BFGS算法(large BFGS,B、F、G和S分别是发明者名字Broy-den、Fletcher、Goldforb和Shanno的首字母)等优化算法,来训练所述深度学习模型,直到目标函数收敛。
在一些实施例中,这些参数的最优值可以通过交叉验证来确定。此外,我们可以使用L1或L2的正则化方法(英文称为
Figure BDA0001699744980000122
Figure BDA0001699744980000123
方法)来避免过拟合。
图4示出对图2中的深度学习模型进行联合训练的示例性的流程图。如图4所示,该流程始于步骤400,在步骤401处,接收训练数据集并设置期数阈值。整个训练集中的全部样本不止被训练一次,需要选择合适的训练次数也就是期数,以避免欠拟合和过拟合。因为训练数据集很大,有时计算资源无法支持一整个训练数据集的训练,我们可以将训练数据集划分为若干批(可由此确定批数阈值),每次可以利用一批数据来对深度学习模型进行训练(步骤403),由此降低对计算资源的要求。完成了基于一批数据的训练后,批数递增(步骤404),判断递增后的批数是否等于批数阈值(也就是这期的训练已经完成,步骤405),如果是,则期数递增(步骤406),否则回到步骤403,利用下一批训练数据进行训练。然后,判断期数是否等于期数阈值(步骤407),如果是,则流程结束,否则返回到步骤402,利用同样的训练数据集再进行一期训练。
训练图2中所示的“数据流神经网络-后向长短期记忆递归神经网络-前向长短期记忆递归神经网络-条件随机场层”配置的深度学习模型时,步骤403具体包括,针对一批训练数据:针对数据流神经网络进行计算;针对双向长短期记忆递归神经网络的前向传播进行计算,包括针对前向传播长短期记忆递归神经网络的前向状态进行计算,以及针对后向传播长短期记忆递归神经网络的后向状态进行计算;针对条件随机场层的前向和后向传播进行计算;然后针对双向长短期记忆递归神经网络的后向传播进行计算,包括针对前向传播长短期记忆递归神经网络的前向状态进行计算,以及针对后向传播长短期记忆递归神经网络的后向状态进行计算;然后基于计算的结果,更新要学习的参数。
训练好所述深度学习模型之后,可以用其对血管路径上的FFR值的序列进行在线预测。优选地,此后,所述用于预测血管路径上的FFR的序列的装置还可以将所预测的所述血管路径上的FFR的序列映射回包括所述血管路径的血管树中。由此,可以在血管树的几何模型中,例如以热图方式显示血管树中各条血管路径上的FFR的序列。优选地,血管树中所有路径的FFR值都将被计算,对于路径中共享的分支部分,我们取多次计算的均值作为最终预测的FFR序列返回到血管树中。
本文描述的上述方法的示例至少部分可以是机器或计算机实现的。一些示例可以包括编码有指令的计算机可读介质或机器可读介质,该指令可经操作以配置电子装置来执行如上述示例中所描述的方法。这种方法的实现可以包括诸如微代码、汇编语言代码、较高级语言代码等的代码。这种代码可以包括用于执行各种方法的计算机可读指令。这种代码可以形成计算机程序产品的一部分。此外,在一个示例中,例如在运行期间或在其它时间,代码可以有形地存储在一个或更多易失性、非暂时性或非易失性有形计算机可读介质上。这些有形的计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如,压缩光盘和数字视频盘)、磁带、存储卡或存储棒、随机存取存储器(RAM)、只读存储器(ROM)等。本发明的另一实施例提供一种计算机可读存储介质,其上存储有计算机可执行指令,所述计算机可执行指令被处理器执行时,实现上述方法中的至少一部分步骤,例如可以实现如下步骤:获取血管路径上的图像块序列;基于所获取的血管路径上的图像块序列,利用训练好的深度学习模型来预测所述血管路径上的血管状况参数的序列,所述深度学习模型基于数据流神经网络、递归神经网络和条件随机场模型的依序串联而构成。所述计算机可执行指令被处理器执行时,可以实现上文中结合图1-图4所描述的各个步骤或者其组合。
本发明的第四实施例还提供了一种用于预测血管路径上的血管状况参数的序列的***,如图5所示,该***500包括:图像获取单元501,其配置为获取血管树的医学图像序列;重建单元502,其配置为基于从图像获取单元501获取的医学图像序列重建血管树的几何模型,从血管树的几何模型提取血管路径及其上血管的中心线以及沿着所提取的血管路径上血管的中心线,来截取图像块序列;以及预测单元504,其配置为基于由重建单元502截取的血管路径上的图像块序列,利用训练好的深度学习模型来预测血管路径上的血管状况参数的序列,其中,深度学习模型基于数据流神经网络、递归神经网络和条件随机场模型的依序串联而构成。以上各个单元可以以软件模块的方式存储在***500的存储器中,该存储器中还可以存储有操作***。***500中,处理器可通信地连接到存储器,以便在执行各个软件模块的计算机可执行指令时,实现相应的步骤。
在一个实施例中,该***还可以包括训练单元505或者该***可通信地连接到训练单元505,其中,训练单元505被配置为将获取血管路径上的图像块序列和相应的血管状况参数序列作为训练数据以及利用训练数据对深度学习模型进行训练。可选地,该训练单元505还被配置为从测量装置获取血管路径上的相应的血管状况参数序列,作为训练数据。所谓的从测量装置获取血管路径上的相应的血管状况参数序列,未必是通过与测量装置的通信来获取相应的血管状况参数序列,也可以间接地获取来自测量装置的血管路径上的相应的血管状况参数序列。例如,经由测量装置测得的血管路径上的相应的血管状况参数序列可以存储在患者的电子病历中,训练单元505可以经由医院信息***(HIS)从患者的电子病历获取相关数据。
在现有应用中如何获得充足的训练数据是急需解决的问题,有时,测量装置所提供的信息并不足以获得充足的训练数据,以FFR而言,如果需要预测出血管路径上的分布稠密的血管状况参数序列,则相应地需要血管路径上的分布稠密的血管状况参数序列作为训练数据,有创导管可能无法在血管路径上得到这么多的测量点。
在另一个实施例中,该***还包括计算流体力学模拟单元503或者该***可通信地连接到计算流体力学模拟单元503,其中,计算流体力学模拟单元503配置为基于利用重建单元502重建的血管树的几何模型进行计算流体力学模拟计算,以得到血管路径上的相应的血管状况参数序列。在该实施例中,训练单元505被配置为从计算流体力学模拟单元503获取血管路径上的相应的血管状况参数序列,作为训练数据。不同于测量装置,原则上计算流体力学模拟单元503通过对血管树的几何模型进行有限元分析,能够模拟得到遍及血管路径的相应的血管状况参数序列,以用作训练数据。对于那些测量死角(例如有创导管无法伸入的位置),计算流体力学模拟单元503依然能够迅速模拟得到相应的血管状况参数。
进一步地,该***内存储有深度学习模型506,或者可通信地连接到所述深度学习模型506,例如,如图5所示,深度学习模型506设置在训练单元505中,也可以存储在该***的其他位置处,只要训练单元505能够对其作用并进行训练即可。训练步骤在上文中已经详述,在此不赘述。
要注意,深度学习模型506未必需要驻留在***500中,可以位于***500以外的位置处,包括但不限于远程数据库、云端等,使得***500在需要时能够调用所述深度学习模型506。例如,深度学习模型506能够存储在医学数据库中,各个科室或各个医院可以具有独立的***500,各个***500中的训练单元505可以利用本地的医学训练数据远程地对该深度学习模型506进行训练,而训练好的深度学习模型506则可以供其他***500共享和调用。深度学习模型506的这种设置能够加速其训练,并能够在不同的***之间共享训练成果。
深度学习模型506所基于的数据流神经网络包括数个卷积神经网络,在利用卷积神经网络进行处理时,重建单元502截取血管路径上的数个图像块序列,预测单元504将由重建单元502截取的数个图像块序列分别输入到数个卷积神经网络,将数个卷积神经网络的输出连接起来作为递归神经网络的输入。如此,利用了卷积神经网络在处理图像上的运算加速,并且卷积神经网络通过训练能够自主、灵活且高效地提取各个图像块中的图像特征,显著优于现有技术中僵化的特征提取方式,并且也将用户从抽象和难度较大的规定特征提取方式的负担中解脱出来,提高了用户友好度。
通过设置数个卷积神经网络,可以对多数据流进行处理,从而获得更全面的特征信息。例如,血管路径上的不同投影角度的若干2D图像块序列可能对该血管路径上的FFR均有影响,通过设置数个卷积神经网络,可以提取不同投影角度的2D图像块序列中的图像特征信息,更全面的特征信息有助于得到更准确的预测结果。
其中,这里的图像块序列包括2D图像块序列和/或3D图像块序列。多个数据流例如可以包括血管路径上的不同投影角度的若干2D图像块序列。多个数据流也可以包括血管路径上的3D图像块序列,相应的卷积神经网络可以是3D卷积神经网络。鉴于当前点不仅受其附近的平面图像特征信息的影响,还受其附近的空间图像特征信息的影响;通过引入血管路径上的3D图像块序列,能够考虑到当前点附近的空间图像特征信息,进而得出更准确的预测结果。
此外,为了使得该***能够在预测时能够考虑到在血管路径上当前点之前以及之后的点对当前点的影响,递归神经网络包括双向长短期记忆递归神经网络。
更进一步地,可以进行处理和预测的血管状况参数包括血流储备分数、血流量、血流速度、微血管阻力、血流压力降、血管狭窄度中的至少一种。在另一个实施例中,该***还包括映射单元,其配置为将所预测的血管路径上的血管状况参数的序列映射回包括血管路径的血管树中。如此,可以在用户界面上显示的血管树中,以热图等方式显示该血管树中各处的血管状况参数,从而便于医生更直观准确地把握血管树中各处的血管状况。优选地,有时医生未必需要对整个血管树进行血管状况参数预测,并且,对整个血管树进行预测运算耗时较长,鉴于此,重建单元502可以进一步配置为:从其所重建的血管树的几何模型中,例如通过用户交互,选择要预测的血管段;从所述血管段的几何模型提取所有血管路径及其上血管的中心线;以及沿着所提取的血管路径上血管的中心线,来截取所述图像块序列。如此,能够针对性地对血管段上的血管状况进行预测,通过用户的介入和辅助,加快了运算速度,减少了计算负担。
血管段经常具有血管的分支,导致一个血管段可能包括若干血管路径。鉴于此,可选地,该映射单元还配置为基于血管树中发生重叠的各条血管路径上的预测的血管状况参数序列在重叠部分的血管状况参数序列段,来得到血管树中的重叠部分的血管状况参数序列段。例如,两条血管路径发生重叠,则重叠部分的血管状况参数序列可以通过对这两条血管路径的该部分的血管状况参数序列求平均来得到。当然,也可以基于其他算法,包括但不限于取大值、取小值、求均方根值等,来得到重叠部分的血管状况参数序列。
所述***500可以是与所公开的实施例相符的能够识别、分析、维护、生成或提供大量数据的一个或更多高性能计算装置。***500可以是单独的,或者它可以是子***的一部分,子***又可以是更大的***的一部分。例如,***500可以表示远程定位并通过诸如因特网或诸如局域网(LAN)或广域网(WAN)的专用网络的网络进行通信的分布式高性能服务器。在一些实施例中,***500可以包括嵌入式***、成像扫描仪(例如,核磁共振(MR)扫描仪或诸如计算机断层摄影(CT)扫描仪的其他扫描仪)和/或与一个或更多远程定位的高性能计算装置通信的触摸屏显示装置。
遵循存在已久的专利法惯例,当在包括权利要求书的本申请中使用时,术语“个”(不定冠词“a”或“an”)和“所述”是指“一个或多个”。因此,例如,对“单元”的提及包括多个这样的单元,等等。
与“包括”、“包含”或“特征在于”同义的术语“包括”是非排他性的或者开放性的,不排除另外的、未叙述的要素或方法步骤。“包括”是权利要求语言中使用的本领域的术语,其意味着所命名的要素是必要的,但是能够添加其他要素并且仍然形成权利要求书的范围内的结构。
如本文所使用的,当在实体列表的上下文中使用术语“和/或”时,是指单独或组合出现的实体。因此,例如,短语“A,B,C、和/或D”分别包括A,B,C和D,但也包括A,B,C和D的任何和所有组合和子组合。
此外,尽管已经在本文中描述了示例性实施例,其范围包括任何和所有基于本公开的具有等同元件、修改、省略、组合(例如,各种实施例的方案的)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用语言广泛地解释,并不限于在本说明书中或本申请的进行期间所描述的示例,其示例将被解释为非排他性的。此外,可以以任何方式对所公开的方法的步骤进行修改,包括通过对步骤重新排序或***或删除步骤。因此,本说明书和示例旨在仅被认为是示例,真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。

Claims (24)

1.一种利用计算机确定血管上的血管状况参数的序列的装置,所述装置包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机可执行指令,其特征在于,所述处理器执行所述计算机可执行指令时实现以下步骤:
获取血管路径上的数个2D图像块序列和3D图像块序列;
基于所获取的所述血管路径上的所述数个2D图像块序列和3D图像块序列,利用训练好的深度学习模型来预测所述血管路径上的血管状况参数的序列,所述深度学习模型基于数据流神经网络、递归神经网络和条件随机场模型的依序串联而构成,其中,
所述数据流神经网络采用2D卷积神经网络和3D卷积神经网络分别学习所述血管路径上的所述数个2D图像块序列和3D图像块序列中的2D图像块和3D图像块,各个卷积神经网络分别返回一个向量,并将所述各个卷积神经网络返回的所述向量连接为一个向量后传输到所述递归神经网络。
2.根据权利要求1所述的利用计算机确定血管上的血管状况参数的序列的装置,其特征在于,所述血管状况参数包括血流储备分数、血流量、血流速度、微血管阻力、血流压力降、血管狭窄度中的至少一种。
3.根据权利要求1或2所述的利用计算机确定血管上的血管状况参数的序列的装置,其特征在于,所述递归神经网络包括双向长短期记忆递归神经网络。
4.根据权利要求1所述的利用计算机确定血管上的血管状况参数的序列的装置,其特征在于,所述处理器执行所述计算机可执行指令时还实现如下步骤:
获取所述血管路径上的数个2D图像块序列和3D图像块序列和相应的血管状况参数序列作为训练数据;
利用所述训练数据对所述深度学习模型进行训练。
5.根据权利要求1或4所述的利用计算机确定血管上的血管状况参数的序列的装置,其特征在于,获取所述血管路径上的所述数个2D图像块序列和3D图像块序列的步骤包括:
获取血管树的所述数个2D图像块序列和3D图像块序列;
基于所获取的所述血管树的所述数个2D图像块序列和3D图像块序列,重建所述血管树的几何模型;
从所述血管树的几何模型提取所述血管路径及其上血管的中心线;以及
沿着所提取的所述血管路径上血管的中心线,来截取所述数个2D图像块序列和3D图像块序列。
6.根据权利要求4所述的利用计算机确定血管上的血管状况参数的序列的装置,其特征在于,获取所述相应的血管状况参数序列的步骤包括如下步骤:
获取血管树的数个2D图像块序列和3D图像块序列;
基于所获取的所述血管树的所述数个2D图像块序列和3D图像块序列,重建所述血管树的几何模型;
对重建的所述血管树的所述几何模型进行计算流体动力学仿真模拟,以得到所述相应的血管状况参数序列。
7.根据权利要求4所述的利用计算机确定血管上的血管状况参数的序列的装置,其特征在于,获取所述相应的血管状况参数序列的步骤包括如下步骤:
通过对所述血管路径进行测量,来得到所述血管路径上的所述相应的血管状况参数序列。
8.根据权利要求1、2、4、6和7中的任何一项所述的利用计算机确定血管上的血管状况参数的序列的装置,其特征在于,所述处理器执行所述计算机可执行指令时,响应于预测所述血管路径上的血管状况参数的序列的步骤,还实现以下步骤:
将所预测的所述血管路径上的所述血管状况参数的序列映射回包括所述血管路径的血管树中。
9.根据权利要求8所述的利用计算机确定血管上的血管状况参数的序列的装置,其特征在于,将所预测的所述血管路径上的所述血管状况参数的序列映射回包括所述血管路径的所述血管树中的步骤包括:
基于所述血管树中发生重叠的各条所述血管路径上的预测的所述血管状况参数序列在重叠部分的血管状况参数序列段,来得到所述血管树中的重叠部分的血管状况参数序列段。
10.一种计算机可读存储介质,其上存储有计算机可执行指令,其特征在于,所述计算机可执行指令被处理器执行时,实现用于预测血管上的血管状况参数的序列的方法,所述方法包括如下步骤:
获取血管路径上的数个2D图像块序列和3D图像块序列;
基于所获取的所述血管路径上的所述数个2D图像块序列和3D图像块序列,利用训练好的深度学习模型来预测所述血管路径上的血管状况参数的序列,所述深度学习模型基于数据流神经网络、递归神经网络和条件随机场模型的依序串联而构成,其中,所述数据流神经网络采用2D卷积神经网络和3D卷积神经网络分别学习所述血管路径上的所述数个2D图像块序列和3D图像块序列中的2D图像块和3D图像块,各个卷积神经网络分别返回一个向量,并将所述各个卷积神经网络返回的所述向量连接为一个向量后传输到所述递归神经网络。
11.根据权利要求10所述的计算机可读存储介质,其特征在于,所述血管状况参数包括血流储备分数、血流量、血流速度、微血管阻力、血流压力降、血管狭窄度中的至少一种。
12.根据权利要求10或11所述的计算机可读存储介质,其特征在于,所述递归神经网络包括双向长短期记忆递归神经网络。
13.根据权利要求10所述的计算机可读存储介质,其特征在于,所述计算机可执行指令时被所述处理器执行还实现如下步骤:
获取所述血管路径上的数个2D图像块序列和3D图像块序列和相应的血管状况参数序列作为训练数据;
利用所述训练数据对所述深度学习模型进行训练。
14.根据权利要求10或13所述的计算机可读存储介质,其特征在于,获取所述血管路径上的所述数个2D图像块序列和3D图像块序列的步骤包括:
获取血管树的所述数个2D图像块序列和3D图像块序列;
基于所获取的所述血管树的所述数个2D图像块序列和3D图像块序列,重建所述血管树的几何模型;
从所述血管树的几何模型提取所述血管路径及其上血管的中心线;以及
沿着所提取的所述血管路径上血管的中心线,来截取所述数个2D图像块序列和3D图像块序列。
15.根据权利要求13所述的计算机可读存储介质,其特征在于,获取所述相应的血管状况参数序列的步骤包括如下步骤:
获取血管树的数个2D图像块序列和3D图像块序列;
基于所获取的所述血管树的所述数个2D图像块序列和3D图像块序列,重建所述血管树的几何模型;
对重建的所述血管树的所述几何模型进行计算流体动力学仿真模拟,以得到所述相应的血管状况参数序列。
16.根据权利要求13所述的计算机可读存储介质,其特征在于,获取所述相应的血管状况参数序列的步骤包括如下步骤:
通过对所述血管路径进行测量,来得到所述血管路径上的所述相应的血管状况参数序列。
17.根据权利要求10、11、13、15和16中的任何一项所述的计算机可读存储介质,其特征在于,所述计算机可执行指令被所述处理器执行时,响应于预测所述血管路径上的血管状况参数的序列的步骤,还实现以下步骤:
将所预测的所述血管路径上的所述血管状况参数的序列映射回包括所述血管路径的血管树中。
18.根据权利要求17所述的计算机可读存储介质,其特征在于,将所预测的所述血管路径上的所述血管状况参数的序列映射回包括所述血管路径的所述血管树中的步骤包括:
基于所述血管树中发生重叠的各条所述血管路径上的预测的所述血管状况参数序列在重叠部分的血管状况参数序列段,来得到所述血管树中的重叠部分的血管状况参数序列段。
19.一种利用计算机确定血管上的血管状况参数的序列的***,其特征在于,所述***包括:
图像获取单元,其配置为获取血管树的数个2D图像块序列和3D图像块序列;
重建单元,其配置为:基于从所述图像获取单元获取的所述数个2D图像块序列和3D图像块序列重建血管树的几何模型;从所述血管树的所述几何模型提取所述血管路径及其上血管的中心线;以及沿着所提取的所述血管路径上血管的中心线,来截取数个2D图像块序列和3D图像块序列;以及
预测单元,其配置为:基于由所述重建单元截取的血管路径上的数个2D图像块序列和3D图像块序列,利用训练好的深度学习模型来预测所述血管路径上的血管状况参数的序列,所述深度学习模型基于数据流神经网络、递归神经网络和条件随机场模型的依序串联而构成,其中,所述数据流神经网络采用2D卷积神经网络和3D卷积神经网络分别学习所述血管路径上的所述数个2D图像块序列和3D图像块序列中的所述2D图像块和3D图像块,各个卷积神经网络分别返回一个向量,并将所述各个卷积神经网络返回的所述向量连接为一个向量后传输到所述递归神经网络。
20.根据权利要求19所述的利用计算机确定血管上的血管状况参数的序列的***,其特征在于,所述***还包括训练单元或可通信地连接到训练单元,所述训练单元被配置为:
获取所述血管路径上的2D图像块序列和3D图像块序列和相应的血管状况参数序列作为训练数据;以及
利用所述训练数据对所述深度学习模型进行训练。
21.根据权利要求20所述的利用计算机确定血管上的血管状况参数的序列的***,其特征在于,所述***还包括计算流体力学模拟单元或可通信地连接到所述计算流体力学模拟单元,其配置为:基于利用所述重建单元重建的血管树的几何模型进行计算流体力学模拟计算,以得到所述血管路径上的所述相应的血管状况参数序列。
22.根据权利要求21所述的利用计算机确定血管上的血管状况参数的序列的***,其特征在于,所述训练单元被配置为:从计算流体力学模拟单元获取所述血管路径上的所述相应的血管状况参数序列,作为训练数据。
23.根据权利要求19所述的利用计算机确定血管上的血管状况参数的序列的***,其特征在于,所述***还包括映射单元,其配置为将所预测的所述血管路径上的所述血管状况参数的序列映射回包括所述血管路径的血管树中。
24.根据权利要求23所述的利用计算机确定血管上的血管状况参数的序列的***,其特征在于,所述映射单元还配置为:基于所述血管树中发生重叠的各条所述血管路径上的预测的所述血管状况参数序列在重叠部分的血管状况参数序列段,来得到所述血管树中的重叠部分的血管状况参数序列段。
CN201810630987.3A 2018-05-25 2018-06-19 利用计算机确定血管上的血管状况参数的序列的装置和*** Active CN108830848B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862676716P 2018-05-25 2018-05-25
US62/676,716 2018-05-25

Publications (2)

Publication Number Publication Date
CN108830848A CN108830848A (zh) 2018-11-16
CN108830848B true CN108830848B (zh) 2022-07-05

Family

ID=64142298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810630987.3A Active CN108830848B (zh) 2018-05-25 2018-06-19 利用计算机确定血管上的血管状况参数的序列的装置和***

Country Status (2)

Country Link
US (2) US10803583B2 (zh)
CN (1) CN108830848B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2943902B1 (en) 2012-10-24 2020-03-11 CathWorks Ltd. Automated measurement system and method for coronary artery disease scoring
EP3954298A3 (en) 2013-10-24 2022-03-16 Cathworks Ltd. Vascular characteristic determination with correspondence modeling of a vascular tree
WO2017199246A1 (en) 2016-05-16 2017-11-23 Cathworks Ltd. Vascular selection from images
CN109979593B (zh) * 2018-09-24 2021-04-13 北京科亚方舟医疗科技股份有限公司 血管路径的健康半径的预测方法、血管路径的候选狭窄处的预测方法、血管狭窄度预测装置
US11302446B2 (en) * 2018-11-13 2022-04-12 Google Llc Prediction of future adverse health events using neural networks by pre-processing input sequences to include presence features
US11308362B2 (en) * 2019-03-26 2022-04-19 Shenzhen Keya Medical Technology Corporation Method and system for generating a centerline for an object, and computer readable medium
CN110210581B (zh) * 2019-04-28 2023-11-24 平安科技(深圳)有限公司 一种手写文本识别方法及装置、电子设备
US11200976B2 (en) 2019-08-23 2021-12-14 Canon Medical Systems Corporation Tracking method and apparatus
US20210295224A1 (en) * 2020-03-23 2021-09-23 Lyft, Inc. Utilizing a requestor device forecasting model with forward and backward looking queue filters to pre-dispatch provider devices
CN111680447B (zh) * 2020-04-21 2023-11-17 深圳睿心智能医疗科技有限公司 血流特征预测方法、装置、计算机设备和存储介质
CN111968070B (zh) * 2020-04-22 2023-12-05 深圳睿心智能医疗科技有限公司 一种基于三维建模的血管检测方法及装置
CN111652849B (zh) * 2020-05-08 2022-03-01 武汉联影医疗科技有限公司 血流参数计算结果获取方法、装置、设备和***
CN111599004B (zh) * 2020-05-18 2023-09-12 复旦大学附属中山医院 一种3d血管成像***、方法及装置
CN111652881A (zh) * 2020-07-01 2020-09-11 杭州脉流科技有限公司 基于深度学习的冠脉重构和血流储备分数计算方法、装置、设备以及可读存储介质
CN112052617B (zh) * 2020-09-11 2024-04-02 西安交通大学 一种非疾病诊断用途的用于预测支路血管流场的方法及***
CN112446867B (zh) * 2020-11-25 2023-05-30 上海联影医疗科技股份有限公司 血流参数的确定方法、装置、设备及存储介质
CN112932434B (zh) * 2021-01-29 2023-12-05 苏州润迈德医疗科技有限公司 获取流量损失模型、损失比、供血能力的方法和***
US20240138684A1 (en) * 2021-02-15 2024-05-02 Massachusetts Institute Of Technology System and method for mechanical characterization of heterogeneous tissue
CN113096073B (zh) * 2021-03-19 2022-10-18 浙江华睿科技股份有限公司 化纤丝锭表面平整度检测方法及装置
CN113205488B (zh) * 2021-04-19 2023-12-29 深圳睿心智能医疗科技有限公司 血流特性预测方法、装置、电子设备及存储介质
CN115631303A (zh) * 2021-04-30 2023-01-20 北京阅影科技有限公司 确定血管中心线真伪以及截断位置的方法与装置
EP4131154A1 (en) * 2021-08-05 2023-02-08 Robovision Coronary artery narrowing detection based on patient imaging and 3d deep learning
CN113836832A (zh) * 2021-08-13 2021-12-24 中国人民解放军东部战区总医院 一种确定血管状态参数的方法和装置
WO2023184598A1 (zh) * 2022-03-31 2023-10-05 胡冠彤 基于人工智能的心脏模拟器数据矫正***和方法
CN117291858A (zh) * 2022-06-14 2023-12-26 上海联影医疗科技股份有限公司 一种用于确定血流特性的方法、***、装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096388A (zh) * 2014-04-23 2015-11-25 北京冠生云医疗技术有限公司 基于计算流体力学的冠状动脉血流仿真***和方法
CN105825509A (zh) * 2016-03-17 2016-08-03 电子科技大学 基于3d卷积神经网络的脑血管分割方法
CN107622050A (zh) * 2017-09-14 2018-01-23 武汉烽火普天信息技术有限公司 基于Bi‑LSTM和CRF的文本序列标注***及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US11087167B2 (en) * 2014-12-22 2021-08-10 Robert Bosch Gmbh First-person camera based visual context aware system
CN105741251B (zh) * 2016-03-17 2018-09-21 中南大学 一种肝脏cta序列图像的血管分割方法
CN106650029B (zh) * 2016-11-28 2019-11-22 博动医学影像科技(上海)有限公司 基于cfd仿真的分叉血管压力差及ffr的快速计算方法及***
CN106650267B (zh) * 2016-12-28 2020-03-17 北京昆仑医云科技有限公司 计算血流储备分数的***和设置边界条件的方法
CN106980899B (zh) * 2017-04-01 2020-11-17 北京昆仑医云科技有限公司 预测血管树血管路径上的血流特征的深度学习模型和***
CN107491636B (zh) * 2017-07-26 2021-03-16 武汉大学 一种基于计算流体力学的脑血管储备力仿真***和方法
CN107644014A (zh) * 2017-09-25 2018-01-30 南京安链数据科技有限公司 一种基于双向lstm和crf的命名实体识别方法
US10762637B2 (en) * 2017-10-27 2020-09-01 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks
WO2019090533A1 (en) * 2017-11-08 2019-05-16 Shenzhen United Imaging Healthcare Co., Ltd. System and method for diagnositic and treatment
CN108305246B (zh) * 2017-11-15 2020-10-09 深圳科亚医疗科技有限公司 基于医学图像预测血流特征的装置及***
US10973486B2 (en) * 2018-01-08 2021-04-13 Progenics Pharmaceuticals, Inc. Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
US10699407B2 (en) * 2018-04-11 2020-06-30 Pie Medical Imaging B.V. Method and system for assessing vessel obstruction based on machine learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096388A (zh) * 2014-04-23 2015-11-25 北京冠生云医疗技术有限公司 基于计算流体力学的冠状动脉血流仿真***和方法
CN105825509A (zh) * 2016-03-17 2016-08-03 电子科技大学 基于3d卷积神经网络的脑血管分割方法
CN107622050A (zh) * 2017-09-14 2018-01-23 武汉烽火普天信息技术有限公司 基于Bi‑LSTM和CRF的文本序列标注***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Structured prediction models for RNN based sequence labeling;Abhyuday N Jagannatha et al;《Proc Conf Empir Methods Nat Lang Process》;20161130;1-15页 *
一种新的基于人脸表情识别的图像理解模型;罗梓月;《工业控制计算机》;20180325;第31卷(第3期);34-36页 *

Also Published As

Publication number Publication date
US11538161B2 (en) 2022-12-27
CN108830848A (zh) 2018-11-16
US20190362494A1 (en) 2019-11-28
US10803583B2 (en) 2020-10-13
US20200402239A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
CN108830848B (zh) 利用计算机确定血管上的血管状况参数的序列的装置和***
CN110853029B (zh) 用于基于医学图像自动预测血流特征的方法、***和介质
JP7077319B2 (ja) 解剖学的モデルパラメータの機械学習
CN107977709B (zh) 预测血管树血管路径上的血流特征的深度学习模型和***
US20210335497A1 (en) Systems and methods for image processing to determine blood flow
CN110638438B (zh) 用于对血流储备分数的基于机器学习的评估的方法和***
US9501622B2 (en) Methods and systems for predicting sensitivity of blood flow calculations to changes in anatomical geometry
CN108665449B (zh) 预测血流矢量路径上的血流特征的深度学习模型及装置
CN112640000A (zh) 根据医学数据对预测性数字孪生体模型的数据驱动的估计
US10431328B1 (en) Method and system for anatomical tree structure analysis
WO2021174992A1 (en) Systems and methods for determining hemodynamic parameters
WO2018133098A1 (zh) 血管壁应力应变状态获取方法及***
CN107665737A (zh) 血管壁应力应变状态获取方法、计算机可读介质及***
CN109949300B (zh) 解剖树结构分析的方法、***和计算机可读介质
CN110070534B (zh) 用于基于血管图像自动获取特征序列的方法和预测血流储备分数的装置
CN116309346A (zh) 医学图像的检测方法、装置、设备、存储介质及程序产品
CN114266759A (zh) 图像分析方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant