CN115115772A - 基于三维影像的关键结构重建方法、装置和计算机设备 - Google Patents

基于三维影像的关键结构重建方法、装置和计算机设备 Download PDF

Info

Publication number
CN115115772A
CN115115772A CN202210384845.XA CN202210384845A CN115115772A CN 115115772 A CN115115772 A CN 115115772A CN 202210384845 A CN202210384845 A CN 202210384845A CN 115115772 A CN115115772 A CN 115115772A
Authority
CN
China
Prior art keywords
dimensional
image
target
sample
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210384845.XA
Other languages
English (en)
Inventor
秦陈陈
常健博
姚建华
冯铭
刘翌勋
王任直
陈亦豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Tencent Technology Shenzhen Co Ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210384845.XA priority Critical patent/CN115115772A/zh
Publication of CN115115772A publication Critical patent/CN115115772A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请涉及一种基于三维影像的关键结构重建方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像；对所述指定尺寸的三维医学影像进行语义分割处理，得到对应的三维标记图像；基于所述三维标记图像进行后置采样处理，得到满足高分辨率条件的目标标记图像；基于所述三维标记图像中每个体素分别对应的概率值，对所述目标标记图像进行分割，得到至少一张三维结构图像；对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型。本方法通过融合计算机视觉技术和机器学习技术，显著提高了重建关键结构的精确度。

Description

基于三维影像的关键结构重建方法、装置和计算机设备
技术领域
本申请涉及图像技术领域，特别是涉及一种基于三维影像的关键结构重建方法、装置、计算机设备、存储介质和计算机程序产品，以及图像处理模型的训练方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展，出现了各种医学扫描仪器，比如CT(ComputedTomography，电子计算机断层扫描)设备、核磁共振设备、以及超声设备等，通过这些医学扫描仪器可以对不同对象的不同部位进行扫描以获得相应的医学影像。随着技术的发展，已出现一些对医学影像进行相关应用的场景，比如对这些医学影像进行分割，以辅助进行医疗教学或者医学识别等。
传统的对医学影像进行分割的方式，常常采用图值分割的方式，但由于医学设备的扫描分辨率过低，医学影像的轴向分辨率低并往往呈现明显的断层，通过传统的图值分割的方式对医学影像直接进行分割时，所得到的图像也会具有断层的现象，存在分割影像的质量不够好，难以满足可视化的需求。
发明内容
基于此，有必要针对上述技术问题，提供一种基于三维影像的关键结构重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品、以及图像处理模型的训练方法、装置、计算机设备、存储介质和计算机程序产品。
一方面，本申请提供了一种基于三维影像的关键结构重建方法。所述方法包括：
对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像，所述目标部位包括有至少一个关键结构；
对所述指定尺寸的三维医学影像进行语义分割处理，得到对应的三维标记图像，所述三维标记图像中的每个体素都对应有属于各个关键结构的概率值；
基于所述三维标记图像进行后置采样处理，得到满足高分辨率条件的目标标记图像；
基于所述三维标记图像中每个体素分别对应的概率值，对所述目标标记图像进行分割，得到至少一张三维结构图像，每张三维结构图像对应一个关键结构；
对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型，所述目标三维结构模型用于进行可视化展示。
另一方面，本申请还提供了一种基于三维影像的关键结构重建装置。所述装置包括：
前置采样模块，用于对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像，所述目标部位包括有至少一个关键结构；
语义分割模块，用于对所述指定尺寸的三维医学影像进行语义分割处理，得到对应的三维标记图像，所述三维标记图像中的每个体素都对应有属于各个关键结构的概率值；
后置采样模块，用于基于所述三维标记图像进行后置采样处理，得到满足高分辨率条件的目标标记图像；
结构分割模块，用于基于所述三维标记图像中每个体素分别对应的概率值，对所述目标标记图像进行分割，得到至少一张三维结构图像，每张三维结构图像对应一个关键结构；
三维重建模块，用于对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型，所述目标三维结构模型用于进行可视化展示。
另一方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于三维影像的关键结构重建方法的步骤。
另一方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于三维影像的关键结构重建方法的步骤。
另一方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述基于三维影像的关键结构重建方法的步骤。
上述基于三维影像的关键结构重建方法、装置、计算机设备、存储介质和计算机程序产品，通过对目标部位的原始三维医学影像进行前置采样处理，以将各种不同厚度、尺寸的多模态的原始三维医学影像，调整至指定尺寸的三维医学影像，从而通过语义分割处理，得到对应的三维标记图像，并且该三维标记图像中的每个体素都对应有属于各个关键结构的概率值，每个概率值可作为后续分割出至少一个关键结构的依据。基于三维标记图像进行后置采样处理，得到满足高分辨率条件的目标标记图像，从而提高后续分割的精准度，这样基于三维标记图像中每个体素分别对应的概率值，对目标标记图像进行分割，可以将每个关键结构都从三维医学影像中准确的分割出来。最后对每张三维结构图像分别进行重建处理，所得到的目标三维结构模型能够精准地表示相应的关键结构，并具有高分辨率，消除了断层的现象，满足可视化的需求。
另一方面，本申请还提供了一种图像处理模型的训练方法。所述方法包括：
获取目标部位的原始三维医学影像样本，以及与各原始三维医学影像样本分别对应的结构标签；
对所述原始三维医学影像样本进行前置采样处理，得到指定尺寸的三维医学影像样本；
通过待训练的图像处理模型对所述指定尺寸的三维医学影像样本进行语义分割处理，得到预测三维标记图像，所述预测三维标记图像中的每个体素都对应有属于各个关键结构的预测概率值；
基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数；
基于所述目标损失函数调整所述图像处理模型的模型参数，并基于调整模型参数后的图像处理模型继续进行模型训练，直至达到训练停止条件时停止，得到训练完成的图像处理模型。
另一方面，本申请还提供了一种图像处理模型的训练装置。所述装置包括：
获取模块，用于获取目标部位的原始三维医学影像样本，以及与各原始三维医学影像样本分别对应的结构标签；
前置采样模块，用于对所述原始三维医学影像样本进行前置采样处理，得到指定尺寸的三维医学影像样本；
预测模块，用于通过待训练的图像处理模型对所述指定尺寸的三维医学影像样本进行语义分割处理，得到预测三维标记图像，所述预测三维标记图像中的每个体素都对应有属于各个关键结构的预测概率值；
构建模块，用于基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数；
调参模块，用于基于所述目标损失函数调整所述图像处理模型的模型参数，并基于调整模型参数后的图像处理模型继续进行模型训练，直至达到训练停止条件时停止，得到训练完成的图像处理模型。
另一方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像处理模型的训练方法的步骤。
另一方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理模型的训练方法的步骤。
另一方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述图像处理模型的训练方法的步骤。
上述图像处理模型的训练方法、装置、计算机设备、存储介质和计算机程序产品，通过获取带有结构标签的原始三维医学影像样本，先进行前置采样处理，将不同尺寸、厚度的原始三维医学影像样本统一转换成指定尺寸的三维医学影像样本，以满足后续图像处理模型的输入要求；通过待训练的图像处理模型对所述指定尺寸的三维医学影像样本进行语义分割处理，得到预测三维标记图像，根据基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数，以使图像处理模型的训练过程朝着目标损失函数最小化的方向进行，以训练图像处理模型的准确度达到要求；在训练过程中，基于所述目标损失函数不断调整图像处理模型的模型参数，直至达到训练停止条件时停止训练，由此得到训练完成的图像处理模型。通过上述方式训练得到的图像处理模型的准确度高，能够实现高分辨率的图像分割，进而能够保证后续重建的三维结构模型的精准度。
附图说明
图1为一个实施例中基于三维影像的关键结构重建方法的应用环境图；
图2为一个实施例中基于三维影像的关键结构重建方法的流程示意图；
图3为一个实施例中3D U-Net中残差模块的示意图；
图4A为一个实施例中对目标标记图像进行分割的步骤的流程示意图；
图4B为一个实施例中多通道概率值的示意图；
图5为一个实施例中对三维结构图像进行重建处理的步骤的流程示意图；
图6为一个实施例中配准的步骤的流程示意图；
图7为一个实施例中可视化展示的步骤的流程示意图；
图8为一个实施例中图像处理模型的训练的步骤的流程示意图；
图9为一个实施例中原始三维医学影像样本的标注的步骤的流程示意图；
图10为一个实施例中原始三维医学影像样本的填充的步骤的示意图；
图11为一个实施例中基于三维影像的关键结构重建方法的应用场景示意图；
图12A为一个实施例中整体流程的示意图；
图12B为另一个实施例中整体流程的示意图；
图12C为一个实施例中分割和重建效果的示意图；
图12D为另一个实施例中分割和重建效果的示意图；
图13为一个实施例中图像处理模型的训练方法的流程示意图；
图14为一个实施例中原始三维医学影像样本的标注的步骤的流程示意图；
图15为一个实施例中基于三维影像的关键结构重建装置的结构框图；
图16为一个实施例中图像处理模型的训练装置的结构框图；
图17为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
传统的图像重建方式中，往往采用阈值分割的方式得到相应的组织或器官的部位的图像。在实际临床场景中，由于医学设备的扫描分辨率过低，导致医学影像轴向分辨率低并呈现明显的断层，进而导致重建得到的图像精确度低下。
在实际临床场景中，医学扫描设备的扫描分辨率较低，难以获得高分辨率的三维医学影像。三维医学影像是由多层切片(Slice)叠加形成的，根据扫描探头的硬件规格不同，可以划分为厚层影像和薄层影像。其中，厚层影像的层厚较厚，相对应地，总切片的数量较少，使得厚层影像呈现出明显的断层情形，无法据其重建出精确的关键结构，严重影响医疗处理过程中的配准精度，并使得关键结构分割和可视化的效果变得极差。薄层影像相对于厚层影像而言，层厚较薄，总切片的数量更多，但受限于医学扫描设备的扫描原理，薄层影像呈现断层的情形同样无法避免。
为此，本申请实施例基于人工智能技术提供一种基于三维影像的关键结构重建方法、装置、计算机设备、存储介质和计算机程序产品，通过计算机视觉技术和机器学习技术相结合，基于图像的连续性分析，将离散编码的三维医学影像通过端对端的三维卷积神经网络，编码到连续的隐空间(Hidden Space)，在解码阶段输出高分辨率的三维结构图像，并重建得到精确的三维结构模型。
其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中，计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟进和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
其中，机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、以及式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、以及智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
下面阐述本申请实施例提供的涉及人工智能的基于三维影像的关键结构重建方法、图像处理模型的训练方法等技术的方案。
本申请实施例提供的基于三维影像的关键结构重建方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以集成在服务器104上，也可以放在云上或其他服务器上。在一些实施例中，终端102或服务器104对本地存储或通过网络获取的目标部位的原始三维医学影像，依次进行前置采样处理、语义分割处理、后置采样处理，并进行分割得到至少一张三维结构图像，对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型。
在另一些实施例中，服务器104获取由终端102传输或网络采集的原始三维医学影像，依次进行前置采样处理、语义分割处理、后置采样处理，并进行分割得到至少一张三维结构图像，对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型。服务器104可将目标三维结构模型传输至终端102，以供终端102进行可视化展示。
其中，终端102或服务器104得到的目标三维结构模型，可以在终端102或通过其他设备进行可视化展示，该其他设备例如外接有显示装置的医学扫描设备、单独的显示装置等。其中，医学扫描设备例如为CT(Computed Tomography，电子计算机断层扫描)机器、核磁共振仪、以及超声扫描仪等中的一种或多种。其中，显示装置包括但不限于显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏等中的一种或多种。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、以及智能车载设备等中的一种或多种。便携式可穿戴设备可为智能手表、智能手环、以及头戴设备等中的一种或多种。
其中，服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一些实施例中，如图2所示，提供了一种基于三维影像的关键结构重建方法，该方法可以应用于终端或服务器，也可以由终端和服务器协同执行。下面以该方法应用于计算机设备为例进行说明，包括以下步骤：
步骤S202，对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像，目标部位包括有至少一个关键结构。
其中，原始三维影像是基于医学扫描设备对目标对象的目标部位进行医学影像采集得到的，包括多种模态，例如但不限于CT影像、MRI(Magnetic Resource Imaging，核磁共振成像)影像、以及超声影像等中的一种或多种。其中，目标对象可以是人体、动物体、或非生物物体；目标部位是目标对象上的部位区域。以人体或动物体为例，目标部位可以是头部、颈部、躯干部位、以及四肢部位等中的一种或多种；对于非生物物体而言，目标部位可以是该非生物物体的部分或全部区域。
其中，关键结构指的是在医疗处理过程中可应用于配准和可视化的关键解剖结构，包括但不限于皮肤、大脑、颅骨、脑室、股骨、以及病灶等中的一种或多种。目标部位可以包括一个或多个关键结构。以目标部位为头部为例，该目标部位包括有皮肤、大脑、颅骨、以及脑室等。
由于医学扫描设备的硬件限制，计算机设备获取的原始三维医学影像的图像尺寸和分辨率通常不尽相同，如果不对原始三维医学影像进行预处理，将会极大地增加计算量，并影响后续三维结构图像和三维结构模型的精确度。因此，可以通过前置采样处理，将不同规格的原始三维医学影像转换至指定尺寸，以适配不同厚度、不同尺寸的原始三维医学影像，以及适配后续处理的输入要求。
具体地，计算机设备对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像。其中，前置采样处理可以通过插值处理的方式实现，插值处理包括但不限于线性插值、双线性插值、以及三次曲线插值等中的一种或多种。
示例性地，计算机设备通过线性插值，将获取的原始三维医学影像的尺寸，调整至176×176×176的指定尺寸，该指定尺寸的三维医学影像作为后续神经网络的输入。
步骤S204，对所述指定尺寸的三维医学影像进行语义分割处理，得到对应的三维标记图像，所述三维标记图像中的每个体素都对应有属于各个关键结构的概率值。
其中，语义分割处理是对三维医学影像中的每一个体素进行分类，从而获得对应于各个体素的不同的语义可解释类别，该语义可解释类别用于表征各个体素分别所属的至少一个关键结构。
具体地，计算机设备将指定尺寸的三维医学影像输入至预先训练好的三维卷积神经网络中，由该三维卷积神经网络依次进行编码处理(Encode)和解码处理(Decode)，通过编码处理获取三维医学影像中的低阶图像特征，并通过解码处理将低阶图像特征转换为高阶图像特征，最终输出对应于三维医学影像的三维标记图像。其中，三维标记图像中的每一体素对应有属于各个关键结构的概率值，例如，对于三维标记图像中的一体素，假设三维医学影像中包括三个关键结构A、B和C，则该体素对应有属于这些关键结构的三个概率值，例如(0.1,0.8,0.3)，其中0.1表征该体素属于关键结构A的概率值，0.8表征该体素属于关键结构B的概率值，0.3表征该体素属于关键结构C的概率值。
其中，三维卷积神经网络为三维的卷积神经网络(Convolutional NeuralNetworks，CNN)，包括输入层、至少一层隐藏层和至少一层输出层。其中，输入层用于接收指定尺寸的三维医学影像；隐藏层包含卷积层和激活函数层，甚至还可以包含归一化层、池化层、以及融合层中的至少一种等；输出层用于输出包含有图像特征信息的特征图。各层的连接方式根据各层在神经网络结构中的连接关系而确定。例如，基于数据传输而设置的前后层连接关系，基于各隐藏层中卷积核尺寸而设置与前层数据的连接关系，以及全连接等。
示例性地，本申请实施例中通过采用3D U-Net(一种U型结构的三维卷积神经网络)进行编码处理和解码处理。3D U-Net的U型结构包括下采样路径和上采样路径，每个路径包括4个相同模块。下采样模块由如图3所示的残差模块(Residual Block)和步长为2的卷积层组成。图3所示的残差模块中例如包括两个相同的模块，该模块包括一层激活层(TheRectified Linear Unit，RELU)、大小为3×3×3的卷积层(Convolution，Conv)、以及归一化层(Batch Normalization，BN)。其中，残差模块在卷积层之间采用残差连接的连接方式。上采样模块由跳跃连接的上采样层组成，同一尺度的特征图经过卷积层和上采样层可以融合成语义信息更强的特征图。
在语义分割处理的过程中，还能通过语义分割去除图像中包括的目标部位在扫描时的床板、或用于固定目标部位的附着物等，避免无关物体影响三维结构图像和三维结构模型的精确度。
步骤S206，基于所述三维标记图像进行后置采样处理，得到满足高分辨率条件的目标标记图像。
为了进一步提高图像的分辨率，使得后续重建的三维结构模型更加精准，在三维卷积神经网络编码处理和解码处理输出三维标记图像的基础上，计算机设备还对三维标记图像进行后置采样处理，以提高图像的分辨率。
具体地，计算机设备基于通过三维卷积神经网络得到的三维标记图像，对该三维标记图像进行后置采样处理，得到满足高分辨率条件的三维标记图像，即为目标标记图像。其中，后置采样处理可以通过插值处理的方式实现，插值处理包括但不限于线性插值、双线性插值、以及三次曲线插值等中的一种或多种。
其中，目标标记图像的分辨率高于指定尺寸的三维医学影像的分辨率。示例性地，计算机设备通过后置采样层进行上采样处理，通过线性插值的方式将三维标记图像插值到1mm的物理分辨率，从而满足高分辨率条件。高分辨率条件可以根据实际需求而定，例如具体限定了分辨率的数值等。
步骤S208，基于所述三维标记图像中每个体素分别对应的概率值，对所述目标标记图像进行分割，得到至少一张三维结构图像，每张三维结构图像对应一个关键结构。
具体地，在后置采样处理后，计算机设备对该高分辨率的目标标记图像进行分割，将目标标记图像中属于同一关键结构的体素分割出来，从而获得包含有该关键结构的三维结构图像。当三维医学影像中包含多个关键结构时，计算机设备得到多张包含有单个关键结构的三维结构图像。示例性地，计算机设备可以通过阈值分割的方式将目标标记图像中属于同一关键结构的体素分割出来。
在一些实施例中，后置采样处理的步骤也可以在对所述目标标记图像进行分割的步骤之后，即，分别对每张三维结构图像进行插值处理，以提高三维结构图像的分辨率。
步骤S210，对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型，目标三维结构模型用于进行可视化展示。
其中，重建处理指的是将三维结构图像中的关键结构重建为可视化的三维结构模型的处理过程。
具体地，计算机设备从三维结构图像中确定待重建的关键结构，称之为目标关键结构，并从中提取该目标关键结构在三维结构图像中对应的全部体素；计算机设备根据这些体素构建目标关键结构的表面，得到对应于目标关键结构的目标三维结构模型。其中，重建得到的目标三维结构模型可以在术前配准、术中导航、以及其他场景中进行可视化展示。可视化展示包括但不限于图形展示、VR(Virtual Reality，虚拟现实)展示、AR(AugmentedReality，增强现实)展示、以及MR(Mixed Reality，混合现实)展示等可视化方式中的一种或多种。
上述基于三维影像的关键结构重建方法，通过对目标部位的原始三维医学影像进行前置采样处理，以将各种不同厚度、尺寸的多模态的原始三维医学影像，调整至指定尺寸的三维医学影像，从而通过语义分割处理，得到对应的三维标记图像，并且该三维标记图像中的每个体素都对应有属于各个关键结构的概率值，每个概率值可作为后续分割出至少一个关键结构的依据。基于三维标记图像进行后置采样处理，得到满足高分辨率条件的目标标记图像，从而提高后续分割的精准度，这样基于三维标记图像中每个体素分别对应的概率值，对目标标记图像进行分割，可以将每个关键结构都从三维医学影像中准确的分割出来。最后对每张三维结构图像分别进行重建处理，所得到的目标三维结构模型能够精准地表示相应的关键结构，并具有高分辨率，消除了断层的现象，满足可视化的需求。
本申请的方案可以适配于多模态的原始三维医学影像，应用范围广，且可以基于图像的连续性分析，将离散编码的三维医学影像，编码到连续的隐空间，进而输出高分辨率的三维结构图像，由此重建得到的三维结构模型更加精准，可以很好的呈现立体化的效果。上述方法不仅能够获得高分辨率的三维结构图像，还能够进行精细、准确的关键结构重建，减少了后续配准的误差。并且，由于整个架构是端到端的，可以全部在GPU(GraphicsProcessing Unit，图形处理器)上执行，节省了CPU(Central Processing Unit，中央处理器)的计算资源。
由于医学扫描设备的规格不同、探头的硬件条件不同、以及所配置的扫描间距不同，扫描所得到的原始三维医学影像的厚度和尺寸也不尽相同。为此，在一些实施例中，所述对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像，包括：获取对目标对象的目标部位进行医学影像采集得到的原始三维医学影像；通过前置采样层对所述原始三维医学影像进行插值处理，得到指定尺寸的三维医学影像。
具体地，医学扫描设备对目标对象的目标部位进行医学影像采集，得到对应于目标部位的原始三维医学影像。计算机设备获取由医学扫描设备传输的原始三维医学影像，并通过预先设置的前置采样层，按照前置采样层配置的输出尺寸信息，对目标部位的原始三维医学影像进行前置采样处理，得到输出尺寸信息所规定的指定尺寸的三维医学影像。
其中，前置采样处理可以通过插值处理的方式实现，插值处理包括但不限于线性插值、双线性插值、以及三次曲线插值等中的一种或多种。示例性地，计算机设备通过线性插值，将获取的原始三维医学影像的尺寸，调整至176×176×176的指定尺寸，该指定尺寸的三维医学影像作为后续神经网络的输入。
上述实施例中，通过前置采样层对原始三维医学影像进行插值处理，能够适配于各种医学扫描设备所采集得到的不同厚度、不同尺寸的原始三维医学影像，适用范围更广，并且通过前置采样处理，使得后续的概率值更加准确，进而重建得到的三维结构模型更加精准。
承前所述，计算机设备利用预先训练好的三维卷积神经网络进行编解码处理，在一些实施例中，该预先训练好的三维卷积神经网络中包括编码网络和解码网络两部分，相应地，对所述指定尺寸的三维医学影像进行语义分割处理，得到对应的三维标记图像，包括：通过编码网络提取所述指定尺寸的三维医学影像中的多个连续特征向量；通过解码网络将所述多个连续特征向量进行融合，得到对应于所述指定尺寸的三维医学影像的特征图；对所述特征图进行归一化处理，并通过激活层将归一化处理后的特征图进行转换，输出三维标记图像。
具体地，计算机设备将前置采样后得到的指定尺寸的三维医学影像，输入至编码网络中，并通过编码网络进行下采样，将三维医学影像中的各个体素编码到连续的特征向量空间，并得到多个连续特征向量，该多个连续特征向量构成特征图。然后，计算机设备将得到的特征图再输入至解码网络中，由解码网络进行上采样，将特征图恢复至三维医学影像输入编码网络时的指定尺寸，并对多个特征特征向量进行融合，得到语义特征信息更强的特征图。最后，计算机设备对该特征图进行归一化处理，并通过激活层将归一化处理后的特征图进行转换，获取指定尺寸的三维医学影像中每一个体素对应的属于各个关键结构的概率值，并输出携带有概率值的信息的三维标记图像。
示例性地，计算机设备通过计算特征图中每个体素的均值、标准差等，对指定分辨率的特征图进行归一化处理。例如，归一化处理的公式可如下所示：
Figure BDA0003594503660000141
其中，Iin为输入的特征图中体素的值，min(Iin)为体素的最小值，max(Iin)为体素的最大值，Iin为归一化处理后输出的特征图中体素的值。
在归一化处理后，计算机设备通过激活层将归一化处理后的特征图进行转换，以输出包括有概率值的信息的三维标记图像。
上述实施例中，通过编码网络和解码网络提取连续特征向量并进行特征融合，基于图像的连续性分析，将离散编码的三维医学影像通过端对端的三维卷积神经网络，编码到连续的隐空间，在解码阶段输出高分辨率的三维标记图像，提供了精准的语义分割，进而保证了后续重建三维结构模型的精准度。
在一些实施例中，如图4A所示，基于所述三维标记图像中每个体素分别对应的概率值，对所述目标标记图像进行分割，得到至少一张三维结构图像，包括：
步骤S402，确定与各个关键结构分别对应的概率阈值；
步骤S404，对于每个关键结构，均将所述三维标记图像中各体素属于相应关键结构的概率值，与相应关键结构对应的概率阈值进行比较，并基于比较结果，从所述目标标记图像中确定出与相应关键结构匹配的目标体素；
步骤S406，基于每个关键结构分别对应的目标体素进行分割，得到至少一张三维结构图像。
具体地，计算机设备获取预先设置的对应于各个关键结构的多个概率阈值。对于三维标记图像中的每个体素，根据该体素对应的对应于各个关键结构的概率值，计算机设备将概率值与概率阈值进行比较，并根据二者的数值比较结果，将满足阈值条件的体素确定为属于该阈值条件所对应的关键结构的目标体素。例如，若概率值大于(或小于)预设阈值，则确定该体素为属于相应关键结构的目标体素。对于每一个体素，计算机设备均做上述处理，由此确定了每个关键结构分别对应的全部目标体素。
举例而言，假设有三个关键结构，三维标记图像中的每个体素均对应有三个概率值，例如(0.1,0.8,0.3)，其中0.1表征该体素属于关键结构A的概率值，0.8表征该体素属于关键结构B的概率值，0.3表征该体素属于关键结构C的概率值。根据预先设置的各关键结构的概率阈值均为0.7，由于该体素对应的多个概率值中，对应于关键结构B的概率值大于该概率阈值，则计算机设备即可确定该体素属于关键结构B。若体素对应的多个概率值中，有多个概率值大于概率阈值，则计算机设备确定该体素属于多个相应的关键结构。
由此，对于每个关键结构，计算机设备将对应于该关键结构的全部目标体素分割出来，得到对应于该关键结构的三维结构图像；当三维医学影像中包括有多个关键结构时，计算机设备即可分割得到多张三维结构图像。
在一些实施例中，三维标记图像中包括由多个通道，每个通道表示一个关键结构。相应地，三维标记图像中的每个体素均携带有各个通道下的概率值。示例性地，如图4B所示，三维标记图像中的每一通道分别对应于一个关键结构，例如通道A对应于皮肤、通道B对应于大脑、通道C对应于颅骨。对于其中一个体素，相应地，各通道下的各个体素属于相应关键结构的概率值，仍如图4B所示，例如其在对应于皮肤的概率图中的概率值为0.1，在对应于大脑的概率图中的概率值为0.8，在对应于颅骨的概率图中的概率值为0.06。
上述实施例中，通过设置概率阈值，对语义分割得到的三维标记图像进行分割，能够快速、准确地将属于同一关键结构的全部体素从原来的图像中分割出来，得到仅包含该关键结构的三维结构图像，既可以提供针对于单个关键结构的可视化图形，并且据此可以针对性地进行关键结构的重建，避免其他关键结构对重建得到的三维结构模型的精度的影响。
在一些实施例中，如图5所示，对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的三维结构模型，包括：
步骤S502，对于每张三维结构图像，建立与三维结构图像中包含的关键结构相匹配的初始三维结构模型，初始三维结构模型中关键结构的表面由多个预设形状的面片构成。
步骤S504，对各初始三维结构模型中关键结构的表面进行平滑处理，得到与各关键结构分别对应的目标三维结构模型。
具体地，对于分割得到的三维结构图像，计算机设备根据三维结构图像进行表面建模，通过多个预设形状的面片构成该三维结构图像中关键结构的表面，得到该关键结构的初始三维结构模型。其中，预设形状包括但不限于三角形、矩形、六边形、以及八边形等中的一种或多种。示例性地，计算机设备通过VTK(Visualization Toolkit，视觉化工具函式库)中的Discrete Marching Cube(离散等值面提取)函数将三位分割图像转化为初始三维结构模型。
由于数据量通常较大，为了提高平滑度，计算机设备再对结构模型中关键结构的表面进行平滑处理，得到与各关键结构分别对应的目标三维结构模型。示例性地，计算机设备可以通过VTK中的Windowed Sinc(窗口滤波)函数进行滤波，从而平滑初始三维结构模型的表面。
为了提升计算速度，需要将面片的数量最大控制在一定数量，从而保持固定的计算时长。对于不同的关键结构可以设置不同的数量阈值。例如，由于皮肤可用于后续的配准，需要更高的精确度，因此可以将对应于皮肤的三维结构模型的面片的数量设置2000个，其他关键结构如骨头等则可按照可视化要求设置更少的数量。
上述实施例中，通过对三维结构图像进行建模，将图像转化为进一步可视化的三维结构模型，并且通过表面的面片和平滑滤波，使得三维结构模型更加精细，能够精准地表征目标部位中的各个关键结构，后续术前配准和术前导航等场景中精确度更高。
在得到目标三维结构模型之后，该目标三维结构模型可以应用于配准的场景中。例如，为了在医疗处理中提供精准的导航或实现精确地虚拟现实渲染，需要将医疗处理时采集的现实场景影像进行配准。配准指的是表层(或表面)的配准。在一些实施例中，目标部位的关键结构包括表层结构和内部结构。其中，对于生物体而言，表层结构例如为皮肤，内部结构例如为皮肤包裹下的大脑、股骨等；对于非生物体而言，表层结构例如为外表面(或外表皮)，内部结构例如为内部的具体结构。相应地，在一些实施例中，如图6所示，上述方法还包括：
步骤S602，获取在现实场景中对目标部位进行图像采集得到的现实场景影像，并确定与现实场景影像对应的真实表层点云数据。
步骤S604，将表层结构所对应的目标三维结构模型转换为重建表层点云数据，并将重建表层点云数据与真实表层点云数据进行配准。
其中，现实场景影像是在现实场景中通过医学扫描设备或由其他摄像装置对目标部位扫描得到的三维影像，摄像装置例如为点云扫描器、深度相机等。
具体地，计算机设备获取现实场景影像，并将该现实场景影像转换为真实表层点云数据。对于目标三维结构模型，计算机设备通过确定目标三维结构模型中各个面片的连接点，并去除面片部分，得到与表层结构对应的重建表层点云数据。计算机设备将重建表层点云数据与真实表层点云数据通过刚体变换(包括平移、旋转和镜像反转)进行配准，确定重建表层点云数据中每一个体素的坐标值，与真实表层点云数据中每一个体素的坐标值之间的映射关系，从而将现实场景中的表层部位与目标三维结构模型中的表层结构进行对齐。
示例性地，对于目标三维结构模型，可以利用ICP(Iterative Closest Point，迭代最近点)算法进行刚体变换和非刚体变换，以建立目标三维结构模型转换得到的重建表层点云数据与真实表层点云数据之间的坐标系的映射关系，从而确定关键结构的相对位置关系。
上述实施例中，通过目标三维结构模型转换得到的重建表层点云数据，并据此将现实场景影像转换得到的真实表层点云数据进行配准和对齐，具有较高的精度，配准效果更好。
在配准完成后，在一些实施例中，如图7所示，上述方法还包括如下步骤，以实现目标三维结构模型的可视化：
步骤S702，在重建表层点云数据与真实表层点云数据配准完成后，基于配准结果，确定目标部位的各内部结构所对应的目标三维结构模型，在现实场景影像中的相对位置。
步骤S704，根据各内部结构所对应的目标三维结构模型分别在现实场景影像中的相对位置，将各内部结构所对应的目标三维结构模型叠加展示在现实场景影像中。
具体地，在重建表层点云数据与真实表层点云数据配准完成后，计算机设备基于配准结果，确定重建表层点云数据中每一个体素的坐标值，与真实表层点云数据中每一个体素的坐标值之间的映射关系，由此确定各内部结构对应的目标三维结构模型对应的重建表层点云数据在现实场景影像中的相对位置。由此，根据各内部结构所对应的目标三维结构模型分别在现实场景影像中的相对位置，计算机设备即可将各内部结构所对应的目标三维结构模型叠加展示在现实场景影像中，从而实现基于VR/AR/MR的三维可视化展示。
示例性地，将皮肤对应的目标三维模型转换得到的重建表层点云数据，与现实场景影像对应的真实表层点云数据进行配准后，以混合现实的方式，在现实的3D图像中显示人脑的各个内部结构，例如可以将病灶叠加投影在真实人脑上，以提供准确的定位。
上述实施例中，根据配准结果将各内部结构所对应的目标三维结构模型，叠加展示在现实场景影像中的相应位置中，可以在现实场景影像中实时查看虚拟的内部结构，实现了内部结构的可视化，并且具有较高的精度。
承前所述，计算机设备利用预先训练好的三维卷积神经网络进行编解码处理，该三维卷积神经网络可以为经机器学习得到的图像处理模型，并且指定尺寸的三维医学影像的编解码处理由图像处理模型处理实现。对应地，在一些实施例中，如图8所示，图像处理模型的训练步骤包括：
步骤S802，获取目标部位的原始三维医学影像样本，以及与各原始三维医学影像样本分别对应的结构标签。
其中，原始三维医学影像样本包括但不限于厚层影像、薄层影像、以及伪厚层影像中的一种或多种。其中，伪厚层影像是通过对薄层影像等间距地抽取切片，并做插厚处理得到。间距通常为1mm～7mm之间。为了提高图像处理模型在训练时的准确性，还可以通过其他方式进行样本增强，例如对三维医学影像进行随机翻转、随机转置等操作。
具体地，计算机设备获取多个包括目标部位的原始三维医学影像样本，其中，每个原始三维医学影像样本分别对应有对应的结构标签，结构标签用于表征原始三维医学影像样本中包含的关键结构。示例性地，结构标签可以表示体素是否属于某种关键结构、以及属于哪种关键结构。例如，通过“0”的结构标签表示体素不属于任何关键结构，“1”的结构标签用于表示体素属于关键结构A、“2”的结构标签用于表示体素属于关键结构B……等等。
步骤S804，对原始三维医学影像样本进行前置采样处理，得到指定尺寸的三维医学影像样本。
具体地，计算机设备通过预先设置的前置采样层，按照前置采样层配置的输出尺寸信息，对目标部位的原始三维医学影像进行前置采样处理，得到输出尺寸信息所规定的指定尺寸的三维医学影像，该指定尺寸的三维医学影像样本作为后续的图像处理模型的输入。
步骤S806，通过待训练的图像处理模型对所述指定尺寸的三维医学影像样本进行语义分割处理，得到预测三维标记图像，所述预测三维标记图像中的每个体素都对应有属于各个关键结构的预测概率值。
具体地，计算机设备将指定尺寸的三维医学影像样本，输入至待训练的图像处理模型中，由该待训练的图像处理模型依次进行编码处理和解码处理，通过编码处理获取三维医学影像中的低阶图像特征，并通过解码处理将低阶图像特征转换为高阶图像特征，最终输出对应于三维医学影像样本的预测三维标记图像。
步骤S808，基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数。
具体地，计算机设备将语义分割得到的预测三维标记图像中，每一个体素对应的预测概率值，与相应原始三维医学影像样本中每个体素所对应的结构标签之间进行比较，根据预测概率值与实际的结构标签之间的差异，构建对于相应关键结构的损失函数。由于图像处理模型可以用于多个关键结构的分割中，当图像处理模型处理多个关键结构时，计算机设备根据每个关键结构对应的损失函数，构建对应于图像处理模型的总损失函数，即目标损失函数。
在一些实施例中，所述基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数，包括：基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的重合程度，确定与各关键结构分别对应的初始损失；根据各关键结构各自对应的初始损失和预设权重，构建目标损失函数。
其中，预设权重的大小用于表征关键结构的重要程度。例如皮肤的精准度非常关键，直接影响后续配准的准确性，因此皮肤这一关键结构对应的预设权重的值可以相较于其他关键结构对应的预设权重的值更大。
具体地，计算机设备基于预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的重合程度，确定与各关键结构分别对应的初始损失。其中，每个关键结构预先设置有对应的预设权重，计算机设备根据该预设权重和初始损失，即可构建目标损失函数。
示例性地，初始损失Ldice的公式可如下所示：
Figure BDA0003594503660000201
其中，X为输出的三维标记图像，Y为用于参照的标注有结构标签的原始三维医学影像样本。Ldice用于表征所输出的概率图与标准概率图之间的重叠程度，Ldice越大，表明概率图与标准概率图之间的重叠程度越高；当概率图与标准概率图完全重叠时，Ldice＝1。相应地，根据对应于每个关键结构的预设权重，目标损失函数Ltotal可如下所示：
Figure BDA0003594503660000211
其中，n为关键结构的数量，λi为关键结构i的预设权重，Li为关键结构i对应的初始损失Ldice。
上述实施例中，通过对不同的关键结构分别设置不同的预设权重，并根据不同的预设权重和初始损失确定最终的目标损失函数，对图像处理模型的训练效果更好，能够提高训练的准确度。
步骤S810，基于目标损失函数调整图像处理模型的模型参数，并基于调整模型参数后的图像处理模型继续进行模型训练，直至达到训练停止条件时停止，得到训练完成的图像处理模型。
具体地，在训练过程中，计算机设备根据目标损失函数调整图像处理模型的模型参数，并朝着目标损失函数最小的方向对图像处理模型继续进行模型训练，直至达到训练停止条件时停止，得到训练完成的图像处理模型。其中，训练停止条件包括但不限于训练时间达到预设时长、训练次数达到预设次数、以及目标损失函数达到预设阈值等中的至少一种。
上述实施例中，通过对图像处理模型进行训练，并构建目标损失函数约束图像处理模型在训练过程中的参数更新，训练好的图像处理模型在后续使用时能够进行快速准确的编解码处理，提高了后续分割和重建的精度。
在一些实施例中，关键结构对应的结构标签可以为人工手动标注的。在另一些实施例中，关键结构对应的结构标签可以通过标注算法得到。为了保证重建的精度足够高，相应地，在一些实施例中，如图9所示，与任一关键结构所对应的原始三维医学影像样本的结构标签的获取步骤包括：
步骤S902，对未标注的原始三维医学影像样本进行切片处理，得到多个切片样本。
具体地，计算机设备对未标注的原始三维医学影像样本，按照一定的间距进行等间距的切片处理，得到对应于一张原始三维医学影像的多个切片样本。示例性地，间距例如为1mm～7mm。
步骤S904，获取与任一关键结构相匹配的预设阈值，并基于预设阈值对各切片样本分别进行阈值分割，得到二值化切片样本。
具体地，计算机设备获取与各个关键结构相匹配的预设阈值，并基于预设阈值对各切片样本分别进行阈值分割，得到多个二值化切片样本。例如，设置皮肤对应的预设阈值为-390，基于该预设阈值对各个切片样本进行阈值分割，将体素值大于阈值则标记为1并填充为白色(或黑色)，反之标记为0并填充为黑色(或白色)等，由此得到多个二值化切片样本。
步骤S906，对二值化切片样本进行空腔填充处理，得到待标注切片样本。
由于阈值分割只是粗略地进行初步分割，分割的结果不够精确。因此，具体地，计算机设备对二值化切片样本进行空腔填充处理，填充经阈值分割生成的空腔或孔洞，从而得到待标注切片样本。
在一些实施例中，对二值化切片样本进行空腔填充处理，得到待标注切片样本，包括：在二值化切片样本中确定至少一个体素作为种子体素，确定与种子体素对应的连通域；在与种子体素对应的连通域中，基于预设体素值对与种子体素属性相同的体素进行填充，得到填充切片样本；将填充切片样本取反后与相对应的二值化切分样本进行求和，得到待标注切片样本。
具体地，计算机设备在二值化切片样本中，确定至少一个体素作为种子体素，并根据种子体素确定其连通域。在该种子体素的连通域中，计算机设备基于预设体素值对与种子体素属性相同的体素进行填充，得到填充切片样本。其中，属性相同例如为灰度值相同等。示例性地，预设体素值例如为表征黑色和白色的体素值，但并不以此为限，例如还可以是表征红色和蓝色的体素值等。在填充后，计算机设备将填充得到的填充切片样本进行取反，并将取反后得到的填充切片样本与相对应的二值化切分样本进行求和，由此得到待标注切片样本。
在一些情况下，例如头部的目标部位，鼻尖和后脑勺有时会超出图像范围，因此设定两个及以上的种子体素能够提升鲁棒性。示例性地，如图10所示，计算机设备在二值化切片样本(a)中，确定左上角和右下角的体素作为种子体素，通过使用OpenCV(计算机视觉和机器学习软件库)的FloodFill(漫水填充算法)函数进行填充，得到填充切片样本(b)。计算机设备对填充切片样本(b)进行取反，得到取反后得到的填充切片样本，例如为内部孔洞的掩模图像(c)，并将取反后得到的填充切片样本与相对应的二值化切分样本进行求和，记得到最终的待标注切片样本(d)。在一些情况下，由于自动填充在耳朵和鼻孔处存在错误填充的可能，可以通过人工的方式进行手动修正，以提高标注的准确性。
上述实施例中，通过对二值化切片样本进行空腔填充处理，阈值分割边界非常精确，并且有效地去除了内部孔洞，能够快速准确地实现标注，进而提高了后续的训练和应用中图像分割和三维结构模型重建的精确度。
步骤S908，基于任一关键结构所对应的结构标签，对待标注切片样本中表征关键结构的体素进行标注，得到携带有结构标签的标注切片样本。
具体地，计算机设备对待标注切片样本中表征某一关键结构的全部体素，均标注与该关键结构相对应的结构标签，从而得到携带有结构标签的标注切片样本。示例性地，对于表征皮肤的全部体素，计算机设备标注上对应于皮肤的结构标签，从而得到携带有皮肤的结构标签的标注切片样本。
步骤S910，根据各个切片样本对应的结构标签，确定各个切片样本所属的原始三维医学影像样本对应的结构标签。
具体地，计算机设备根据各个切片样本所属的原始三维医学影像样本，结合各个切片样本分别对应的结构标签，确定原始三维医学影像样本对应的结构标签。由此，携带有结构标签的原始三维医学影像样本可作为图像处理模型的输入，用于图像处理模型的训练过程。
上述实施例中，通过对关键结构进行精确的标注，使得训练得到的图像处理模型的准确性更高，由此图像处理模型的输出而重建的三维结构模型的精度也更高。
本申请实施例提供的基于三维影像的关键结构重建方法，还可以应用在模型重建的刚体变换和非刚体变换等场景中。或者，也可以应用在神经外科、骨科的医疗处理应用场景中，如图11所示，以脑部的医疗处理为例，处理前通过医学扫描设备扫描了CT影像和MRI影像，通过上述实施例中的步骤进行关键结构分割，并通过重建得到各个关键结构对应的三维结构模型。其中，对应于皮肤的三维结构模型可以与通过点云扫描器/深度相机等扫描得到的真实表层点云数据进行术中配准，配准完成后的配准结果可以进行混合现实渲染，以用于医疗处理，辅助操作者进行关键结构的定位等。
在一个具体的实例中，以目标部位为头部为例，包括例如皮肤、头骨、大脑、脑室、以及病灶等多种关键结构。普通的图像重建中是图像到图像的重建方式，这种方式重建的图像并不针对关键结构，导致后续分割得到的关键结构依旧存在断层感，并且精度较差，无法满足医疗处理的需要。本申请实施例提供的分割和重建方法，既可满足可视化的要求，也能获取精确、高分辨率的三维结构模型，减小了导航过程中的配准误差。本申请实施例中基于三维影像的关键结构重建方法的整体流程如图12A所示，计算机设备将厚层的原始图像通过前置采样层进行插值处理，并通过三维卷积神经网络进行语义分割，再进行后置采样处理并进行图像分割，得到薄层的分割图像。
以厚层的原始图像为厚层CT影像为例，如图12B所示，计算机设备通过线性插值进行前置采样，将获取的原始三维医学影像的尺寸调整至176×176×176的指定尺寸，该指定尺寸的三维医学影像作为后续3D U-Net的输入，并通过3DU-Net输出同样为指定尺寸的三维标记图像。为了进一步提高分辨率，计算机设备将三维标记图像进行上采样的后置采样处理，插值到1mm间距的物理分辨率，从而满足实际的场景需求。然后通过图像分割，得到对应于关键结构的三维结构图像。示例性地，如图12C和图12D所示，图12C和图12D中第一行的结果，分别为原始5mm的厚层CT影像直接进行阈值分割得到的结果，可以看到分辨率很低，具有明显的锯齿和断层现象。第二行的结果则为通过本申请实施例提供的基于三维影像的关键结构重建方法所得到的分割图像和三维结构模型，分辨率更高，并且细节更精确，表面更为平滑，特别是对于例如皮肤中的眼角、鼻尖、头顶等区域，保证了精确度。
基于同样的发明构思，如图13所示，本申请实施例还提供了一种用于实现上述所涉及的基于三维影像的关键结构重建方法的图像处理模型的训练方法，该方法可以应用于终端或服务器，也可以由终端和服务器协同执行。下面以该方法应用于计算机设备为例进行说明，包括以下步骤：
步骤S1302，获取目标部位的原始三维医学影像样本，以及与各原始三维医学影像样本分别对应的结构标签。
其中，原始三维医学影像样本包括但不限于厚层影像、薄层影像、以及伪厚层影像中的一种或多种。其中，伪厚层影像是通过对薄层影像等间距地抽取切片，并做插厚处理得到。间距通常为1mm～7mm之间。为了提高图像处理模型在训练时的准确性，还可以通过其他方式进行样本增强，例如对三维医学影像进行随机翻转、随机转置等操作。
具体地，计算机设备获取多个包括目标部位的原始三维医学影像样本，其中，每个原始三维医学影像样本分别对应有对应的结构标签，结构标签用于表征原始三维医学影像样本中包含的关键结构。示例性地，结构标签可以表示体素是否属于某种关键结构、以及属于哪种关键结构。例如，通过“0”的结构标签表示体素不属于任何关键结构，“1”的结构标签用于表示体素属于关键结构A、“2”的结构标签用于表示体素属于关键结构B……等等。
步骤S1304，对原始三维医学影像样本进行前置采样处理，得到指定尺寸的三维医学影像样本。
具体地，计算机设备通过预先设置的前置采样层，按照前置采样层配置的输出尺寸信息，对目标部位的原始三维医学影像进行前置采样处理，得到输出尺寸信息所规定的指定尺寸的三维医学影像，该指定尺寸的三维医学影像样本作为后续的图像处理模型的输入。
其中，前置采样处理可以通过插值处理的方式实现，插值处理包括但不限于线性插值、双线性插值、以及三次曲线插值等中的一种或多种。示例性地，计算机设备通过线性插值，将获取的原始三维医学影像的尺寸，调整至176×176×176的指定尺寸，该指定尺寸的三维医学影像作为后续神经网络的输入。
步骤S1306，通过待训练的图像处理模型对所述指定尺寸的三维医学影像样本进行语义分割处理，得到预测三维标记图像，所述预测三维标记图像中的每个体素都对应有属于各个关键结构的预测概率值。
具体地，计算机设备将指定尺寸的三维医学影像样本，输入至待训练的图像处理模型中，由该待训练的图像处理模型依次进行编码处理和解码处理，通过编码处理获取三维医学影像中的低阶图像特征，并通过解码处理将低阶图像特征转换为高阶图像特征，最终输出对应于三维医学影像样本的预测三维标记图像。
步骤S1310，基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数。
具体地，计算机设备将语义分割得到的预测三维标记图像中，每一个体素对应的预测概率值，与相应原始三维医学影像样本中每个体素所对应的结构标签之间进行比较，根据预测概率值与实际的结构标签之间的差异，构建对于相应关键结构的损失函数。由于图像处理模型可以用于多个关键结构的分割中，当图像处理模型处理多个关键结构时，计算机设备根据每个关键结构对应的损失函数，构建对应于图像处理模型的总损失函数，即目标损失函数。
在一些实施例中，所述基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数，包括：基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的重合程度，确定与各关键结构分别对应的初始损失；根据各关键结构各自对应的初始损失和预设权重，构建目标损失函数。
其中，预设权重的大小用于表征关键结构的重要程度。例如皮肤的精准度非常关键，直接影响后续配准的准确性，因此皮肤这一关键结构对应的预设权重的值可以相较于其他关键结构对应的预设权重的值更大。
具体地，计算机设备基于预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的重合程度，确定与各关键结构分别对应的初始损失。其中，每个关键结构预先设置有对应的预设权重，计算机设备根据该预设权重和初始损失，即可构建目标损失函数。
示例性地，初始损失Ldice的公式可如下所示：
Figure BDA0003594503660000261
其中，X为输出的三维标记图像，Y为用于参照的标注有结构标签的原始三维医学影像样本。Ldice用于表征所输出的概率图与标准概率图之间的重叠程度，Ldice越大，表明概率图与标准概率图之间的重叠程度越高；当概率图与标准概率图完全重叠时，Ldice＝1。相应地，根据对应于每个关键结构的预设权重，目标损失函数Ltotal可如下所示：
Figure BDA0003594503660000271
其中，n为关键结构的数量，λi为关键结构i的预设权重，Li为关键结构i对应的初始损失Ldice。
上述实施例中，通过对不同的关键结构分别设置不同的预设权重，并根据不同的预设权重和初始损失确定最终的目标损失函数，对图像处理模型的训练效果更好，能够提高训练的准确度。
步骤S1312，基于目标损失函数调整图像处理模型的模型参数，并基于调整模型参数后的图像处理模型继续进行模型训练，直至达到训练停止条件时停止，得到训练完成的图像处理模型。
具体地，在训练过程中，计算机设备根据目标损失函数调整图像处理模型的模型参数，并朝着目标损失函数最小的方向对图像处理模型继续进行模型训练，直至达到训练停止条件时停止，得到训练完成的图像处理模型。其中，训练停止条件包括但不限于训练时间达到预设时长、训练次数达到预设次数、以及目标损失函数达到预设阈值等中的至少一种。
上述图像处理模型的训练方法中，通过获取带有结构标签的原始三维医学影像样本，先进行前置采样处理，将不同尺寸、厚度的原始三维医学影像样本统一转换成指定尺寸的三维医学影像样本，以满足后续图像处理模型的输入要求；通过待训练的图像处理模型对所述指定尺寸的三维医学影像样本进行语义分割处理，得到预测三维标记图像，根据基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数，以使图像处理模型的训练过程朝着目标损失函数最小化的方向进行，以训练图像处理模型的准确度达到要求；在训练过程中，基于所述目标损失函数不断调整图像处理模型的模型参数，直至达到训练停止条件时停止训练，由此得到训练完成的图像处理模型。通过上述方式训练得到的图像处理模型的准确度高，能够实现高分辨率的图像分割，进而能够保证后续重建的三维结构模型的精准度。
在一些实施例中，关键结构对应的结构标签可以为人工手动标注的。在另一些实施例中，关键结构对应的结构标签可以通过标注算法得到。为了保证重建的精度足够高，相应地，在一些实施例中，如图14所示，与任一关键结构所对应的原始三维医学影像样本的结构标签的获取步骤，包括：
步骤S1402，对未标注的原始三维医学影像样本进行切片处理，得到多个切片样本。
具体地，计算机设备对未标注的原始三维医学影像样本，按照一定的间距进行等间距的切片处理，得到对应于一张原始三维医学影像的多个切片样本。示例性地，间距例如为1mm～7mm。
步骤S1404，获取与任一关键结构相匹配的预设阈值，并基于预设阈值对各切片样本分别进行阈值分割，得到二值化切片样本。
具体地，计算机设备获取与各个关键结构相匹配的预设阈值，并基于预设阈值对各切片样本分别进行阈值分割，得到多个二值化切片样本。例如，设置皮肤对应的预设阈值为-390，基于该预设阈值对各个切片样本进行阈值分割，将体素值大于阈值则标记为1并填充为白色(或黑色)，反之标记为0并填充为黑色(或白色)等，由此得到多个二值化切片样本。
步骤S1406，对二值化切片样本进行空腔填充处理，得到待标注切片样本。
由于阈值分割只是粗略地进行初步分割，分割的结果不够精确。因此，具体地，计算机设备对二值化切片样本进行空腔填充处理，填充经阈值分割生成的空腔或孔洞，从而得到待标注切片样本。
在一些实施例中，对二值化切片样本进行空腔填充处理，得到待标注切片样本，包括：在二值化切片样本中确定至少一个体素作为种子体素，确定与种子体素对应的连通域；在与种子体素对应的连通域中，基于预设体素值对与种子体素属性相同的体素进行填充，得到填充切片样本；将填充切片样本取反后与相对应的二值化切分样本进行求和，得到待标注切片样本。
具体地，计算机设备在二值化切片样本中，确定至少一个体素作为种子体素，并根据种子体素确定其连通域。在该种子体素的连通域中，计算机设备基于预设体素值对与种子体素属性相同的体素进行填充，得到填充切片样本。其中，属性相同例如为灰度值相同等。示例性地，预设体素值例如为表征黑色和白色的体素值，但并不以此为限，例如还可以是表征红色和蓝色的体素值等。在填充后，计算机设备将填充得到的填充切片样本进行取反，并将取反后得到的填充切片样本与相对应的二值化切分样本进行求和，由此得到待标注切片样本。
在一些情况下，例如头部的目标部位，鼻尖和后脑勺有时会超出图像范围，因此设定两个及以上的种子体素能够提升鲁棒性。示例性地，再如图10所示，计算机设备在二值化切片样本(a)中，确定左上角和右下角的体素作为种子体素，通过使用OpenCV(计算机视觉和机器学习软件库)的FloodFill(漫水填充算法)函数进行填充，得到填充切片样本(b)。计算机设备对填充切片样本(b)进行取反，得到取反后得到的填充切片样本，例如为内部孔洞的掩模图像(c)，并将取反后得到的填充切片样本与相对应的二值化切分样本进行求和，记得到最终的待标注切片样本(d)。在一些情况下，由于自动填充在耳朵和鼻孔处存在错误填充的可能，可以通过人工的方式进行手动修正，以提高标注的准确性。
上述实施例中，通过对二值化切片样本进行空腔填充处理，阈值分割边界非常精确，并且有效地去除了内部孔洞，能够快速准确地实现标注，进而提高了后续的训练和应用中图像分割和三维结构模型重建的精确度。
步骤S1408，基于任一关键结构所对应的结构标签，对待标注切片样本中表征关键结构的体素进行标注，得到携带有结构标签的标注切片样本。
具体地，计算机设备对待标注切片样本中表征某一关键结构的全部体素，均标注与该关键结构相对应的结构标签，从而得到携带有结构标签的标注切片样本。示例性地，对于表征皮肤的全部体素，计算机设备标注上对应于皮肤的结构标签，从而得到携带有皮肤的结构标签的标注切片样本。
步骤S1410，根据各个切片样本对应的结构标签，确定各个切片样本所属的原始三维医学影像样本对应的结构标签。
具体地，计算机设备根据各个切片样本所属的原始三维医学影像样本，结合各个切片样本分别对应的结构标签，确定原始三维医学影像样本对应的结构标签。由此，携带有结构标签的原始三维医学影像样本可作为图像处理模型的输入，用于图像处理模型的训练过程。
上述实施例中，通过对关键结构进行精确的标注，使得训练得到的图像处理模型的准确性更高，由此图像处理模型的输出而重建的三维结构模型的精度也更高。
在一个具体的示例中，以CT影像为例，在训练的样本准备阶段，采集薄层CT和厚层CT各200例，并标注相应的关键结构，如皮肤、大脑、脑室、病灶等。由于涉及后续的配准，皮肤的标注非常重要，为了保证重建的精度足够高，皮肤的标注采用半自动标注算法。计算机设备通过使用阈值分割获得皮肤的二值化样本。由于皮肤存在大量的空腔，计算机设备在切片样本的左上角和右下角设定种子体素，使用OpenCV FloodFill函数进行填充。当获取Flood Fill的填充结果后，计算机设备将填充图像取反后得到的内部孔洞的掩模与二值化样本进行求和，得到最终的填充结果。为了使得网络可以同时编解码厚层影像和薄层影像，训练样本可以包括薄层CT影像、厚层CT影像、以及伪厚层CT影像。此外，还通过常规的在线数据增强(包括随机翻转、随机转置等操作)增加了样本的数量。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于三维影像的关键结构重建方法的基于三维影像的关键结构重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于三维影像的关键结构重建装置实施例中的具体限定可以参见上文中对于基于三维影像的关键结构重建方法的限定，在此不再赘述。
在一些实施例中，如图15所示，提供了一种基于三维影像的关键结构重建装置1500，包括：前置采样模块1501、语义分割模块1502、后置采样模块1503、结构分割模块1504和三维重建模块1505，其中：
前置采样模块1501，用于对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像，所述目标部位包括有至少一个关键结构。
语义分割模块1502，用于对所述指定尺寸的三维医学影像进行语义分割处理，得到对应的三维标记图像，所述三维标记图像中的每个体素都对应有属于各个关键结构的概率值。
后置采样模块1503，用于基于所述三维标记图像进行后置采样处理，得到满足高分辨率条件的目标标记图像。
结构分割模块1504，用于基于所述三维标记图像中每个体素分别对应的概率值，对所述目标标记图像进行分割，得到至少一张三维结构图像，每张三维结构图像对应一个关键结构。
三维重建模块1505，用于对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型，所述目标三维结构模型用于进行可视化展示。
在一些实施例中，前置采样模块1501还用于获取对目标对象的目标部位进行医学影像采集得到的原始三维医学影像；通过前置采样层对所述原始三维医学影像进行插值处理，得到指定尺寸的三维医学影像。
在一些实施例中，语义分割模块1502还用于通过编码网络提取所述指定尺寸的三维医学影像中的多个连续特征向量；通过解码网络将所述多个连续特征向量进行融合，得到对应于所述指定尺寸的三维医学影像的特征图；对所述特征图进行归一化处理，并通过激活层将归一化处理后的特征图进行转换，输出三维标记图像。
在一些实施例中，结构分割模块1504还用于确定与各个关键结构分别对应的概率阈值；对于每个关键结构，均将所述三维标记图像中各体素属于相应关键结构的概率值，与相应关键结构对应的概率阈值进行比较，并基于比较结果，从所述目标标记图像中确定出与相应关键结构匹配的目标体素；基于每个关键结构分别对应的目标体素进行分割，得到至少一张三维结构图像。
在一些实施例中，三维重建模块1505还用于对于每张三维结构图像，建立与所述三维结构图像中包含的关键结构相匹配的初始三维结构模型，所述初始三维结构模型中关键结构的表面由多个预设形状的面片构成；对各所述初始三维结构模型中关键结构的表面进行平滑处理，得到与各关键结构分别对应的目标三维结构模型。
在一些实施例中，目标部位的关键结构包括表层结构和内部结构，上述装置还包括配准模块，用于获取在现实场景中对目标部位进行图像采集得到的现实场景影像，并确定与现实场景影像对应的真实表层点云数据；将表层结构所对应的目标三维结构模型转换为重建表层点云数据，并将重建表层点云数据与真实表层点云数据进行配准。
在一些实施例中，上述装置还包括展示模块，展示模块用于在重建表层点云数据与真实表层点云数据配准完成后，基于配准结果，确定目标部位的各内部结构所对应的目标三维结构模型，在现实场景影像中的相对位置；根据各内部结构所对应的目标三维结构模型分别在现实场景影像中的相对位置，将各内部结构所对应的目标三维结构模型叠加展示在现实场景影像中。
在一些实施例中，指定尺寸的三维医学影像的编解码处理是通过图像处理模型实现，上述装置可包括或外接有训练模块，训练模块用于图像处理模型的训练步骤包括：获取目标部位的原始三维医学影像样本，以及与各原始三维医学影像样本分别对应的结构标签；对所述原始三维医学影像样本进行前置采样处理，得到指定尺寸的三维医学影像样本；通过待训练的图像处理模型对所述指定尺寸的三维医学影像样本进行语义分割处理，得到预测三维标记图像，所述预测三维标记图像中的每个体素都对应有属于各个关键结构的预测概率值；基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数；基于所述目标损失函数调整所述图像处理模型的模型参数，并基于调整模型参数后的图像处理模型继续进行模型训练，直至达到训练停止条件时停止，得到训练完成的图像处理模型。
在一些实施例中，训练模块还用于对未标注的原始三维医学影像样本进行切片处理，得到多个切片样本；获取与任一关键结构相匹配的预设阈值，并基于预设阈值对各切片样本分别进行阈值分割，得到二值化切片样本；对二值化切片样本进行空腔填充处理，得到待标注切片样本；基于任一关键结构所对应的结构标签，对待标注切片样本中表征关键结构的体素进行标注，得到携带有结构标签的标注切片样本；根据各个切片样本对应的结构标签，确定各个切片样本所属的原始三维医学影像样本对应的结构标签。
在一些实施例中，训练模块还用于在二值化切片样本中确定至少一个体素作为种子体素，确定与种子体素对应的连通域；在与种子体素对应的连通域中，基于预设体素值对与种子体素属性相同的体素进行填充，得到填充切片样本；将填充切片样本取反后与相对应的二值化切分样本进行求和，得到待标注切片样本。
在一些实施例中，训练模块还用于基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的重合程度，确定与各关键结构分别对应的初始损失；根据各关键结构各自对应的初始损失和预设权重，构建目标损失函数。
上述基于三维影像的关键结构重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理模型的训练方法的图像处理模型的训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理模型的训练装置实施例中的具体限定可以参见上文中对于图像处理模型的训练方法的限定，在此不再赘述。
在一些实施例中，如图16所示，提供了一种图像处理模型的训练装置1600，包括：获取模块1601、采样模块1602、预测模块1603、构建模块1604以及调参模块1605，其中：
获取模块1601，用于获取目标部位的原始三维医学影像样本，以及与各原始三维医学影像样本分别对应的结构标签。
采样模块1602，用于对所述原始三维医学影像样本进行前置采样处理，得到指定尺寸的三维医学影像样本。
预测模块1603，用于通过待训练的图像处理模型对所述指定尺寸的三维医学影像样本进行语义分割处理，得到预测三维标记图像，所述预测三维标记图像中的每个体素都对应有属于各个关键结构的预测概率值。
构建模块1604，用于基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数。
调参模块1605，用于基于所述目标损失函数调整所述图像处理模型的模型参数，并基于调整模型参数后的图像处理模型继续进行模型训练，直至达到训练停止条件时停止，得到训练完成的图像处理模型。
在一些实施例中，获取模块1601还用于对未标注的原始三维医学影像样本进行切片处理，得到多个切片样本；获取与任一关键结构相匹配的预设阈值，并基于预设阈值对各切片样本分别进行阈值分割，得到二值化切片样本；对二值化切片样本进行空腔填充处理，得到待标注切片样本；基于任一关键结构所对应的结构标签，对待标注切片样本中表征关键结构的体素进行标注，得到携带有结构标签的标注切片样本；根据各个切片样本对应的结构标签，确定各个切片样本所属的原始三维医学影像样本对应的结构标签。
在一些实施例中，获取模块1601还用于在二值化切片样本中确定至少一个体素作为种子体素，确定与种子体素对应的连通域；在与种子体素对应的连通域中，基于预设体素值对与种子体素属性相同的体素进行填充，得到填充切片样本；将填充切片样本取反后与相对应的二值化切分样本进行求和，得到待标注切片样本。
在一些实施例中，构建模块1604还用于基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的重合程度，确定与各关键结构分别对应的初始损失；根据各关键结构各自对应的初始损失和预设权重，构建目标损失函数。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图17所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于三维影像的关键结构重建方法或图像处理模型的训练方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一些实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的影像(包括三维医学影像、三维医学影像样本、以及现实场景影像等)，均为经授权或者经过各方充分授权的信息和数据，且相关影像的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (20)

1.一种基于三维影像的关键结构重建方法，其特征在于，所述方法包括：
对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像，所述目标部位包括有至少一个关键结构；
对所述指定尺寸的三维医学影像进行语义分割处理，得到对应的三维标记图像，所述三维标记图像中的每个体素都对应有属于各个关键结构的概率值；
基于所述三维标记图像进行后置采样处理，得到满足高分辨率条件的目标标记图像；
基于所述三维标记图像中每个体素分别对应的概率值，对所述目标标记图像进行分割，得到至少一张三维结构图像，每张三维结构图像对应一个关键结构；
对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型，所述目标三维结构模型用于进行可视化展示。
2.根据权利要求1所述的方法，其特征在于，所述对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像，包括：
获取对目标对象的目标部位进行医学影像采集得到的原始三维医学影像；
通过前置采样层对所述原始三维医学影像进行插值处理，得到指定尺寸的三维医学影像。
3.根据权利要求1所述的方法，其特征在于，所述对所述指定尺寸的三维医学影像进行语义分割处理，得到对应的三维标记图像，包括：
通过编码网络提取所述指定尺寸的三维医学影像中的多个连续特征向量；
通过解码网络将所述多个连续特征向量进行融合，得到对应于所述指定尺寸的三维医学影像的特征图；
对所述特征图进行归一化处理，并通过激活层将归一化处理后的特征图进行转换，输出三维标记图像。
4.根据权利要求1所述的方法，其特征在于，所述基于所述三维标记图像中每个体素分别对应的概率值，对所述目标标记图像进行分割，得到至少一张三维结构图像，包括：
确定与各个关键结构分别对应的概率阈值；
对于每个关键结构，均将所述三维标记图像中各体素属于相应关键结构的概率值，与相应关键结构对应的概率阈值进行比较，并基于比较结果，从所述目标标记图像中确定出与相应关键结构匹配的目标体素；
基于每个关键结构分别对应的目标体素进行分割，得到至少一张三维结构图像。
5.根据权利要求1所述的方法，其特征在于，所述对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型，包括：
对于每张三维结构图像，建立与所述三维结构图像中包含的关键结构相匹配的初始三维结构模型，所述初始三维结构模型中关键结构的表面由多个预设形状的面片构成；
对各所述初始三维结构模型中关键结构的表面进行平滑处理，得到与各关键结构分别对应的目标三维结构模型。
6.根据权利要求1所述的方法，其特征在于，所述目标部位的关键结构包括表层结构和内部结构，所述方法还包括：
获取在现实场景中对所述目标部位进行图像采集得到的现实场景影像，并确定与所述现实场景影像对应的真实表层点云数据；
将表层结构所对应的目标三维结构模型转换为重建表层点云数据，并将所述重建表层点云数据与所述真实表层点云数据进行配准。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在所述重建表层点云数据与所述真实表层点云数据配准完成后，基于配准结果，确定所述目标部位的各内部结构所对应的目标三维结构模型，在所述现实场景影像中的相对位置；
根据各内部结构所对应的目标三维结构模型分别在所述现实场景影像中的相对位置，将各内部结构所对应的目标三维结构模型叠加展示在所述现实场景影像中。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述指定尺寸的三维医学影像的语义分割处理是通过图像处理模型实现，所述图像处理模型的训练步骤包括：
获取目标部位的原始三维医学影像样本，以及与各原始三维医学影像样本分别对应的结构标签；
对所述原始三维医学影像样本进行前置采样处理，得到指定尺寸的三维医学影像样本；
通过待训练的图像处理模型对所述指定尺寸的三维医学影像样本进行语义分割处理，得到预测三维标记图像，所述预测三维标记图像中的每个体素都对应有属于各个关键结构的预测概率值；
基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数；
基于所述目标损失函数调整所述图像处理模型的模型参数，并基于调整模型参数后的图像处理模型继续进行模型训练，直至达到训练停止条件时停止，得到训练完成的图像处理模型。
9.根据权利要求8所述的方法，其特征在于，与任一关键结构所对应的原始三维医学影像样本的结构标签的获取步骤，包括：
对未标注的原始三维医学影像样本进行切片处理，得到多个切片样本；
获取与所述任一关键结构相匹配的预设阈值，并基于所述预设阈值对各切片样本分别进行阈值分割，得到二值化切片样本；
对所述二值化切片样本进行空腔填充处理，得到待标注切片样本；
基于所述任一关键结构所对应的结构标签，对所述待标注切片样本中表征关键结构的体素进行标注，得到携带有结构标签的标注切片样本；
根据各个切片样本对应的结构标签，确定所述各个切片样本所属的原始三维医学影像样本对应的结构标签。
10.根据权利要求9所述的方法，其特征在于，所述对所述二值化切片样本进行空腔填充处理，得到待标注切片样本，包括：
在所述二值化切片样本中确定至少一个体素作为种子体素，确定与所述种子体素对应的连通域；
在与所述种子体素对应的连通域中，基于预设体素值对与所述种子体素属性相同的体素进行填充，得到填充切片样本；
将所述填充切片样本取反后与相对应的二值化切分样本进行求和，得到待标注切片样本。
11.根据权利要求8所述的方法，其特征在于，所述基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数，包括：
基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的重合程度，确定与各关键结构分别对应的初始损失；
根据各关键结构各自对应的初始损失和预设权重，构建目标损失函数。
12.一种图像处理模型的训练方法，其特征在于，所述方法包括：
获取目标部位的原始三维医学影像样本，以及与各原始三维医学影像样本分别对应的结构标签；
对所述原始三维医学影像样本进行前置采样处理，得到指定尺寸的三维医学影像样本；
通过待训练的图像处理模型对所述指定尺寸的三维医学影像样本进行语义分割处理，得到预测三维标记图像，所述预测三维标记图像中的每个体素都对应有属于各个关键结构的预测概率值；
基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数；
基于所述目标损失函数调整所述图像处理模型的模型参数，并基于调整模型参数后的图像处理模型继续进行模型训练，直至达到训练停止条件时停止，得到训练完成的图像处理模型。
13.根据权利要求12所述的方法，其特征在于，与任一关键结构所对应的原始三维医学影像样本的结构标签的获取步骤，包括：
对未标注的原始三维医学影像样本进行切片处理，得到多个切片样本；
获取与所述任一关键结构相匹配的预设阈值，并基于所述预设阈值对各切片样本分别进行阈值分割，得到二值化切片样本；
对所述二值化切片样本进行空腔填充处理，得到待标注切片样本；
基于所述任一关键结构所对应的结构标签，对所述待标注切片样本中表征关键结构的体素进行标注，得到携带有结构标签的标注切片样本；
根据各个切片样本对应的结构标签，确定所述各个切片样本所属的原始三维医学影像样本对应的结构标签。
14.根据权利要求13所述的方法，其特征在于，所述对所述二值化切片样本进行空腔填充处理，得到待标注切片样本，包括：
在所述二值化切片样本中确定至少一个体素作为种子体素，确定与所述种子体素对应的连通域；
在与所述种子体素对应的连通域中，基于预设体素值对与所述种子体素属性相同的体素进行填充，得到填充切片样本；
将所述填充切片样本取反后与相对应的二值化切分样本进行求和，得到待标注切片样本。
15.根据权利要求14所述的方法，其特征在于，所述基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数，包括：
基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的重合程度，确定与各关键结构分别对应的初始损失；
根据各关键结构各自对应的初始损失和预设权重，构建目标损失函数。
16.一种基于三维影像的关键结构重建装置，其特征在于，所述装置包括：
前置采样模块，用于对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像，所述目标部位包括有至少一个关键结构；
语义分割模块，用于对所述指定尺寸的三维医学影像进行语义分割处理，得到对应的三维标记图像，所述三维标记图像中的每个体素都对应有属于各个关键结构的概率值；
后置采样模块，用于基于所述三维标记图像进行后置采样处理，得到满足高分辨率条件的目标标记图像；
结构分割模块，用于基于所述三维标记图像中每个体素分别对应的概率值，对所述目标标记图像进行分割，得到至少一张三维结构图像，每张三维结构图像对应一个关键结构；
三维重建模块，用于对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型，所述目标三维结构模型用于进行可视化展示。
17.一种图像处理模型的训练装置，其特征在于，所述装置包括：
获取模块，用于获取目标部位的原始三维医学影像样本，以及与各原始三维医学影像样本分别对应的结构标签；
采样模块，用于对所述原始三维医学影像样本进行前置采样处理，得到指定尺寸的三维医学影像样本；
预测模块，用于通过待训练的图像处理模型对所述指定尺寸的三维医学影像样本进行语义分割处理，得到预测三维标记图像，所述预测三维标记图像中的每个体素都对应有属于各个关键结构的预测概率值；
构建模块，用于基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数；
调参模块，用于基于所述目标损失函数调整所述图像处理模型的模型参数，并基于调整模型参数后的图像处理模型继续进行模型训练，直至达到训练停止条件时停止，得到训练完成的图像处理模型。
18.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至15中任一项所述的方法的步骤。
19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。
20.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。
CN202210384845.XA 2022-04-13 2022-04-13 基于三维影像的关键结构重建方法、装置和计算机设备 Pending CN115115772A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210384845.XA CN115115772A (zh) 2022-04-13 2022-04-13 基于三维影像的关键结构重建方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210384845.XA CN115115772A (zh) 2022-04-13 2022-04-13 基于三维影像的关键结构重建方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN115115772A true CN115115772A (zh) 2022-09-27

Family

ID=83324570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210384845.XA Pending CN115115772A (zh) 2022-04-13 2022-04-13 基于三维影像的关键结构重建方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN115115772A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861298A (zh) * 2023-02-15 2023-03-28 浙江华诺康科技有限公司 一种基于内镜检查可视化的图像处理方法及装置
CN117974647A (zh) * 2024-03-29 2024-05-03 青岛大学 一种二维医学影像的三维联动式测量方法、介质及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861298A (zh) * 2023-02-15 2023-03-28 浙江华诺康科技有限公司 一种基于内镜检查可视化的图像处理方法及装置
CN115861298B (zh) * 2023-02-15 2023-05-23 浙江华诺康科技有限公司 一种基于内镜检查可视化的图像处理方法及装置
CN117974647A (zh) * 2024-03-29 2024-05-03 青岛大学 一种二维医学影像的三维联动式测量方法、介质及***
CN117974647B (zh) * 2024-03-29 2024-06-07 青岛大学 一种二维医学影像的三维联动式测量方法、介质及***

Similar Documents

Publication Publication Date Title
CN112017189B (zh) 图像分割方法、装置、计算机设备和存储介质
CN109166130B (zh) 一种图像处理方法及图像处理装置
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN111429460B (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及***
JP2023550844A (ja) 深層形状学習に基づく肝臓ｃｔ自動分割方法
CN115115772A (zh) 基于三维影像的关键结构重建方法、装置和计算机设备
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
WO2022213654A1 (zh) 一种超声图像的分割方法、装置、终端设备和存储介质
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
Eslami et al. Automatic vocal tract landmark localization from midsagittal MRI data
AU2019430369B2 (en) VRDS 4D medical image-based vein Ai endoscopic analysis method and product
CN112183541B (zh) 一种轮廓提取方法及装置、电子设备、存储介质
CN116188479B (zh) 基于深度学习的髋关节图像分割方法及***
Zhang et al. Lesion synthesis to improve intracranial hemorrhage detection and classification for CT images
WO2022088572A1 (zh) 模型训练方法、图像处理及配准方法、装置、设备、介质
WO2023207416A1 (zh) 图像补全方法、装置、设备及存储介质
CN113450359A (zh) 医学图像分割、显示、模型训练方法、***、设备和介质
CN116228787A (zh) 图像勾画方法、装置、计算机设备、存储介质
CN114882048A (zh) 基于小波散射学习网络的图像分割方法和***
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
CN112489048B (zh) 一种基于深度网络的视神经自动分割方法
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN114332563A (zh) 图像处理模型训练方法及相关装置、设备和存储介质
CN114787862A (zh) 医学图像分割和图集图像选择

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination