CN109378068A - 一种鼻咽癌疗效的自动评测方法及*** - Google Patents

一种鼻咽癌疗效的自动评测方法及*** Download PDF

Info

Publication number
CN109378068A
CN109378068A CN201810956607.5A CN201810956607A CN109378068A CN 109378068 A CN109378068 A CN 109378068A CN 201810956607 A CN201810956607 A CN 201810956607A CN 109378068 A CN109378068 A CN 109378068A
Authority
CN
China
Prior art keywords
image
nasopharynx
lesion
treatment
curative effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810956607.5A
Other languages
English (en)
Other versions
CN109378068B (zh
Inventor
黄炳升
黄斌
叶裕丰
蔡洵
邹国荣
曾伟华
何艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Cardiovascular Disease Institute of Guangzhou Panyu Central Hospital
Original Assignee
Shenzhen University
Cardiovascular Disease Institute of Guangzhou Panyu Central Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University, Cardiovascular Disease Institute of Guangzhou Panyu Central Hospital filed Critical Shenzhen University
Priority to CN201810956607.5A priority Critical patent/CN109378068B/zh
Publication of CN109378068A publication Critical patent/CN109378068A/zh
Application granted granted Critical
Publication of CN109378068B publication Critical patent/CN109378068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种鼻咽癌疗效的自动评测方法及***，方法包括：采用深度学习算法对鼻咽癌图像进行病灶分割，得到疗前鼻咽癌病灶和疗后鼻咽癌病灶；将疗后鼻咽癌病灶配准至疗前鼻咽癌病灶，得到已配准的疗后鼻咽癌病灶；根据疗前鼻咽癌病灶和已配准的疗后鼻咽癌病灶采用疗效自动评测算法进行疗效自动评测，输出疗效评测结果。本发明通过配准来使得疗后鼻咽癌图像与疗前鼻咽癌图像处于同一图像空间内，更有利于精确地计算疗前疗后病灶差异；采用深度学习算法对鼻咽癌图像进行病灶分割，能自动从原鼻咽癌图像分割出病灶，更加精准；采用疗效自动评测算法进行疗效自动评测，能自动得出疗效评价结果，更加快速和精准，可广泛应用于医学计算机应用领域。

Description

一种鼻咽癌疗效的自动评测方法及***
技术领域
本发明涉及医学计算机应用领域，尤其是一种鼻咽癌疗效的自动评测方法及***。
背景技术
鼻咽癌是一种恶性肿瘤。鼻咽癌的发病率具有显著的地域差异，中国处于鼻咽癌的高发区域，其中广东为最高发区，所以鼻咽癌也被称为“广东癌”。目前，放射治疗是鼻咽癌目前最有效的治疗方法。在鼻咽癌的治疗过程中，肿瘤的形状和位置会随着放疗疗程的推进发生或大或小的变化。医生需要根据肿瘤疗前疗后的变化评估治疗效果，以更精确地制定下一次放疗方案。
目前，医生会分析患者放疗前的临床影像和患者放疗后的临床影像，并根据recist 1.1标准评价本次治疗的疗效，然而其在评价过程中存在如下几个问题会影像疗效评估的准确性和效率：1)疗前影像与疗后影像不是同一时间成像，操作技师也可能不是同一个人，即使在同一医院也会存在多台成像机器，不能保证疗前影像与疗后影像的一致性。2)不同经验的医生在定位鼻咽癌病灶时会产生差异，经验较少的医生定位的病灶区域可能不够精准。3)医生在进行疗效评价时，需要肉眼一层一层对比疗前疗后图像，耗费大量时间且不够精准。
综上所述，业内亟需一套精准快速的鼻咽癌疗效自动评测方案。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种精准快速的鼻咽癌疗效的自动评测方法及***。
本发明所采取的第一技术方案是：
一种鼻咽癌疗效的自动评测方法，包括以下步骤：
采用深度学习算法对鼻咽癌图像进行病灶分割，得到疗前鼻咽癌病灶和疗后鼻咽癌病灶；
将疗后鼻咽癌病灶配准至疗前鼻咽癌病灶，得到已配准的疗后鼻咽癌病灶；
根据疗前鼻咽癌病灶和已配准的疗后鼻咽癌病灶采用疗效自动评测算法进行疗效自动评测，输出疗效评测结果。
进一步，所述采用深度学习算法对鼻咽癌图像进行病灶分割，得到疗前鼻咽癌病灶和疗后鼻咽癌病灶这一步骤，具体包括：
输入鼻咽癌图像，其中所述鼻咽癌图像包括疗前鼻咽癌图像和疗后鼻咽癌图像；
采用全卷积神经网络对鼻咽癌图像进行病灶分割，得到鼻咽癌病灶，其中所述鼻咽癌病灶包括疗前鼻咽癌病灶和疗后鼻咽癌病灶。
进一步，所述鼻咽癌图像为MRI图像，所述全卷积神经网络采用改进后的U-net网络结构。
进一步，所述采用全卷积神经网络对鼻咽癌图像进行病灶分割，得到鼻咽癌病灶这一步骤，具体包括：
根据鼻咽癌图像得到对应的T1图像和T2图像；
将得到的T1图像依次经过第1至第N1个第一采样块处理后得到T1图像的第一至第N1特征图；
将得到的T2图像依次经过第1至第N2个第一采样块处理后得到T2图像的第一至第N2特征图；
将T1图像的第N1特征图和T2图像的第N2特征图经过第二采样块处理后得到融合的特征图；
将融合的特征图依次经过第1至第N2个第三采样块处理后得到候选的病灶分割结果图；
将候选的病灶分割结果图进行卷积处理，得到最终的病灶分割结果图；
其中，N1和N2均为正整数，T1图像的第N1特征图与T2图像的第N2特征图的大小相同，第一采样块包括一个卷积层、一个组归一化层和一个带泄露的修正线性单元，第二采样块包括2个第一采样块和一个池化层，第三采样块包括一个上采样层、一个连接层和3个第一采样块，第1至第N2个第三采样块的连接层分别与T2图像的第N2至第1特征图对应连接。
进一步，所述将疗后鼻咽癌病灶配准至疗前鼻咽癌病灶，得到已配准的疗后鼻咽癌病灶这一步骤，具体包括：
采用仿射变换对疗后鼻咽癌病灶进行刚体变换，以实现刚体配准；
以梯度下降法作为优化方法，均方差作为相似性测度，对刚体变换后的疗后鼻咽癌病灶进行非刚体配准，得到已配准的疗后鼻咽癌病灶。
进一步，所述根据疗前鼻咽癌病灶和已配准的疗后鼻咽癌病灶采用疗效自动评测算法进行疗效自动评测，输出疗效评测结果这一步骤，具体包括：
根据疗前鼻咽癌病灶计算每个疗前病灶的长直径与短直径之和；
根据已配准的疗后鼻咽癌病灶计算每个疗后病灶的长直径与短直径之和；
根据每个疗前病灶的长直径与短直径之和以及每个疗后病灶的长直径与短直径之和进行疗效自动评价；
输出疗效自动评价结果。
进一步，所述根据每个疗前病灶的长直径与短直径之和以及每个疗后病灶的长直径与短直径之和进行疗效自动评价这一步骤，具体包括：
判断所有疗后病灶的长直径与短直径之和是否为0，若是，则表明疗后全部病灶消失，此时判定疗效自动评价结果为完全缓解，反之，则执行下一步骤；
判断疗后是否出现新病灶，若是，则判定疗效自动评价结果为疾病进展，反之，则执行下一步骤；
判断所有疗后病灶的长直径与短直径之和是否比疗前所有病灶的长直径与短直径之和减少了至少30％，若是，判定疗效自动评价结果为部分缓解，反之，则执行下一步骤；
判断所有疗后病灶的长直径与短直径之和是否比疗前所有病灶的长直径与短直径之和增加了至少20％，且长直径与短直径之和的绝对值增加了至少5mm，若是，则判定疗效自动评价结果为疾病进展，反之，则判定疗效自动评价结果为疾病稳定。
本发明所采取的第二技术方案是：
一种鼻咽癌疗效的自动评测***，包括：
病灶分割模块，用于采用深度学习算法对鼻咽癌图像进行病灶分割，得到疗前鼻咽癌病灶和疗后鼻咽癌病灶；
配准模块，用于将疗后鼻咽癌病灶配准至疗前鼻咽癌病灶，得到已配准的疗后鼻咽癌病灶；
自动评测模块，用于根据疗前鼻咽癌病灶和已配准的疗后鼻咽癌病灶采用疗效自动评测算法进行疗效自动评测，输出疗效评测结果。
进一步，所述病灶分割模块包括：
输入单元，用于输入鼻咽癌图像，其中所述鼻咽癌图像包括疗前鼻咽癌图像和疗后鼻咽癌图像；
病灶分割单元，用于采用全卷积神经网络对鼻咽癌图像进行病灶分割，得到鼻咽癌病灶，其中所述鼻咽癌病灶包括疗前鼻咽癌病灶和疗后鼻咽癌病灶。
本发明所采取的第三技术方案是：
一种鼻咽癌疗效的自动评测***，包括：
存储器，用于存储程序；
处理器，用于加载所述程序以执行如第一技术方案所述的一种鼻咽癌疗效的自动评测方法。
本发明的有益效果是：本发明一种鼻咽癌疗效的自动评测方法及***，将疗后鼻咽癌病灶配准至疗前鼻咽癌病灶，得到已配准的疗后鼻咽癌病灶，通过配准来使得疗后鼻咽癌图像与疗前鼻咽癌图像处于同一图像空间内，更有利于精确地计算疗前疗后病灶差异；采用深度学习算法对鼻咽癌图像进行病灶分割，能自动从原鼻咽癌图像分割出病灶，不受医生经验的影响，更加精准；采用疗效自动评测算法进行疗效自动评测，能自动得出疗效评价结果，不需要肉眼逐层对比疗前疗后图像，更加快速和精准。
附图说明
图1为本发明一种鼻咽癌疗效的自动评测方法的流程图；
图2为本发明鼻咽癌疗效评估方案优选实施例的总体流程图；
图3为本发明优选实施例病灶分割所采用的网络结构图；
图4为本发明优选实施例的病灶分割结果示意图；
图5为本发明优选实施例的图像金字塔的流程示意图；
图6为本发明优选实施例的配准结果对比图；
图7为本发明优选实施例的疗效评估算法流程图。
具体实施方式
参照图1，一种鼻咽癌疗效的自动评测方法，包括以下步骤：
采用深度学习算法对鼻咽癌图像进行病灶分割，得到疗前鼻咽癌病灶和疗后鼻咽癌病灶；
将疗后鼻咽癌病灶配准至疗前鼻咽癌病灶，得到已配准的疗后鼻咽癌病灶；
根据疗前鼻咽癌病灶和已配准的疗后鼻咽癌病灶采用疗效自动评测算法进行疗效自动评测，输出疗效评测结果。
其中，配准是为了使得疗前鼻咽癌病灶和疗后鼻咽癌病灶大小相同且像素点能一一对应起来，进而更好地应用来计算疗前疗后病灶差异。
进一步作为优选的实施方式，所述采用深度学习算法对鼻咽癌图像进行病灶分割，得到疗前鼻咽癌病灶和疗后鼻咽癌病灶这一步骤，具体包括：
输入鼻咽癌图像，其中所述鼻咽癌图像包括疗前鼻咽癌图像和疗后鼻咽癌图像；
采用全卷积神经网络对鼻咽癌图像进行病灶分割，得到鼻咽癌病灶，其中所述鼻咽癌病灶包括疗前鼻咽癌病灶和疗后鼻咽癌病灶。
本发明采用深度学习技术中的全卷积神经网络进行病灶分割，可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有同样的尺寸；与传统卷积神经网络相比，更加高效，因为其避免了由于使用像素块而带来的重复存储和计算卷积的问题。
进一步作为优选的实施方式，所述鼻咽癌图像为MRI图像，所述全卷积神经网络采用改进后的U-net网络结构。
进一步作为优选的实施方式，所述采用全卷积神经网络对鼻咽癌图像进行病灶分割，得到鼻咽癌病灶这一步骤，具体包括：
根据鼻咽癌图像得到对应的T1图像和T2图像；
将得到的T1图像依次经过第1至第N1个第一采样块处理后得到T1图像的第一至第N1特征图；
将得到的T2图像依次经过第1至第N2个第一采样块处理后得到T2图像的第一至第N2特征图；
将T1图像的第N1特征图和T2图像的第N2特征图经过第二采样块处理后得到融合的特征图；
将融合的特征图依次经过第1至第N2个第三采样块处理后得到候选的病灶分割结果图；
将候选的病灶分割结果图进行卷积处理，得到最终的病灶分割结果图；
其中，N1和N2均为正整数，T1图像的第N1特征图与T2图像的第N2特征图的大小相同，第一采样块包括一个卷积层、一个组归一化层和一个带泄露的修正线性单元，第二采样块包括2个第一采样块和一个池化层，第三采样块包括一个上采样层、一个连接层和3个第一采样块，第1至第N2个第三采样块的连接层分别与T2图像的第N2至第1特征图对应连接。
本发明第1至第N2个第三采样块的连接层分别与T2图像的第N2至第1特征图对应连接，是指第1个第三采样块的连接层与T2图像的第N2特征图连接，第2个第三采样块的连接层与T2图像的第N2-1特征图连接……第N个第三采样块的连接层与T2图像的第1特征图连接。
进一步作为优选的实施方式，所述将疗后鼻咽癌病灶配准至疗前鼻咽癌病灶，得到已配准的疗后鼻咽癌病灶这一步骤，具体包括：
采用仿射变换对疗后鼻咽癌病灶进行刚体变换，以实现刚体配准；
以梯度下降法作为优化方法，均方差作为相似性测度，对刚体变换后的疗后鼻咽癌病灶进行非刚体配准，得到已配准的疗后鼻咽癌病灶。
进一步作为优选的实施方式，所述根据疗前鼻咽癌病灶和已配准的疗后鼻咽癌病灶采用疗效自动评测算法进行疗效自动评测，输出疗效评测结果这一步骤，具体包括：
根据疗前鼻咽癌病灶计算每个疗前病灶的长直径与短直径之和；
根据已配准的疗后鼻咽癌病灶计算每个疗后病灶的长直径与短直径之和；
根据每个疗前病灶的长直径与短直径之和以及每个疗后病灶的长直径与短直径之和进行疗效自动评价；
输出疗效自动评价结果。
进一步作为优选的实施方式，所述根据每个疗前病灶的长直径与短直径之和以及每个疗后病灶的长直径与短直径之和进行疗效自动评价这一步骤，具体包括：
判断所有疗后病灶的长直径与短直径之和是否为0，若是，则表明疗后全部病灶消失，此时判定疗效自动评价结果为完全缓解，反之，则执行下一步骤；
判断疗后是否出现新病灶，若是，则判定疗效自动评价结果为疾病进展，反之，则执行下一步骤；
判断所有疗后病灶的长直径与短直径之和是否比疗前所有病灶的长直径与短直径之和减少了至少30％，若是，判定疗效自动评价结果为部分缓解，反之，则执行下一步骤；
判断所有疗后病灶的长直径与短直径之和是否比疗前所有病灶的长直径与短直径之和增加了至少20％，且长直径与短直径之和的绝对值增加了至少5mm，若是，则判定疗效自动评价结果为疾病进展，反之，则判定疗效自动评价结果为疾病稳定。
与图1的方法相对应，本发明一种鼻咽癌疗效的自动评测***，包括：
病灶分割模块，用于采用深度学习算法对鼻咽癌图像进行病灶分割，得到疗前鼻咽癌病灶和疗后鼻咽癌病灶；
配准模块，用于将疗后鼻咽癌病灶配准至疗前鼻咽癌病灶，得到已配准的疗后鼻咽癌病灶；
自动评测模块，用于根据疗前鼻咽癌病灶和已配准的疗后鼻咽癌病灶采用疗效自动评测算法进行疗效自动评测，输出疗效评测结果。
进一步作为优选的实施方式，所述病灶分割模块包括：
输入单元，用于输入鼻咽癌图像，其中所述鼻咽癌图像包括疗前鼻咽癌图像和疗后鼻咽癌图像；
病灶分割单元，用于采用全卷积神经网络对鼻咽癌图像进行病灶分割，得到鼻咽癌病灶，其中所述鼻咽癌病灶包括疗前鼻咽癌病灶和疗后鼻咽癌病灶。
与图1的方法相对应，本发明一种鼻咽癌疗效的自动评测***，包括：
存储器，用于存储程序；
处理器，用于加载所述程序以执行如本发明所述的一种鼻咽癌疗效的自动评测方法。
本发明的目的是为了提高鼻咽癌疗效评估的效率与精度，减轻医生负担。以鼻咽癌图像为MRI图像为例，如图2所示，本实施例提出的鼻咽癌疗效的自动评测方案共分为三个部分：1)疗前和疗后MRI图像鼻咽癌病灶定位(分割)；2)疗后图像配准至疗前图像；3)基于recist1.1标准的疗效自动评估算法进行疗效评估。下面对这三部分的内容进行详细说明：
第一部分：病灶分割
本实施例采用深度学习技术中的全卷积神经网络进行病灶分割，其用于MRI多模态鼻咽癌分割的一个实例的网络结构图如图3所示，其中，N1＝3，N2＝4。该网络按照功能可以分为特征提取阶段和得分图重建阶段。
其中，特征提取阶段的主要功能是分别提取输入的T1和T2图像的特征，并在最后将T1和T2低层次的基本特征(如边缘、纹理等)融合，得到更抽象、具有语义信息的特征，其具体实现过程为：输入的T1图像依次经过3个第一采样块处理(图3的紫色箭头部分)后得到大小为32×32且通道数为128的T1特征图，同时输入的T2图像依次经过4个第一采样块(图3的紫色箭头部分)处理后得到大小为32×32且通道数为128的T2特征图；接着，将大小为32×32且通道数为128的T1特征图和T2特征图经过第二采样块(图3的绿色箭头部分)处理后得到融合的大小为32×32且通道数为256的得分图。
而得分图重建阶段的主要功能是通过上采样等操作将缩小到32×32大小的得分图重建至输入的T2图像的大小，其具体过程为：大小为32×32且通道数为256的得分图依次经过4个第三采样块(图3的棕色箭头部分)处理后得到大小为512×512且通道数为32的候选分割结果图，该候选分割结果图再经过一次卷积处理即可得到大小为512×512且通道数为1的最终分割结果图。
图3的网络基于经典的U-net分割网络进行了改进，可以同时处理MRI多参数数据，使得该网络能够同时分析MRI的T1和T2序列，还能通过增加路径处理更多的序列。相比于单独的T2序列，本实施例的网络在同时分析T2和T1序列时，病灶分割的精确率更高。另一方面，由于T1和T2图像表示的信息有所不同，所以网络提取的特征信息不同，如果在同一路径上用相同的卷积核提取特征就会使T1和T2信息表达相同，不能有效地针对某个参数图像提取特征，本实施例的网络中T1和T2不是在网络的开始就进行信息融合，而是先分为两条路径分别处理，在深层特征再进行融合。同时，该改进的融合方式能够根据不同的下采样层(图3中为maxpooling层)数量处理大小不同的T2和T1图像。另外，深层特征进行T1和T2的信息融合一定程度上减少了配准过程中因插值而导致图像部分信息与原始图像的误差，因为深层特征对精确的位置信息不敏感。图3的结构也能应用于其它多模态数据如PET、CT等。本实施例所采用的端到端的分割网络相比于基于小块的分割网络速度更快，能够提高分割速度，有利于提高疗效评估效率。
图3中蓝色矩形框表示网络中的图像大小，矩形框中的数字指图像通道数，数字N×N指单个通道的图像大小(如512×512)，conv(convolutional layer)指卷积层，concatenate指连接层，LeakyReLU为带泄露的修正线性单元，GN(group normalizationlayer)指组归一化，maxpooling层为最大池化层，upsampling为上采样层。
在激活函数的选择上，本实施例没有用经典U-net网络中的ReLU(修正线性单元)作为激活函数，而是采用了LeakyReLU作为激活函数。ReLU与LeakyReLU激活函数的表达式分别如公式(1)和公式(2)所示：
式(2)中，α为(1，+∞)区间内的固定参数。
与经典ReLU相同，LeakyReLU在非负区间为线性的，运算简单收敛较快，不会出现梯度消失的情况。但是，在负区间ReLU是没有梯度的，如果在某次迭代中一个神经元传过了一个过大的梯度时，将会使得该神经元再也不会对数据有激活情况，也就是神经元“死亡”。LeakyReLU则是为了解决这个问题存在的，LeakyReLU在负区间会有一个较小的梯度，不会使得神经元“死亡”。由于鼻咽癌病灶的大小差异较大，不同图像中不同病灶大小所产生的梯度大小有较大差异，为了防止梯度突然过大导致神经元“死亡”，所以本实施例采用了LeakyReLU作为网络的激活函数。
为了加快网络收敛，本实施例还在每个激活层后加了GN层，而没有使用常用的BN(batch normalization，批量归一化)层。为了保证图像信息的完整性，本实施例所处理的图像是没有经过降维的原始图像，分辨率较大，其中T2图像大小为512×512。由于图像较大，而显存资源有限，不能使用较大的batch训练我们的网络，而在小batch(此处一般用1)的情况下，采用BN会导致网络性能下降，所以本实施例采用对batch大小不敏感的GN来加速网络收敛。
图4为一个采用图3的网络结构进行多模态病灶自动分割结果的例子，A为MRI的t2图像；B为鼻咽癌病灶的金标准；C为网络输出的病灶概率图；D为最终的自动分割结果。图4中所示的分割结果(D)与金标准(B)相近。本实施例可采用DSC评判网络的分割性能，DSC越高表示网络自动分割结果与金标准重叠程度越高：DSC＝2TP/(FP+2TP+FN)，其中TP表示被全卷积神经网络正确识别的肿瘤区域；FP表示非肿瘤区域被全卷积神经网络识别为肿瘤区域；TN表示全卷积神经网络正确识别的非肿瘤区域；FN表示肿瘤区域被全卷积神经网络识别为非肿瘤区域。目前采用本实施例的分割方法在22个患者的疗前图像上经过11折交叉验证的DSC平均值为67.5％，标准差为12.6％，DSC的中值为69.9％。此外，在相同的训练集和测试集上进行了实验，发现采用本实施例的方法的DSC比传统U-net网络的高10％左右。
第二部分：疗后病灶配准至疗前病灶
目前业内暂未有针对MRI头颈部图像的配准方法，所以本实施例设计了新的配准方法进行配准，其主要分为两个阶段：刚体变换和非刚体变换。配准过程中需要先根据原始MRI的T2图像实现疗后图像配准至疗前图像，在计算得出相应的变换矩阵后，再用相同的变换矩阵将疗后病灶区域配准至与疗前图像相同的空间坐标系以完成疗前疗后病灶的配准。
1)第一阶段刚体变换
鼻咽癌扫描图像中最常见的变化就是患者头部仰角的不同，患者常常需要提高其仰角以方便肿瘤在影像中更容易被定位。然而患者每一次扫描的仰角不可能完全相同，因此本实施例首先对图像采用仿射变换解决患者的仰角差异问题。仿射变换是围绕一个固定中心的旋转一定角度并平移一定距离的一种3D刚体变换。仿射变换共拥有12个自由度。在点φ(x,y,z)的仿射变换Taffine(x,y,z)表示为：
其中，θ11～θ34代表三维仿射变换的12个自由度，分别是9个旋转参数θ11～θ33以及3个平移参数θ14、θ24和θ34。通过以上步骤进行刚体变换，能够消除图像的旋转，剪切及大小差异。
2)第二阶段非刚体变换
第二阶段配准的目的是在第一阶段的基础上对图像进行对齐。本实施例采用均方差(Mean Square，MS)作为配准的相似性测度，以梯度下降法(Gradient Descent，GD)作为优化算法来进行配准。本实施例可将优化算法的预测步长(learning rate，也称学***滑参数设置为6、2、1。而图像金字塔的详细解释如图5所示。图像金字塔的思想被许多配准方法所采用，因为这种从低分辨率到高分辨率的图像处理方法能够让算法从粗到细地理解图像的内容，进而有效缩小搜索空间，降低配准时间，且有利于防止算法陷入局部极值。第二阶段的目的是对局部形变进行对齐，本实施例采用了较大的学习率以及下降速度较快的梯度下降法，一方面确定了图像对齐的正确范围，另一方面减少了运行时间及计算量。
经过以上两阶段的配准后的结果和未配准的结果对比如图6所示。从图6中可以看到未配准疗后图像的第37层无病灶，且与疗前图像37层不是同一层。而经过本实施例的方案配准后的已配准的疗后图像的第37层与疗前图像的第37层解剖结构几乎相同，相应的疗后病灶也配准至相应的层。
第三部分：疗效自动评估算法进行自动评估
该疗效自动评估算法是基于recist 1.1标准且能应对各方面的临床实际情况，从而有效地进行疗效评估。该算法需要基于疗前和疗后病灶以及疗后的配准结果进行评估。因为配准过后的疗前病灶与疗后病灶处于相同的图像空间内，其体素点能够一一对应，所以其病灶位置是能够一一对应的。本实施例分别计算每个疗前病灶的长直径与短直径之和，作为疗前病灶的直径和，然后再计算疗前病灶相对应的疗后病灶的长直径与短直径之和作为疗后病灶的直径和，如果疗后相应位置的病灶消失，直径和为0cm。故本实施例将分如下情况得到疗效评价结果：1)疗后全部病灶消失，判断为完全缓解(CR)；2)疗后所有病灶直径之和相比疗前所有病灶直径之和减少了至少30％，判断为部分缓解(PR)；3)疗后所有病灶直径之和相比疗前所有病灶直径之和增加了至少20％，且直径之和的绝对值增加至少5mm，判断为疾病进展(PD)；当疗后出现一个或多个新病灶也判断为疾病进展(PD)；4)当病灶治疗情况处于部分缓解(PR)和疾病进展(PD)之间时，判断为疾病稳定(SD)。采用该疗效评估算法进行疗效评估的具体流程图如图7所示。
为了验证本实施例的疗效自动评估效果，基于医生所勾画的病灶金标准对22个患者进行疗效评估，以医生的疗效评估结果作为金标准，采用本实施例的疗效评估算法的准确率约为81％(18/22)。
综上所述，本实施例的网络模型能够同时分析不同大小的多模态图像，有利于提高分割准确率，相比于传统的U-net分割网络，DSC提高了约10％；本实施例针对鼻咽癌的配准算法，配准更准确，更有利于精确地计算疗前疗后病灶差异；本实施例的疗效评估算法基于recist1.1标准并且考虑了各种临床实际情况，能够有效应对临床实际情况。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种鼻咽癌疗效的自动评测方法，其特征在于：包括以下步骤：
采用深度学习算法对鼻咽癌图像进行病灶分割，得到疗前鼻咽癌病灶和疗后鼻咽癌病灶；
将疗后鼻咽癌病灶配准至疗前鼻咽癌病灶，得到已配准的疗后鼻咽癌病灶；
根据疗前鼻咽癌病灶和已配准的疗后鼻咽癌病灶采用疗效自动评测算法进行疗效自动评测，输出疗效评测结果。
2.根据权利要求1所述的一种鼻咽癌疗效的自动评测方法，其特征在于：所述采用深度学习算法对鼻咽癌图像进行病灶分割，得到疗前鼻咽癌病灶和疗后鼻咽癌病灶这一步骤，具体包括：
输入鼻咽癌图像，其中所述鼻咽癌图像包括疗前鼻咽癌图像和疗后鼻咽癌图像；
采用全卷积神经网络对鼻咽癌图像进行病灶分割，得到鼻咽癌病灶，其中所述鼻咽癌病灶包括疗前鼻咽癌病灶和疗后鼻咽癌病灶。
3.根据权利要求2所述的一种鼻咽癌疗效的自动评测方法，其特征在于：所述鼻咽癌图像为MRI图像，所述全卷积神经网络采用改进后的U-net网络结构。
4.根据权利要求3所述的一种鼻咽癌疗效的自动评测方法，其特征在于：所述采用全卷积神经网络对鼻咽癌图像进行病灶分割，得到鼻咽癌病灶这一步骤，具体包括：
根据鼻咽癌图像得到对应的T1图像和T2图像；
将得到的T1图像依次经过第1至第N1个第一采样块处理后得到T1图像的第一至第N1特征图；
将得到的T2图像依次经过第1至第N2个第一采样块处理后得到T2图像的第一至第N2特征图；
将T1图像的第N1特征图和T2图像的第N2特征图经过第二采样块处理后得到融合的特征图；
将融合的特征图依次经过第1至第N2个第三采样块处理后得到候选的病灶分割结果图；
将候选的病灶分割结果图进行卷积处理，得到最终的病灶分割结果图；
其中，N1和N2均为正整数，T1图像的第N1特征图与T2图像的第N2特征图的大小相同，第一采样块包括一个卷积层、一个组归一化层和一个带泄露的修正线性单元，第二采样块包括2个第一采样块和一个池化层，第三采样块包括一个上采样层、一个连接层和3个第一采样块，第1至第N2个第三采样块的连接层分别与T2图像的第N2至第1特征图对应连接。
5.根据权利要求1所述的一种鼻咽癌疗效的自动评测方法，其特征在于：所述将疗后鼻咽癌病灶配准至疗前鼻咽癌病灶，得到已配准的疗后鼻咽癌病灶这一步骤，具体包括：
采用仿射变换对疗后鼻咽癌病灶进行刚体变换，以实现刚体配准；
以梯度下降法作为优化方法，均方差作为相似性测度，对刚体变换后的疗后鼻咽癌病灶进行非刚体配准，得到已配准的疗后鼻咽癌病灶。
6.根据权利要求1所述的一种鼻咽癌疗效的自动评测方法，其特征在于：所述根据疗前鼻咽癌病灶和已配准的疗后鼻咽癌病灶采用疗效自动评测算法进行疗效自动评测，输出疗效评测结果这一步骤，具体包括：
根据疗前鼻咽癌病灶计算每个疗前病灶的长直径与短直径之和；
根据已配准的疗后鼻咽癌病灶计算每个疗后病灶的长直径与短直径之和；
根据每个疗前病灶的长直径与短直径之和以及每个疗后病灶的长直径与短直径之和进行疗效自动评价；
输出疗效自动评价结果。
7.根据权利要求6所述的一种鼻咽癌疗效的自动评测方法，其特征在于：所述根据每个疗前病灶的长直径与短直径之和以及每个疗后病灶的长直径与短直径之和进行疗效自动评价这一步骤，具体包括：
判断所有疗后病灶的长直径与短直径之和是否为0，若是，则表明疗后全部病灶消失，此时判定疗效自动评价结果为完全缓解，反之，则执行下一步骤；
判断疗后是否出现新病灶，若是，则判定疗效自动评价结果为疾病进展，反之，则执行下一步骤；
判断所有疗后病灶的长直径与短直径之和是否比疗前所有病灶的长直径与短直径之和减少了至少30％，若是，判定疗效自动评价结果为部分缓解，反之，则执行下一步骤；
判断所有疗后病灶的长直径与短直径之和是否比疗前所有病灶的长直径与短直径之和增加了至少20％，且长直径与短直径之和的绝对值增加了至少5mm，若是，则判定疗效自动评价结果为疾病进展，反之，则判定疗效自动评价结果为疾病稳定。
8.一种鼻咽癌疗效的自动评测***，其特征在于：包括：
病灶分割模块，用于采用深度学习算法对鼻咽癌图像进行病灶分割，得到疗前鼻咽癌病灶和疗后鼻咽癌病灶；
配准模块，用于将疗后鼻咽癌病灶配准至疗前鼻咽癌病灶，得到已配准的疗后鼻咽癌病灶；
自动评测模块，用于根据疗前鼻咽癌病灶和已配准的疗后鼻咽癌病灶采用疗效自动评测算法进行疗效自动评测，输出疗效评测结果。
9.根据权利要求8所述的一种鼻咽癌疗效的自动评测***，其特征在于：所述病灶分割模块包括：
输入单元，用于输入鼻咽癌图像，其中所述鼻咽癌图像包括疗前鼻咽癌图像和疗后鼻咽癌图像；
病灶分割单元，用于采用全卷积神经网络对鼻咽癌图像进行病灶分割，得到鼻咽癌病灶，其中所述鼻咽癌病灶包括疗前鼻咽癌病灶和疗后鼻咽癌病灶。
10.一种鼻咽癌疗效的自动评测***，其特征在于：包括：
存储器，用于存储程序；
处理器，用于加载所述程序以执行如权利要求1-7任一项所述的一种鼻咽癌疗效的自动评测方法。
CN201810956607.5A 2018-08-21 2018-08-21 一种鼻咽癌疗效的自动评测方法及*** Active CN109378068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810956607.5A CN109378068B (zh) 2018-08-21 2018-08-21 一种鼻咽癌疗效的自动评测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810956607.5A CN109378068B (zh) 2018-08-21 2018-08-21 一种鼻咽癌疗效的自动评测方法及***

Publications (2)

Publication Number Publication Date
CN109378068A true CN109378068A (zh) 2019-02-22
CN109378068B CN109378068B (zh) 2022-02-18

Family

ID=65404416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810956607.5A Active CN109378068B (zh) 2018-08-21 2018-08-21 一种鼻咽癌疗效的自动评测方法及***

Country Status (1)

Country Link
CN (1) CN109378068B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378881A (zh) * 2019-07-05 2019-10-25 北京航空航天大学 一种基于深度学习的肿瘤定位***
CN111160135A (zh) * 2019-12-12 2020-05-15 太原理工大学 基于改进的Faster R-cnn的尿红细胞病变识别与统计方法和***
CN111667486A (zh) * 2020-04-29 2020-09-15 杭州深睿博联科技有限公司 一种基于深度学习的多模态融合胰腺分割方法和***
CN111951950A (zh) * 2019-05-16 2020-11-17 中国科学院自动化研究所 基于深度学习的三维数据医疗分类***、方法和装置
CN114708283A (zh) * 2022-04-21 2022-07-05 推想医疗科技股份有限公司 图像目标的分割方法、装置、电子设备及存储介质
CN116687353A (zh) * 2023-08-01 2023-09-05 宁波杜比医疗科技有限公司 新辅助化疗疗效评估***、设备及介质
CN118230963A (zh) * 2024-05-16 2024-06-21 暨南大学附属第一医院（广州华侨医院） 基于深度学习的肝癌tace疗效评估方法、设备、介质及产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881568A (zh) * 2015-04-27 2015-09-02 苏州敏宇医疗科技有限公司 一种基于云计算的肿瘤治疗疗效早期评价的***和方法
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务***
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
US20170329894A1 (en) * 2008-11-17 2017-11-16 Veracyte, Inc. Algorithms for disease diagnostics
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170329894A1 (en) * 2008-11-17 2017-11-16 Veracyte, Inc. Algorithms for disease diagnostics
CN104881568A (zh) * 2015-04-27 2015-09-02 苏州敏宇医疗科技有限公司 一种基于云计算的肿瘤治疗疗效早期评价的***和方法
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务***
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KUO MEN ET.AL: "《Deep Deconvolutional Neural Network for Target Segmentation of Nasopharyngeal Cancer in Planning Computed Tomography Images》", 《FRONTIERS IN ONCOLOGY》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951950A (zh) * 2019-05-16 2020-11-17 中国科学院自动化研究所 基于深度学习的三维数据医疗分类***、方法和装置
CN111951950B (zh) * 2019-05-16 2023-11-24 中国科学院自动化研究所 基于深度学习的三维数据医疗分类***
CN110378881A (zh) * 2019-07-05 2019-10-25 北京航空航天大学 一种基于深度学习的肿瘤定位***
CN110378881B (zh) * 2019-07-05 2020-03-24 北京航空航天大学 一种基于深度学习的肿瘤定位***
CN111160135A (zh) * 2019-12-12 2020-05-15 太原理工大学 基于改进的Faster R-cnn的尿红细胞病变识别与统计方法和***
CN111667486A (zh) * 2020-04-29 2020-09-15 杭州深睿博联科技有限公司 一种基于深度学习的多模态融合胰腺分割方法和***
CN111667486B (zh) * 2020-04-29 2023-11-17 杭州深睿博联科技有限公司 一种基于深度学习的多模态融合胰腺分割方法和***
CN114708283A (zh) * 2022-04-21 2022-07-05 推想医疗科技股份有限公司 图像目标的分割方法、装置、电子设备及存储介质
CN116687353A (zh) * 2023-08-01 2023-09-05 宁波杜比医疗科技有限公司 新辅助化疗疗效评估***、设备及介质
CN116687353B (zh) * 2023-08-01 2023-12-19 宁波杜比医疗科技有限公司 新辅助化疗疗效评估***、设备及介质
CN118230963A (zh) * 2024-05-16 2024-06-21 暨南大学附属第一医院（广州华侨医院） 基于深度学习的肝癌tace疗效评估方法、设备、介质及产品

Also Published As

Publication number Publication date
CN109378068B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN109378068A (zh) 一种鼻咽癌疗效的自动评测方法及***
EP3432784B1 (en) Deep-learning-based cancer classification using a hierarchical classification framework
Feng et al. Segmenting CT prostate images using population and patient‐specific statistics for radiotherapy
CN112270660B (zh) 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
WO2021088747A1 (zh) 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法
Chen et al. Standard plane localization in fetal ultrasound via domain transferred deep neural networks
CN110689521B (zh) 一种医学影像所属人体部位的自动识别方法及***
CN110415792B (zh) 图像检测方法、装置、计算机设备和存储介质
CN107730507A (zh) 一种基于深度学习的病变区域自动分割方法
KR102458324B1 (ko) 학습 모델을 이용한 데이터 처리 방법
Chen et al. A recursive ensemble organ segmentation (REOS) framework: application in brain radiotherapy
CN111986206A (zh) 基于UNet网络的肺叶分割方法、装置及计算机可读存储介质
US11704796B2 (en) Estimating bone mineral density from plain radiograph by assessing bone texture with deep learning
Tan et al. An approach for pulmonary vascular extraction from chest CT images
Huang et al. 3D lightweight network for simultaneous registration and segmentation of organs-at-risk in CT images of head and neck cancer
Chang et al. Development of realistic multi-contrast textured XCAT (MT-XCAT) phantoms using a dual-discriminator conditional-generative adversarial network (D-CGAN)
CN113706514B (zh) 基于模板图像的病灶定位方法、装置、设备及存储介质
Liu et al. 3-D prostate MR and TRUS images detection and segmentation for puncture biopsy
Furuzuki et al. A detection method for liver cancer region based on faster R-CNN
Chen et al. Detection of various dental conditions on dental panoramic radiography using Faster R-CNN
Zhang et al. Topology-preserving segmentation network: A deep learning segmentation framework for connected component
CN109087357A (zh) 扫描定位方法、装置、计算机设备及计算机可读存储介质
Jalab et al. Fractional Renyi entropy image enhancement for deep segmentation of kidney MRI
KR102280047B1 (ko) 딥 러닝 기반 종양 치료 반응 예측 방법
CN107845106A (zh) 利用改进的nndr策略的医学图像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant