CN117152442B - 影像靶区自动勾画方法、装置、电子设备和可读存储介质 - Google Patents
影像靶区自动勾画方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN117152442B CN117152442B CN202311404252.6A CN202311404252A CN117152442B CN 117152442 B CN117152442 B CN 117152442B CN 202311404252 A CN202311404252 A CN 202311404252A CN 117152442 B CN117152442 B CN 117152442B
- Authority
- CN
- China
- Prior art keywords
- lung
- image
- target
- slice
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 121
- 238000003860 storage Methods 0.000 title claims abstract description 30
- 210000004072 lung Anatomy 0.000 claims abstract description 269
- 238000012545 processing Methods 0.000 claims abstract description 100
- 230000011218 segmentation Effects 0.000 claims abstract description 83
- 238000002591 computed tomography Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 92
- 238000005070 sampling Methods 0.000 claims description 41
- 230000004927 fusion Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 24
- 230000010339 dilation Effects 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 12
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000002685 pulmonary effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 25
- 210000000056 organ Anatomy 0.000 description 21
- 238000001959 radiotherapy Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000011282 treatment Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 201000005202 lung cancer Diseases 0.000 description 4
- 208000020816 lung neoplasm Diseases 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000000920 organ at risk Anatomy 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种影像靶区自动勾画方法、装置、电子设备和可读存储介质,涉及医疗数据处理技术领域。该方法包括:获取电子计算机断层扫描影像,电子计算机断层扫描影像包括第一切片;通过第一网络模型对第一切片进行肺部分割处理,以获得第一肺部区域图像;通过第二网络模型对第一肺部区域图像进行靶区预测处理,以确定第一肺部区域图像中含有靶区;通过第三网络模型对第一肺部区域图像进行靶区识别以获得第一靶区掩码图像,第一靶区掩码图像用于标识靶区在第一切片中的位置信息;将第一靶区掩码图像与第一切片进行叠加处理,以在第一切片中确定靶区的轮廓。本申请实施例可以在断层扫描影像中准确的勾画出靶区的轮廓。
Description
技术领域
本申请涉及医疗数据处理技术领域,尤其涉及一种影像靶区自动勾画方法、装置、电子设备和计算机可读存储介质。
背景技术
本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
放射治疗,简称“放疗”,是***的一种重要手段,常被用于术前准备和术后清扫。在放疗计划制定阶段,靶区勾画是至关重要的步骤,临床医生根据患者的CT(ComputedTomography,电子计算机断层扫描)影像数据对靶区(Clinical target volume,CTV)和照射过程中可能危及的其他健康器官,即危及器官(Organs at risk, OARs)区域进行勾画,并生成计划靶区(Plan target volume,PTV)。勾画完成之后,计划师根据勾画的结果、临床科室或肿瘤科制定的治疗方案。由此可见,靶区勾画的精准程度直接影响后续计划实施效果。
勾画工作一般由临床医生在CT影像上逐层手动勾画,这是一项及其耗时耗力的工作。
为了解决上述技术问题,本申请提出了一种符合临床使用标准自动勾画***,临床医生只需要对结果进行检验和微小改动即可,可以极大地减少临床医生的工作量,同时有助于提高放射诊疗的水平,避免由于不同医生的工作经验不同导致勾画结果的不一致性。
发明内容
本申请的目的在于提供一种影像靶区自动勾画方法、装置、电子设备以及计算机可读存储介质,可以快速且准确的对靶区进行勾画。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
本申请实施例提供了一种影像靶区自动勾画方法,包括:获取电子计算机断层扫描影像,所述电子计算机断层扫描影像包括M个切片,所述M个切片包括第一切片,M为大于1的整数;通过第一网络模型对所述第一切片进行肺部分割处理,以获得第一肺部区域图像;通过第二网络模型对所述第一肺部区域图像进行靶区预测处理,以确定所述第一肺部区域图像中是否含有靶区,所述靶区是病灶区域;如果所述第一肺部区域图像中包括所述靶区,则通过第三网络模型对所述第一肺部区域图像进行靶区识别以获得第一靶区掩码图像,所述第一靶区掩码图像用于标识所述靶区在所述第一切片中的位置信息;将所述第一靶区掩码图像与所述第一切片进行叠加处理,以在所述第一切片中确定所述靶区的轮廓。
在一些实施例中,所述方法还包括:通过第五网络模型对所述第一肺部区域图像进行健康组织背景识别,以获得健康组织背景掩码图像;将所述健康组织背景掩码图像与所述第一靶区掩码图像进行比对;如果所述健康组织背景掩码图像与所述第一靶区掩码图像存在重合区域,则发出预警。
在一些实施例中,所述方法还包括:通过第四网络模型对所述第一切片进行器官识别处理,以在所述第一切片中识别出目标器官,所述目标器官不包括肺部;如果所述目标器官与所述靶区在所述第一切片中存在重合区域,则发出预警。
在一些实施例中,所述M个切片包括第二切片;其中,通过第一网络模型对所述第一切片进行肺部分割处理,以获得第一肺部区域图像,包括:通过所述第一网络模型对所述M个切片进行肺部识别处理,并根据肺部识别结果对各个切片进行肺部分割处理,以获得各个切片对应的肺部区域图像,所述各个切片对应的肺部区域图像包括所述第一肺部区域图像和第二肺部区域图像,其中所述第二肺部区域图像是所述第二切片的肺部区域图像;其中,通过第二网络模型对所述第一肺部区域图像进行靶区预测处理,以确定所述第一肺部区域图像中是否含有靶区,包括:通过所述第二网络模型对各个肺部区域图像分别进行靶区预测处理,以确定各个肺部区域图像中是否包括靶区;所述方法还包括:根据靶区预测结果在多个肺部区域图像中确定多个目标肺部区域图像,所述多个目标肺部区域图像包括所述第一肺部区域图像和第三肺部区域图像,所述目标肺部区域图像不包括所述第二肺部区域图像;如果所述第一肺部区域图像的下一个图像是所述第二肺部区域图像,所述第二肺部区域图像的下一个图像是所述第三肺部区域图像,则修正确定所述第二肺部区域图像是包含所述靶区的目标肺部区域图像的;通过所述第三网络模型对包括所述靶区的所述第二肺部区域图像进行靶区识别处理以获得第二靶区掩码图像,所述第二靶区掩码图像用于标识所述靶区在所述第二切片中的位置信息;将所述第二靶区掩码图像与所述第二切片进行叠加处理,以在所述第二切片中确定所述靶区的轮廓。
在一些实施例中,在通过第一网络模型对所述第一切片进行肺部分割之前,所述方法还包括:获取第一训练切片和第二训练切片,所述第一训练切片包括肺部轮廓真标签;通过所述第一训练切片和所述肺部轮廓真值标签对所述第一网络模型进行预训练;通过预训练完成的所述第一网络模型对所述第二训练切片进行预测处理,确定所述第二训练切片对应的肺部轮廓伪标签;根据所述第一训练切片和所述第一训练切片的肺部轮廓真标签、所述第二训练切片和所述第二训练切片的所述肺部轮廓伪标签,对所述预训练完成的第一网络模型进行微调训练,以获得微调训练完成的所述第一网络模型,以便根据微调训练完成的所述第一网络模型对所述第一切片进行肺部识别处理。
在一些实施例中,所述第二网络模型包括多尺度特征学习结构、上下文特征学习结构和分类器;其中,通过第二网络模型对所述第一肺部区域图像进行靶区预测处理,以确定所述第一肺部区域图像中是否含有靶区,包括:通过所述多尺度特征学习结构对所述第一肺部区域图像进行不同尺度的特征提取获得多尺度特征,所述多尺度特征包含多个感受野对应的特征;通过所述上下文特征学习结构对所述第一肺部区域图像进行上下文特征提取获得上下文特征,所述上下文特征是通过可扩张卷积核提取到的;将所述多尺度特征和所述上下文特征进行特征融合,获得第一融合特征;通过所述分类器对所述第一融合特征进行靶区预测处理,以确定所述第一肺部区域图像中是否含有靶区。
在一些实施例中,所述上下文特征学习结构包括第一扩张密集模块、第一采样层、第二扩张密集模块和第二采样层,所述第一扩张密集模块和所述第二扩张密集模块均包括所述可扩张卷积核;其中,通过所述上下文特征学习结构对所述第一肺部区域图像进行上下文特征提取获得上下文特征,所述上下文特征是通过可扩张卷积核提取到的,包括:通过所述第一扩张密集模块对所述第一肺部区域图像进行密集特征提取处理,获得第一密集特征;通过所述第一采样层对所述第一密集特征进行采样处理,获得第一采样特征;通过所述第二扩张密集模块对所述第一采样特征进行密集特征提取处理,获得第二密集特征;通过所述第二采样层对所述第二密集特征进行采样处理,获得第二采样特征;将所述第一肺部区域图像与所述第一采样特征和所述第二采样特征进行特征融合处理,获得第二融合特征;根据所述第二融合特征,确定所述上下文特征。
在一些实施例中,所述第三网络模型包括注意力结构,所述注意力结构包括第一参数单元、第二参数单元以及第三参数单元;其中,通过第三网络模型对所述第一肺部区域图像进行靶区识别以获得第一靶区掩码图像,包括:对所述第一肺部区域图像进行特征提取处理,获得第一肺部区域特征;通过所述第一参数单元对所述第一肺部区域特征进行加权处理,获得查询特征;通过所述第二参数单元对所述第一肺部区域特征进行加权处理,获得键特征;通过所述第三参数单元对所述第一肺部区域特征进行加权处理,获得值特征;对所述查询特征、所述键特征以及所述值特征进行自注意力学习处理,获得自注意力特征;通过卷积层对所述自注意力特征进行卷积处理,获得所述第一靶区掩码图像。
本申请实施例提供了一种影像靶区自动勾画装置,包括:影像获取模块、肺部识别模块、靶区预测模块、第一靶区掩码图像确定模块和轮廓确定模块。
其中,所述影像获取模块用于获取电子计算机断层扫描影像,所述电子计算机断层扫描影像包括M个切片,所述M个切片包括第一切片,M为大于1的整数;所述肺部识别模块可以用于通过第一网络模型对所述第一切片进行肺部分割处理,以获得第一肺部区域图像;所述靶区预测模块可以用于通过第二网络模型对所述第一肺部区域图像进行靶区预测处理,以确定所述第一肺部区域图像中是否含有靶区,所述靶区是病灶区域;所述第一靶区掩码图像确定模块可以用于如果所述第一肺部区域图像中包括所述靶区,则通过第三网络模型对所述第一肺部区域图像进行靶区识别以获得第一靶区掩码图像,所述第一靶区掩码图像用于标识所述靶区在所述第一切片中的位置信息;所述轮廓确定模块可以用于将所述第一靶区掩码图像与所述第一切片进行叠加处理,以在所述第一切片中确定所述靶区的轮廓。
本申请实施例提出一种电子设备,该电子设备包括:存储器和处理器;所述存储器用于存储计算机程序指令;所述处理器调用所述存储器存储的所述计算机程序指令,用于实现上述任一项所述的影像靶区自动勾画方法。
本申请实施例提出一种计算机可读存储介质,其上存储有计算机程序指令,实现如上述任一项所述的影像靶区自动勾画方法。
本申请实施例提出一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序指令,该计算机程序指令存储在计算机可读存储介质中。从计算机可读存储介质读取该计算机程序指令,处理器执行该计算机程序指令,实现上述影像靶区自动勾画方法。
本申请实施例提供的影像靶区自动勾画方法、装置及电子设备和计算机可读存储介质,依次对第一切片进行肺部区域识别分割、是否包含靶区识别、靶区分割识别等处理。上述对肺部区域进行识别分割以便在肺部区域图像中进行靶区识别,能够降低第一切片中的背景对靶区识别结果的影像;另外,上述方法先对第一肺部区域图像中是否包含靶区进行识别,然后对包含靶区的肺部区域进行靶区勾画和分割,通过靶区***式的识别和分割,再一次提高了靶区分割的准确性,尽可能减少背景区域对靶区分割结果的影像。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了可以应用于本申请实施例的影像靶区自动勾画方法或影像靶区自动勾画装置的场景示意图。
图2是根据一示例性实施例示出的一种影像靶区自动勾画方法的流程图。
图3是根据一示例性实施例示出的一种影像靶区自动勾画方法对应的结构图。
图4是根据一示例性实施例示出的一种靶区勾画方法的流程图。
图5是根据一示例性实施例示出的一种靶区标识修正方法的流程图。
图6是根据一示例性实施例示出的一种第一网络模型训练方法的流程图。
图7是根据一示例性实施例示出的一种靶区识别方法的流程图。
图8是根据一示例性实施例示出的一种第二网络模型的结构示意图。
图9是根据一示例性实施例示出的一种上下文特征提取学习结构的示意图。
图10是根据一示例性实施例示出的一种扩展密集模块的前向传播过程示意图。
图11是根据一示例性实施例示出的一种上下文特征确定方法的流程图。
图12是根据一示例性实施例示出的一种靶区勾画方法对应流程的示意图。
图13是根据一示例性实施例示出的一种靶区勾画方法对应流程的示意图。
图14是根据一示例性实施例示出的一种第三网络模型的网络结构图。
图15是根据一示例性实施例示出的一种卷积块的结构示意图。
图16是根据一示例性实施例示出的一种变形器的结构示意图。
图17是根据一示例性实施例示出的一种掩码图像确定方法的流程图。
图18是根据一示例性实施例示出的一种影像靶区自动勾画装置的框图。
图19示出了适于用来实现本申请实施例的电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本申请将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
本领域技术人员知道,本申请的实施方式可以为一种***、装置、设备、方法或计算机程序产品。因此,本申请可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件,驻留软件,微代码等),或者硬件和软件结合的形式。
本申请所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本申请的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而省略特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图仅为本申请的示意性图解,图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和步骤,也不是必须按所描述的顺序执行。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
在本申请的描述中,除非另有说明,“/”表示“或”的意思,例如,A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。此外,“至少一个”是指一个或多个,“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同;用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。
为了能够更清楚地理解本申请的上述目的、特征和优点,下面结合附图和具体实施方式对本申请进行进一步的详细描述,需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
下面首先对本申请实施例涉及的部分用语进行解释说明,以便于本领域技术人员理解。
前文介绍了本申请实施例所涉及到的一些名词概念,下面介绍本申请实施例涉及的技术特征。
下面结合附图对本申请示例实施方式进行详细说明。
图1示出了可以应用于本申请实施例的影像靶区自动勾画方法或影像靶区自动勾画装置的场景示意图。
请参考图1,其示出了本申请一个示例性实施例提供的实施环境的示意图。
如图1所示,***架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。其中,终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、虚拟现实设备、智能家居等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理,并将处理结果反馈给终端设备。
服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器等,本申请对此不做限制。
服务器105可例如获取电子计算机断层扫描影像,电子计算机断层扫描影像包括M个切片,M个切片包括第一切片,M为大于1的整数;服务器105可例如通过第一网络模型对第一切片进行肺部分割处理,以获得第一肺部区域图像;服务器105可例如通过第二网络模型对第一肺部区域图像进行靶区预测处理,以确定第一肺部区域图像中是否含有靶区,靶区是病灶区域;服务器105可例如如果第一肺部区域图像中包括靶区,则通过第三网络模型对第一肺部区域图像进行靶区识别以获得第一靶区掩码图像,第一靶区掩码图像用于标识靶区在第一切片中的位置信息;服务器105可例如将第一靶区掩码图像与第一切片进行叠加处理,以在第一切片中确定靶区的轮廓。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的,服务器105可以是一个实体的服务器,还可以为多个服务器组成,根据实际需要,可以具有任意数目的终端设备、网络和服务器。
在上述***架构下,本申请实施例中提供了一种影像靶区自动勾画方法,该方法可以由任意具备计算处理能力的电子设备执行。
图2是根据一示例性实施例示出的一种影像靶区自动勾画方法的流程图。本申请实施例所提供的方法可以由任意具备计算处理能力的电子设备来执行,例如该方法可以由上述图1实施例中的服务器或终端设备来执行,也可以由服务器和终端设备共同执行,在下面的实施例中,以服务器为执行主体为例进行举例说明,但本申请并不限定于此。
参照图2,本申请实施例提供的影像靶区自动勾画方法可以包括以下步骤。
步骤S202,获取电子计算机断层扫描影像,电子计算机断层扫描影像包括M个切片,M个切片包括第一切片,M为大于1的整数。
在一些实施例中,上述电子计算机断层扫描影像(如CT影像)可以包括多个(如M个)影像切片。
图3是根据一示例性实施例示出的一种影像靶区自动勾画方法对应的结构图。
如图3所示,可以获取CT原始数据(例如电子计算机断层扫描影像)。
步骤S204,通过第一网络模型对第一切片进行肺部分割处理,以获得第一肺部区域图像。
其中,上述第一网络模型可以是训练完成的,用于对CT影像切片中的肺部进行识别和分割的网络模型。
如图3所示,可以通过肺部区域提取模块中已经训练完成的第一网络模型对第一切片进行肺部分割处理,以获得第一肺部区域图像(如图3中的肺区数据)。
步骤S206,通过第二网络模型对第一肺部区域图像进行靶区预测处理,以确定第一肺部区域图像中是否含有靶区,靶区是病灶区域。
上述第二网络模型是训练完成的用于对肺部区域图像进行识别,以确定肺部区域图像中是否包括靶区的网络模型。其中,靶区可以指的是病灶区域。
如图3所示,可以通过靶区分类模块中的第二网络模型对第一肺部区域图像进行靶区预测处理,以确定第一肺部区域图像中是否含有靶区数据。
通过上述方法,可以粗粒度的知道肺部区域图像中是否包含靶区数据。
步骤S208,如果第一肺部区域图像中包括靶区,则通过第三网络模型对第一肺部区域图像进行靶区识别以获得第一靶区掩码图像,第一靶区掩码图像用于标识靶区在第一切片中的位置信息。
上述第三网络模型是训练好的用于对图像中的靶区进行分割处理的网络模型。
如图3所示,可以通过靶区分割模块中的第三网络模型对第一肺部区域图像进行靶区识别以获得第一靶区掩码图像。
其中,上述掩码图像可以指的是部分内容被遮挡了的图像,那么上述靶区掩码图像可以指的是靶区内容被遮挡了的图像。
在一些实施例中上述靶区掩码图像在第一切片中的位置信息是已知的,那么上述第一靶区掩码图像中被遮挡的像素在第一切片中的位置信息也是已知的。
步骤S210,将第一靶区掩码图像与第一切片进行叠加处理,以在第一切片中确定靶区的轮廓。
如图3所示,可以通过靶区分割模块将第一靶区掩码图像与第一切片进行叠加处理,以在第一切片中确定靶区的轮廓(如图3中的靶区勾画结果)。
在一些实施例中,由于上述第一靶区掩码图像中各个像素在第一切片中的位置信息是已知的,那么将第一靶区掩码图像与第一切片进行叠加处理,可以根据掩码图像的位置信息在第一切片中确定靶区的位置信息,从而在第一切片中确定靶区的轮廓,以便在第一切片中勾画靶区的轮廓以进行切割。
靶区勾画阶段本质上是执行一个图像分割任务,上述基于深度学习的靶区勾画方法,可以辅助医生对患者CT影像的每一帧切片进行特征提取。然而,患者的CT影像会显示照射视野内的全部信息,然而靶区通常在整幅图像中仅占局部较小区域,抑制背景区域对前景靶区的噪声干扰是需要考虑的工作。因此,本申请提出一个基于多阶段的靶区自动勾画方法,逐层解决在靶区勾画的全工作流中从背景噪声抑制、目标区域识别、到靶区精准勾画的问题,为临床医生在放疗工作中提供一种高效精准的辅助工具。
在实际的肺癌临床治疗中,靶区的精确勾画可以保护可能危及的器官,尽可能减少放疗的副作用,在提高肺癌的治疗效果和生存质量具有极其重要的意义。然而,由于肿瘤部位结构复杂、位置隐蔽、不同的患者的病灶区域形状多样、个体差异大等问题,放疗医师对于肿瘤体积勾画是一项十分繁琐复杂,需要耗费大量时间的工作。
为了减少放疗的副作用,本申请还采用了以下方法:通过第四网络模型对第一切片进行器官识别处理,以在第一切片中识别出目标器官,目标器官不包括肺部;如果目标器官与靶区在第一切片中存在重合区域,则发出预警。
其中第四网络模型是训练好的用于对第一切片中的器官进行识别的网络模型。
可以理解的是,如果通过第三网络模型在第一切片中确定的靶区与通过第四网络模型确定的器官区域重合的话。那么,要么第三网络模型或者第四网络模型识别不准确,这会导致放疗方案对正常器官产生恶劣影响;要么靶区的病灶发生了扩散,可能需要医生制定新的技术方案。
那么,无论是上述那种情况,一旦靶区与器官识别区域重合,那么就可能需要发出预警,以便本领域技术人员进行人工审核,以避免对正常器官产生影响,或者在病灶扩散之后及时进行提醒。
图4是根据一示例性实施例示出的一种靶区勾画方法的流程图。
参考图4,上述靶区勾画方法可以包括以下步骤。
步骤S402,获取电子计算机断层扫描影像,电子计算机断层扫描影像包括M个切片,M个切片包括第一切片,M为大于1的整数。
步骤S404,通过第一网络模型对第一切片进行肺部分割处理,以获得第一肺部区域图像。
步骤S406,通过第二网络模型对第一肺部区域图像进行靶区预测处理,以确定第一肺部区域图像中是否含有靶区,靶区是病灶区域。
步骤S408,如果第一肺部区域图像中包括靶区,则通过第三网络模型对第一肺部区域图像进行靶区识别以获得第一靶区掩码图像,第一靶区掩码图像用于标识靶区在第一切片中的位置信息。
步骤S410,将第一靶区掩码图像与第一切片进行叠加处理,以在第一切片中确定靶区的轮廓。
步骤S412,通过第五网络模型对第一肺部区域图像进行健康组织背景识别,以获得健康组织背景掩码图像。
上述第五网络模型是训练好的,用于对肺部区域图像中的健康组织背景进行识别的模型。
步骤S414,将健康组织背景掩码图像与第一靶区掩码图像进行比对。
步骤S416,如果健康组织背景掩码图像与第一靶区掩码图像存在重合区域,则发出预警。
可以理解的是,如果通过第三网络模型在第一肺部区域图像中确定的靶区与通过第五网络模型在第一肺部区域图像确定的健康组织背景重合的话。那么可以确定第三网络模型识别的靶区可能不准确,那么就需要发出预警以便进行人工审核。
本实施例,提出了一种基于CT影像的靶区(如肺癌靶区)自动勾画方法,本申请基于深度学习的方法,从靶区勾画全流程的角度,首先采用半监督学习方法实现肺部区域识别,去除背景噪声的干扰,然后进行靶区图像分类,最后实现精确的靶区分割与勾画,该工作流程支持临床医生对每一个阶段的输出结果进行审核与修正,灵活性高,可解释性强,通过少量标注数据,提高了对于靶区勾画的工作效率,极大的减轻了临床医生工作量。
图5是根据一示例性实施例示出的一种靶区标识修正方法的流程图。
参考图5,上述靶区标识修正方法可以包括以下步骤。
步骤S502,获取电子计算机断层扫描影像,电子计算机断层扫描影像包括M个切片,M个切片包括第一切片,M为大于1的整数。
在一些实施例中,上述M个切片可以包括第二切片。
步骤S504,通过第一网络模型对M个切片进行肺部识别处理,并根据肺部识别结果对各个切片进行肺部分割处理,以获得各个切片对应的肺部区域图像,各个切片对应的肺部区域图像包括第一肺部区域图像和第二肺部区域图像,其中第二肺部区域图像是第二切片的肺部区域图像。
步骤S506,通过第二网络模型对各个肺部区域图像分别进行靶区预测处理,以确定各个肺部区域图像中是否包括靶区。
步骤S508,根据靶区预测结果在多个肺部区域图像中确定多个目标肺部区域图像,多个目标肺部区域图像包括第一肺部区域图像和第三肺部区域图像,目标肺部区域图像不包括第二肺部区域图像。
步骤S510,如果第一肺部区域图像的下一个图像是第二肺部区域图像,第二肺部区域图像的下一个图像是第三肺部区域图像,则修正确定第二肺部区域图像是包含靶区的目标肺部区域图像的。
也就是说,第一肺部区域图像、第二肺部区域图像以及第三肺部区域图像是CT影像中连续三个切片中对应的肺部区域图像。
可以理解的是,靶区位置在人体内是立体连续的,那么在进行CT影像获取时,靶区也应该是存在于连续的切片中的。那么如果确定第一肺部区域图像、第二肺部区域图像以及第三肺部区域图像是CT影像中连续三个切片中对应的肺部区域图像,在第一肺部区域图像和第三肺部区域图像中均包含靶区的情况下,第二肺部区域图像必然也包含靶区,那么就可以将第二肺部区域的标签修正为包含靶区。
步骤S512,通过第三网络模型对包括靶区的第二肺部区域图像进行靶区识别处理以获得第二靶区掩码图像,第二靶区掩码图像用于标识靶区在第二切片中的位置信息。
步骤S514,将第二靶区掩码图像与第二切片进行叠加处理,以在第二切片中确定靶区的轮廓。
上述实施例提供的技术方案,可以对CT影像中各个切片中是否包含靶区这一识别结果进行修正,以便更准确的对各个切片中的靶区轮廓进行识别和分割。
图6是根据一示例性实施例示出的一种第一网络模型训练方法的流程图。
参考图6,上述第一网络模型训练方法可以包括以下步骤。
步骤S602,获取第一训练切片和第二训练切片,第一训练切片包括肺部轮廓真标签。
上述第一训练切片和第二训练切片均可以是CT影像中的切片。其中,第二训练切片中包括用于标识肺部区域轮廓的肺部轮廓真标签。
步骤S604,通过第一训练切片和肺部轮廓真值标签对第一网络模型进行预训练。
步骤S606,通过预训练完成的第一网络模型对第二训练切片进行预测处理,确定第二训练切片对应的肺部轮廓伪标签。
步骤S608,根据第一训练切片和第一训练切片的肺部轮廓真标签、第二训练切片和第二训练切片的肺部轮廓伪标签,对预训练完成的第一网络模型进行微调训练,以获得微调训练完成的第一网络模型,以便根据微调训练完成的第一网络模型对第一切片进行肺部识别处理。
上述方法可以通过预训练后的第一网络模型对没有肺部轮廓真标签的第二训练切片进行预测处理,以确定第二训练切片对应的肺部轮廓伪标签;然后将第一训练切片和第一训练切片的肺部轮廓真标签、第二训练切片和第二训练切片的肺部轮廓伪标签作为训练集对第一网络模型进行微调训练。上述方法可以在较少训练标本的基础上扩展训练样本数,以更好的训练第一网络模型,从而提高第一网络模型的识别准确度。
图7是根据一示例性实施例示出的一种靶区识别方法的流程图。
参考图7,上述靶区识别方法可以包括以下步骤。
步骤S702,通过多尺度特征学习结构对第一肺部区域图像进行不同尺度的特征提取获得多尺度特征,多尺度特征包含多个感受野对应的特征。
在一些实施例中,第二网络模型可以包括如图8所示的多尺度特征学习结构801、上下文特征学习结构802以及分类器803等。
如图8所示,可以通过多尺度特征学习结构801对第一肺部区域图像进行不同尺度的特征提取获得多尺度特征,多尺度特征包含多个感受野对应的特征。
步骤S704,通过上下文特征学习结构对第一肺部区域图像进行上下文特征提取获得上下文特征,上下文特征是通过可扩张卷积核提取到的。
如图8所示,可以通过上下文特征学习结构802对第一肺部区域图像进行上下文特征提取获得上下文特征。
步骤S706,将多尺度特征和上下文特征进行特征融合,获得第一融合特征。
步骤S708,通过分类器对第一融合特征进行靶区预测处理,以确定第一肺部区域图像中是否含有靶区。
如图8所示,可以通过分类器803对第一融合特征进行靶区预测处理,以确定第一肺部区域图像中是否含有靶区。其中当预测结果为0时可以代表第一肺部区域图像中没有靶区,当预测结果为1时可以代表第一肺部区域图像中有靶区。
在一些实施例中,上述多尺度特征学习结构801的骨干网络可以采用Res2Net(一种能够提取不同感受野、多种尺度的特征的网络模型)网络,该网络可以包含多组Res2Net多尺度特征提取器获得更细粒度的多个感受野。
在一些实施例中,上述上下文特征提取学习结构802可以采用扩张密集网络,结构如图9所示,由交替的扩张密集模块和过渡层组成。扩张密集模块引入可扩张卷积来增大模型的特征感受野,通过扩张密集模块充分将每层产生的特征继续传递到后续所有的层,实现上下文特征的充分利用和学习,扩张密集模块的前向传播过程如图10所示;过渡层可以由核为1×1的卷积层和池化层构成。
图11是根据一示例性实施例示出的一种上下文特征确定方法的流程图。
在一些实施例中,上下文特征学习结构可以包括第一扩张密集模块、第一采样层、第二扩张密集模块和第二采样层,第一扩张密集模块和第二扩张密集模块均包括可扩张卷积核。
参考图11,上述上下文特征确定方法可以包括以下步骤。
步骤S1102,通过第一扩张密集模块对第一肺部区域图像进行密集特征提取处理,获得第一密集特征。
步骤S1104,通过第一采样层对第一密集特征进行采样处理,获得第一采样特征。
步骤S1106,通过第二扩张密集模块对第一采样特征进行密集特征提取处理,获得第二密集特征。
步骤S1108,通过第二采样层对第二密集特征进行采样处理,获得第二采样特征。
步骤S1110,将第一肺部区域图像与第一采样特征和第二采样特征进行特征融合处理,获得第二融合特征。
步骤S1112,根据第二融合特征,确定上下文特征。
图12是根据一示例性实施例示出的一种靶区勾画方法对应流程的示意图。
如图12所示,当获得包含靶区的肺部区域图像后,可以通过第三网络对肺部区域图像进行靶区分割处理以获得靶区分割结果;然后将靶区分割结果与包含靶区的肺部区域图像进行叠加处理,即可获得靶区勾画结构。
图13是根据一示例性实施例示出的一种靶区勾画方法对应流程的示意图。
如图13所示,当获得包含靶区的肺部区域图像后,可以通过第三网络对肺部区域图像进行靶区分割处理以获得靶区分割结果;如图13所示,在获得包含靶区的肺部区域图像后,可以通过第五网络对肺部区域图像进行背景识别和分割处理以获得背景分割结果;将背景分割结果与靶区分割结果进行叠加;如果靶区与背景无重叠,则直接根据靶区分割结果将靶区勾画处理;如果靶区与背景有重叠,则提示人工审核。
图14是根据一示例性实施例示出的一种第三网络模型的网络结构图。
在一些实施例中,可以将包含靶区数据输入至第三网络模型中,第三网络模型的网络结构可以如图14所示。其中,第三网络模型可以采用编码器-解码器结构,编码器部分可以由基于BottleNeck(瓶颈层)结构的卷积块(ConvB)、基于高效自注意力机制的变形器(Transformer)模块和池化层组成。其中,卷积块(ConvB)的作用在于提取局部特征,结构如图15所示。Transformer模块内部的多头注意力采用高效自注意力模块,作用在于以更少的参数计算全局关系程度,Transformer模块结构如图16所示。
图17是根据一示例性实施例示出的一种掩码图像确定方法的流程图。
结合图16,上述图17示出的是一种通过第三网络模型确定靶区掩码图像(或者背景掩码图像)的方法,具体可以包括以下步骤。
在一些实施例中,第三网络模型可以包括注意力结构(如图16所示的注意力结构),注意力结构可以包括第一参数单元(如图16所示的参数单元)、第二参数单元(如图16所示的参数单元/>)以及第三参数单元(如图16所示的参数单元/>)等。
步骤S1702,对第一肺部区域图像进行特征提取处理,获得第一肺部区域特征。
如图14所示,可以通过卷积块(如ConvB)等对第一肺部区域图像进行特征提取处理,获得第一肺部区域特征。
步骤S1704,通过第一参数单元对第一肺部区域特征进行加权处理,获得查询特征。
例如,可以通过第一参数单元对第一肺部区域特征x进行加权处理,获得查询特征/>。
步骤S1706,通过第二参数单元对第一肺部区域特征进行加权处理,获得键特征。
例如,可以通过第二参数单元对第一肺部区域特征进行加权处理,获得键特征/>或者/>。其中,DS代表下采样操作。
步骤S1708,通过第三参数单元对第一肺部区域特征进行加权处理,获得值特征。
例如,可以通过第三参数单元第一肺部区域特征进行加权处理,获得值特征或者/>。
步骤S1710,对查询特征、键特征以及值特征进行自注意力学习处理,获得自注意力特征。
如图16所示,可以对查询特征、键特征以及值特征进行自注意力学习处理,获得自注意力特征,具体可以参考以下的解释说明。
步骤S1712,通过卷积层对自注意力特征进行卷积处理,获得第一靶区掩码图像。
在一些实施例中,在经过卷积块可以得到一个特征图,H、W、C分别为高度、宽度和通道深度,然后将上述特征图输入高效自注意力结构(如图16所示的注意力结构)。由于标准的多头自注意力中,查询特征Q、键特征K和值特征V具有相同的形状,因此,计算过程中存在计算参数过大的问题。为了实现高效的自注意力,图16所示的注意力结构应用了一个空间缩小率R来降低键特征K和值特征V的空间分辨率,即,以此来降低自注意力的空间复杂度,由下式(1)表示:
其中,为可学习的线性投影矩阵,DS表示下采样操作,T代表转置,/>代表激活操作,代表注意力操作,d代表归一化参数。
本申请实施例还提供了一种CT影像放疗靶区自动勾画方法,该方法可以包括:数据采集模块、肺部分割模块、靶区分类模块、靶区分割模块。其中各个模块对应的功能解释如下。
(1)肺部分割模块。
CT影像中的切片包含大量无关背景和目标人体肺部位横截面扫描区,为了忽略无关背景对后续步骤的干扰,本申请通过肺部分割模块从切片中分割出感兴趣的肺部区域。
然后因为标注信息获取成本高昂,本申请提出了基于半监督学习的肺区分割方法,仅使用少量标记数据即可完成肺区分割模型的训练,然后将通过肺部分割模型分割后的数据作为分类模块的输入数据。
(2)靶区分类模块。
以胸部CT为例,胸部CT检查得到从胸部到腹部的多个连续横截面扫描切片,包含靶区的切片是其中一小部分连续切片。因此,靶区勾画的首要问题是识别出哪些切片包含靶区,哪些切片不包含靶区。因此,分类模块旨在将一次CT检查得到的切片序列转换为单张切片的二分类问题,即将每一张切片分类为含有靶区、不含有靶区两个类别。并且增加了一个分类后处理阶段,修正经分类后出现靶区不连续的误差。
(3)靶区分割模块。
针对该分割任务为病灶细粒度分割,使用网络模型进行靶区分割和健康组织背景分割,利用背景分割结果对靶区分割结果进行校验,最终实现准确的靶区自动勾画结果。
上述过程可以具体为以下步骤。
1、数据收集阶段
1.1 从放疗计划***包括内收集患有某种特定肿瘤,例如肺癌,且接受了放射治疗的患者的CT影像,将影像分辨率重建为512×512,层厚为3毫米。
1.2 所有被收集的CT影像由一线放疗技师和资深放疗物理师逐帧进行肺部粗粒度勾画形成真值数据集1和靶区精细勾画形成真值数据集2并进行审核,其中肺部区域的分割轮廓和靶区的分割轮廓分别被作为人体肺部分割模型和靶区分割模型的训练标签,除此之外,是否带有靶区分割标签的切片被标记为分类模型的标签。
2、针对CT影像的切片包含肺部前景区域、大量背景区域及扫描床、仪器底座等噪声信息,切片经过肺部区域分割模块将肺部区域提取,进一步去除噪声干扰息和特征冗余信息,提高网络计算效率。
2.1将肺部区域分割数据集Data1按比例分为训练集和验证集。
2.2 对于训练集,将含有少量肺部标注数据信息的数据分为有标签数据集和无标签数据集。
2.3 对于有标签数据,采用有监督分割模型的预训练,获得人体肺部分割模型。
2.4 对于无标签数据,使用2.3中的人体肺部分割模型进行肺区分割预测,将预测结果设置为伪标签。
2.5 结合有标签数据和无标签数据,结合有标签数据的真标签和无标签数据的伪标签,形成有全部标签的训练数据集。
2.7 通过上述有全部标签的训练数据集对2.3中的人体肺部分割模型进行微调,获得训练完成的人体肺部分割模型,以便通过训练完成的人体肺部分割模型对CT影像的各个切片进行处理,以获得各个切片对应的粗粒度肺区分割结果。
2.8 根据分割结果对CT数据集进行背景信息去除,并形成用于靶区分类训练的数据集。
3、针对肺部CT影像为人体肺部检测的一段横断面图像序列,其中病灶所在位置仅存在于这段CT切片序列的部分连续子序列中,为了提高靶区勾画模型准确度,首先通过靶区分类模块对患者CT切片序列中包含靶区的连续图像子序列进行识别。
3.1根据2.8生成的数据集,给定患者的肺区输入图像,其中,C为CT单帧切片的通道数,H和W为单帧CT切片的长度和宽度,N为切片数,其中有张连续包含靶区的CT切片。
3.2分类模块采用双路径结构,包括多尺度特征学习路径和上下文特征学习路径,网络的结构如图8所示。
3.3多尺度特征学习路径的骨干网络采用Res2Net网络,该网络包含多组多尺度特征提取器获得更细粒度的多个感受野。
3.4上下文特征学习路径采用扩张密集网络,结构如图9所示,由交替的扩张密集模块和过渡层组成。扩张密集模块引入可扩张卷积来增大模型的特征感受野,通过扩张密集模块充分将每层产生的特征继续传递到后续所有的层,实现上下文特则的充分利用和学习,扩张密集模块的前向传播过程结构如图10所示;过渡层由核为1×1的卷积层和池化层构成。
3.5多尺度特征学习路径和上下文特征学习路径输出的高维特征图进行特征融合。
3.6将双路径融合特征输入分类器,将一次CT检查得到的切片序列转换为单张切片的二分类问题,即将每一张切片分类为含有靶区、不含有靶区两个类别。
3.7为了提高分类准确性,经二分类后的图像序列经过靶区标签平滑模块,旨在修正包含靶区的切片存在空间不连续的误差。具体为:若第张切片识别为“不含靶区”,第/>张切片被分类为“包含靶区”,第/>切片识别为“包含靶区”,/>切片识别为“不包含靶区”,那么,如果使存在/>使得/>切片被分类为“不包含靶区”,根据靶区标签平滑模块使得该/>切片将被修正为“包含靶区”,其中i(或者j)为大于或者等于1的整数,i小于j。
3.8将包含靶区的CT切片序列定义为数据集2。
4、靶区分割。
针对该分割任务为病灶细粒度分割,使用网络模型进行靶区分割和健康组织背景分割,利用背景分割结果对靶区分割结果进行修正,实现过程如图13所示。
4.1将包含靶区数据的数据集2和对应的靶区像素级注释定义为靶区训练数据集,并输入靶区分割网络,网络结构如图14所示。
4.2靶区分割网络采用编码器-解码器结构,编码器部分由基于BottleNeck结构的卷积块(ConvB)、基于高效自注意力机制的Transformer模块和池化层组成。其中,卷积块的作用在于提取局部特征,结构如图15所示。Transformer模块内部的多头注意力采用高效自注意力模块,作用在于以更少的参数计算全局关系程度,Transformer模块结构如图16所示。
4.3经过卷积块输出特征图输入Transformer模块,给定一个特征图,H、W、C分别为高度、宽度和通道深度,输入高效自注意力模块。由于标准的多头自注意力中,查询特征Q、键特征K和值特征V具有相同的形状/>,因此,计算过程中存在计算参数过大的问题。为了实现高效的自注意力,高效自注意力模块应用了一个空间缩小率R来降低键特征K和值特征V的空间分辨率,即/>,,以此来降低自注意力的空间复杂度,具体可以参考公式(1)
4.4 针对标准的自注意模块没有考虑位置信息,无法有效应用于图像建模,因此增加相对高度和宽度信息的相对位置编码,像素和像素/>之间添加相对位置编码后的注意力由下式(2)表示:/>
其中,x或者y为x轴或者y轴对应的下标,是像素的查询向量,/>是像素/>的键向量,i或者j为大于或者等于1的整数,/>和/>分别是相对宽度/>和相对高度/>的可学习的相对位置编码,W代表相对宽度,H代表相对高度,d代表归一化参数。包含相对位置编码后的高效自注意力模块模块结构见图16所示,计算过程由下式表示:
其中,是沿高度轴和宽度轴的相对位置编码矩阵。。
4.5经过UTNet网络的编码器逐级进行特征提取后,通过解码器将高维特征图逐渐上采样至初始分辨率大小,在此过程中添加了跳跃连接操作,得到最终靶区分割结果。
4.6将真值数据集2中的数据进行像素取反,即可得到除去靶区后的健康组织背景标注,形成背景区域像素级注释真值数据集3。
4.7将数据集2和真值数据集3定义为健康组织的背景分割训练数据集,并输入图16所示的网络结构。
4.8经过编码器逐级进行特征提取后通过解码器将高维特征图逐渐上采样至初始分辨率大小,得到健康组织背景分割结果。
4.9将靶区分割掩码与原始包含靶区的输入图像进行叠加,得到靶区勾画结果。
4.10将健康组织背景分割掩码与靶区勾画结果进行叠加,若背景分割结果与靶区勾画结果存在重叠,则提示临床医生进行人工审核并修正。
需要特别指出的是,上述影像靶区自动勾画方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减。因此,这些合理的排列组合变换之于影像靶区自动勾画方法也应当属于本申请的保护范围,并且不应将本申请的保护范围局限在实施例之上。
基于同一发明构思,本申请实施例中还提供了一种影像靶区自动勾画装置,如下面的实施例。由于该装置实施例解决问题的原理与上述方法实施例相似,因此该装置实施例的实施可以参见上述方法实施例的实施,重复之处不再赘述。
图18是根据一示例性实施例示出的一种影像靶区自动勾画装置的框图。参照图18,本申请实施例提供的影像靶区自动勾画装置1800可以包括:影像获取模块1801、肺部识别模块1802、靶区预测模块1803、第一靶区掩码图像确定模块1804和轮廓确定模块1805。
其中,影像获取模块1801可以用于获取电子计算机断层扫描影像,电子计算机断层扫描影像包括M个切片,M个切片包括第一切片,M为大于1的整数;肺部识别模块1802可以用于通过第一网络模型对第一切片进行肺部分割处理,以获得第一肺部区域图像;靶区预测模块1803可以用于通过第二网络模型对第一肺部区域图像进行靶区预测处理,以确定第一肺部区域图像中是否含有靶区,靶区是病灶区域;第一靶区掩码图像确定模块1804可以用于如果第一肺部区域图像中包括靶区,则通过第三网络模型对第一肺部区域图像进行靶区识别以获得第一靶区掩码图像,第一靶区掩码图像用于标识靶区在第一切片中的位置信息;轮廓确定模块1805可以用于将第一靶区掩码图像与第一切片进行叠加处理,以在第一切片中确定靶区的轮廓。
此处需要说明的是,上述影像获取模块1801、肺部识别模块1802、靶区预测模块1803、第一靶区掩码图像确定模块1804以及轮廓确定模块1805对应于方法实施例中的S202~S210,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述方法实施例所申请的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
在一些实施例中,影像靶区自动勾画装置1800还可以包括:器官识别模块以及第一预警模块。
其中,其器官识别模块可以用于通过第四网络模型对第一切片进行器官识别处理,以在第一切片中识别出目标器官,目标器官不包括肺部;第一预警模块可以用于如果目标器官与靶区在第一切片中存在重合区域,则发出预警。
在一些实施例中,M个切片包括第二切片;其中,肺部识别模块1802可以包括:多切片识别子模块。
其中,多切片识别子模块可以用于通过第一网络模型对M个切片进行肺部识别处理,并根据肺部识别结果对各个切片进行肺部分割处理,以获得各个切片对应的肺部区域图像,各个切片对应的肺部区域图像包括第一肺部区域图像和第二肺部区域图像,其中第二肺部区域图像是第二切片的肺部区域图像。
在一些实施例中,靶区预测模块1803可以包括:靶区预测子模块。
其中,靶区预测子模块可以用于通过第二网络模型对各个肺部区域图像分别进行靶区预测处理,以确定各个肺部区域图像中是否包括靶区。
在一些实施例中,影像靶区自动勾画装置1800可以还可以包括:第二肺部区域图像不包括确认模块、修正模块、第二靶区掩码图像确定模块以及第二叠加模块。
其中,第二肺部区域图像不包括确认模块可以用于根据靶区预测结果在多个肺部区域图像中确定多个目标肺部区域图像,多个目标肺部区域图像包括第一肺部区域图像和第三肺部区域图像,目标肺部区域图像不包括第二肺部区域图像;修正模块可以用于如果第一肺部区域图像的下一个图像是第二肺部区域图像,第二肺部区域图像的下一个图像是第三肺部区域图像,则修正确定第二肺部区域图像是包含靶区的目标肺部区域图像的;第二靶区掩码图像确定模块可以用于通过第三网络模型对包括靶区的第二肺部区域图像进行靶区识别处理以获得第二靶区掩码图像,第二靶区掩码图像用于标识靶区在第二切片中的位置信息;第二叠加模块可以用于将第二靶区掩码图像与第二切片进行叠加处理,以在第二切片中确定靶区的轮廓。
在一些实施例中,影像靶区自动勾画装置1800可以还可以包括:训练切片获取模块、第一网络模型训练模块、第二训练切片预测处理模块以及微调模块。
其中,训练切片获取模块可用于在通过第一网络模型对第一切片进行肺部分割之前,获取第一训练切片和第二训练切片,第一训练切片包括肺部轮廓真标签;第一网络模型训练模块可以用于通过第一训练切片和肺部轮廓真值标签对第一网络模型进行预训练;第二训练切片预测处理模块可以用于通过预训练完成的第一网络模型对第二训练切片进行预测处理,确定第二训练切片对应的肺部轮廓伪标签;微调模块可以用于根据第一训练切片和第一训练切片的肺部轮廓真标签、第二训练切片和第二训练切片的肺部轮廓伪标签,对预训练完成的第一网络模型进行微调训练,以获得微调训练完成的第一网络模型,以便根据微调训练完成的第一网络模型对第一切片进行肺部识别处理。
在一些实施例中,第二网络模型包括多尺度特征学习结构、上下文特征学习结构和分类器;其中,靶区预测模块1803可以包括:多尺度特征学习子模块、上下文特征学习子模块、特征融合子模块以及靶区预测处理子模块。
其中,多尺度特征学习子模块可以用于通过多尺度特征学习结构对第一肺部区域图像进行不同尺度的特征提取获得多尺度特征,多尺度特征包含多个感受野对应的特征;上下文特征学习子模块可以用于通过上下文特征学习结构对第一肺部区域图像进行上下文特征提取获得上下文特征,上下文特征是通过可扩张卷积核提取到的;特征融合子模块可以用于将多尺度特征和上下文特征进行特征融合,获得第一融合特征;靶区预测处理子模块可以用于通过分类器对第一融合特征进行靶区预测处理,以确定第一肺部区域图像中是否含有靶区。
在一些实施例中,上下文特征学习结构包括第一扩张密集模块、第一采样层、第二扩张密集模块和第二采样层,第一扩张密集模块和第二扩张密集模块均包括可扩张卷积核;其中,上下文特征学习子模块可以包括:第一密集特征确定单元、第一采样特征确定单元、第二密集特征确定单元、第二采样特征确定单元、第二融合特征确定单元以及上下文特征确定单元。
其中,第一密集特征确定单元可以用于通过第一扩张密集模块对第一肺部区域图像进行密集特征提取处理,获得第一密集特征;第一采样特征确定单元可以用于通过第一采样层对第一密集特征进行采样处理,获得第一采样特征;第二密集特征确定单元可用于通过第二扩张密集模块对第一采样特征进行密集特征提取处理,获得第二密集特征;第二采样特征确定单元可以用于通过第二采样层对第二密集特征进行采样处理,获得第二采样特征;第二融合特征确定单元可以用于将第一肺部区域图像与第一采样特征和第二采样特征进行特征融合处理,获得第二融合特征;上下文特征确定单元可以用于根据第二融合特征,确定上下文特征。
在一些实施例中,第三网络模型包括注意力结构,注意力结构包括第一参数单元、第二参数单元以及第三参数单元;其中,第一靶区掩码图像确定模块1804可以包括:第一肺部区域特征确定子模块、第一加权处理子模块、第二加权处理子模块、第三加权处理子模块、自注意力特征获取子模块以及卷积处理子模块。
其中,第一肺部区域特征确定子模块可以用于对第一肺部区域图像进行特征提取处理,获得第一肺部区域特征;第一加权处理子模块可以用于通过第一参数单元对第一肺部区域特征进行加权处理,获得查询特征;第二加权处理子模块可以用于通过第二参数单元对第一肺部区域特征进行加权处理,获得键特征;第三加权处理子模块可以用于通过第三参数单元对第一肺部区域特征进行加权处理,获得值特征;自注意力特征获取子模块可以用于对查询特征、键特征以及值特征进行自注意力学习处理,获得自注意力特征;卷积处理子模块可以用于通过卷积层对自注意力特征进行卷积处理,获得第一靶区掩码图像。
由于装置1800的各功能已在其对应的方法实施例中予以详细说明,本申请于此不再赘述。
描述于本申请实施例中所涉及到的模块和/或子模块和/或单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块和/或子模块和/或单元也可以设置在处理器中。其中,这些模块和/或子模块和/或单元的名称在某种情况下并不构成对该模块和/或子模块和/或单元本身的限定。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块或程序段的一部分,上述模块或程序段的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机程序指令的组合来实现。
此外,上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
图19示出了适于用来实现本申请实施例的电子设备的结构示意图。需要说明的是,图19示出的电子设备1900仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图19所示,电子设备1900包括中央处理单元(CPU)1901,其可以根据存储在只读存储器(ROM)1902中的程序或者从储存部分1908加载到随机访问存储器(RAM)1903中的程序而执行各种适当的动作和处理。在RAM 1903中,还存储有电子设备1900操作所需的各种程序和数据。CPU 1901、ROM 1902以及RAM 1903通过总线1904彼此相连。输入/输出(I/O)接口1905也连接至总线1904。
以下部件连接至I/O接口1905:包括键盘、鼠标等的输入部分1906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1907;包括硬盘等的储存部分1908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1909。通信部分1909经由诸如因特网的网络执行通信处理。驱动器1910也根据需要连接至I/O接口1905。可拆卸介质1911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1910上,以便于从其上读出的计算机程序根据需要被安装入储存部分1908。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的计算机程序指令。在这样的实施例中,该计算机程序可以通过通信部分1909从网络上被下载和安装,和/或从可拆卸介质1911被安装。在该计算机程序被中央处理单元(CPU)1901执行时,执行本申请的***中限定的上述功能。
需要说明的是,本申请所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序指令。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质,该计算机可读存储介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序指令可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备可实现功能包括:获取电子计算机断层扫描影像,电子计算机断层扫描影像包括M个切片,M个切片包括第一切片,M为大于1的整数;通过第一网络模型对第一切片进行肺部分割处理,以获得第一肺部区域图像;通过第二网络模型对第一肺部区域图像进行靶区预测处理,以确定第一肺部区域图像中是否含有靶区,靶区是病灶区域;如果第一肺部区域图像中包括靶区,则通过第三网络模型对第一肺部区域图像进行靶区识别以获得第一靶区掩码图像,第一靶区掩码图像用于标识靶区在第一切片中的位置信息;将第一靶区掩码图像与第一切片进行叠加处理,以在第一切片中确定靶区的轮廓。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序指令,该计算机程序指令存储在计算机可读存储介质中。从计算机可读存储介质读取该计算机程序指令,处理器执行该计算机程序指令,实现上述实施例的各种可选实现方式中提供的方法。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,本申请实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干计算机程序指令用以使得一台电子设备(可以是服务器或者终端设备等)执行根据本申请实施例的方法。
本领域技术人员在考虑说明书及实践在这里申请的申请后,将容易想到本申请的其他实施例。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求指出。
应当理解的是,本申请并不限于这里已经示出的详细结构、附图方式或实现方法,相反,本申请意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (9)
1.一种影像靶区自动勾画方法,其特征在于,包括:
获取电子计算机断层扫描影像,所述电子计算机断层扫描影像包括M个切片,所述M个切片包括第一切片,M为大于1的整数;
通过第一网络模型对所述第一切片进行肺部分割处理,以获得第一肺部区域图像;
通过第二网络模型对所述第一肺部区域图像进行靶区预测处理,以确定所述第一肺部区域图像中是否含有靶区,所述靶区是病灶区域;
如果所述第一肺部区域图像中包括所述靶区,则通过第三网络模型对所述第一肺部区域图像进行靶区识别以获得第一靶区掩码图像,所述第一靶区掩码图像用于标识所述靶区在所述第一切片中的位置信息;
将所述第一靶区掩码图像与所述第一切片进行叠加处理,以在所述第一切片中确定所述靶区的轮廓;
所述第二网络模型包括多尺度特征学习结构、上下文特征学习结构和分类器;其中,通过第二网络模型对所述第一肺部区域图像进行靶区预测处理,以确定所述第一肺部区域图像中是否含有靶区,包括:
通过所述多尺度特征学习结构对所述第一肺部区域图像进行不同尺度的特征提取获得多尺度特征,所述多尺度特征包含多个感受野对应的特征;
通过所述上下文特征学习结构对所述第一肺部区域图像进行上下文特征提取获得上下文特征,所述上下文特征是通过可扩张卷积核提取到的;
将所述多尺度特征和所述上下文特征进行特征融合,获得第一融合特征;
通过所述分类器对所述第一融合特征进行靶区预测处理,以确定所述第一肺部区域图像中是否含有靶区。
2.根据权利要求1所述方法,其特征在于,所述方法还包括:
通过第五网络模型对所述第一肺部区域图像进行健康组织背景识别,以获得健康组织背景掩码图像;
将所述健康组织背景掩码图像与所述第一靶区掩码图像进行比对;
如果所述健康组织背景掩码图像与所述第一靶区掩码图像存在重合区域,则发出预警。
3.根据权利要求1所述方法,其特征在于,所述M个切片包括第二切片;其中,通过第一网络模型对所述第一切片进行肺部分割处理,以获得第一肺部区域图像,包括:
通过所述第一网络模型对所述M个切片进行肺部识别处理,并根据肺部识别结果对各个切片进行肺部分割处理,以获得各个切片对应的肺部区域图像,所述各个切片对应的肺部区域图像包括所述第一肺部区域图像和第二肺部区域图像,其中所述第二肺部区域图像是所述第二切片的肺部区域图像;
其中,通过第二网络模型对所述第一肺部区域图像进行靶区预测处理,以确定所述第一肺部区域图像中是否含有靶区,包括:
通过所述第二网络模型对各个肺部区域图像分别进行靶区预测处理,以确定各个肺部区域图像中是否包括靶区;
所述方法还包括:
根据靶区预测结果在多个肺部区域图像中确定多个目标肺部区域图像,所述多个目标肺部区域图像包括所述第一肺部区域图像和第三肺部区域图像,所述目标肺部区域图像不包括所述第二肺部区域图像;
如果所述第一肺部区域图像的下一个图像是所述第二肺部区域图像,所述第二肺部区域图像的下一个图像是所述第三肺部区域图像,则修正确定所述第二肺部区域图像是包含所述靶区的目标肺部区域图像的;
通过所述第三网络模型对包括所述靶区的所述第二肺部区域图像进行靶区识别处理以获得第二靶区掩码图像,所述第二靶区掩码图像用于标识所述靶区在所述第二切片中的位置信息;
将所述第二靶区掩码图像与所述第二切片进行叠加处理,以在所述第二切片中确定所述靶区的轮廓。
4.根据权利要求1所述方法,其特征在于,在通过第一网络模型对所述第一切片进行肺部分割之前,所述方法还包括:
获取第一训练切片和第二训练切片,所述第一训练切片包括肺部轮廓真标签;
通过所述第一训练切片和所述肺部轮廓真值标签对所述第一网络模型进行预训练;
通过预训练完成的所述第一网络模型对所述第二训练切片进行预测处理,确定所述第二训练切片对应的肺部轮廓伪标签;
根据所述第一训练切片和所述第一训练切片的肺部轮廓真标签、所述第二训练切片和所述第二训练切片的所述肺部轮廓伪标签,对所述预训练完成的第一网络模型进行微调训练,以获得微调训练完成的所述第一网络模型,以便根据微调训练完成的所述第一网络模型对所述第一切片进行肺部识别处理。
5.根据权利要求1所述方法,其特征在于,所述上下文特征学习结构包括第一扩张密集模块、第一采样层、第二扩张密集模块和第二采样层,所述第一扩张密集模块和所述第二扩张密集模块均包括所述可扩张卷积核;其中,通过所述上下文特征学习结构对所述第一肺部区域图像进行上下文特征提取获得上下文特征,所述上下文特征是通过可扩张卷积核提取到的,包括:
通过所述第一扩张密集模块对所述第一肺部区域图像进行密集特征提取处理,获得第一密集特征;
通过所述第一采样层对所述第一密集特征进行采样处理,获得第一采样特征;
通过所述第二扩张密集模块对所述第一采样特征进行密集特征提取处理,获得第二密集特征;
通过所述第二采样层对所述第二密集特征进行采样处理,获得第二采样特征;
将所述第一肺部区域图像与所述第一采样特征和所述第二采样特征进行特征融合处理,获得第二融合特征;
根据所述第二融合特征,确定所述上下文特征。
6.根据权利要求1所述方法,其特征在于,所述第三网络模型包括注意力结构,所述注意力结构包括第一参数单元、第二参数单元以及第三参数单元;其中,通过第三网络模型对所述第一肺部区域图像进行靶区识别以获得第一靶区掩码图像,包括:
对所述第一肺部区域图像进行特征提取处理,获得第一肺部区域特征;
通过所述第一参数单元对所述第一肺部区域特征进行加权处理,获得查询特征;
通过所述第二参数单元对所述第一肺部区域特征进行加权处理,获得键特征;
通过所述第三参数单元对所述第一肺部区域特征进行加权处理,获得值特征;
对所述查询特征、所述键特征以及所述值特征进行自注意力学习处理,获得自注意力特征;
通过卷积层对所述自注意力特征进行卷积处理,获得所述第一靶区掩码图像。
7.一种影像靶区自动勾画装置,其特征在于,包括:
影像获取模块,用于获取电子计算机断层扫描影像,所述电子计算机断层扫描影像包括M个切片,所述M个切片包括第一切片,M为大于1的整数;
肺部识别模块,用于通过第一网络模型对所述第一切片进行肺部分割处理,以获得第一肺部区域图像;
靶区预测模块,用于通过第二网络模型对所述第一肺部区域图像进行靶区预测处理,以确定所述第一肺部区域图像中是否含有靶区,所述靶区是病灶区域;
第一靶区掩码图像确定模块,用于如果所述第一肺部区域图像中包括所述靶区,则通过第三网络模型对所述第一肺部区域图像进行靶区识别以获得第一靶区掩码图像,所述第一靶区掩码图像用于标识所述靶区在所述第一切片中的位置信息;
轮廓确定模块,用于将所述第一靶区掩码图像与所述第一切片进行叠加处理,以在所述第一切片中确定所述靶区的轮廓;
所述第二网络模型包括多尺度特征学习结构、上下文特征学习结构和分类器;其中,通过第二网络模型对所述第一肺部区域图像进行靶区预测处理,以确定所述第一肺部区域图像中是否含有靶区,包括:
通过所述多尺度特征学习结构对所述第一肺部区域图像进行不同尺度的特征提取获得多尺度特征,所述多尺度特征包含多个感受野对应的特征;
通过所述上下文特征学习结构对所述第一肺部区域图像进行上下文特征提取获得上下文特征,所述上下文特征是通过可扩张卷积核提取到的;
将所述多尺度特征和所述上下文特征进行特征融合,获得第一融合特征;
通过所述分类器对所述第一融合特征进行靶区预测处理,以确定所述第一肺部区域图像中是否含有靶区。
8.一种电子设备,其特征在于,包括:
存储器和处理器;
所述存储器用于存储计算机程序指令;所述处理器调用所述存储器存储的所述计算机程序指令,用于实现如权利要求1-6任意一项所述的影像靶区自动勾画方法。
9.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的影像靶区自动勾画方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311404252.6A CN117152442B (zh) | 2023-10-27 | 2023-10-27 | 影像靶区自动勾画方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311404252.6A CN117152442B (zh) | 2023-10-27 | 2023-10-27 | 影像靶区自动勾画方法、装置、电子设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117152442A CN117152442A (zh) | 2023-12-01 |
CN117152442B true CN117152442B (zh) | 2024-02-02 |
Family
ID=88908384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311404252.6A Active CN117152442B (zh) | 2023-10-27 | 2023-10-27 | 影像靶区自动勾画方法、装置、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117152442B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117476219B (zh) * | 2023-12-27 | 2024-03-12 | 四川省肿瘤医院 | 基于大数据分析的定位ct断层图像的辅助方法和辅助*** |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106215334A (zh) * | 2016-08-23 | 2016-12-14 | 广州医科大学附属肿瘤医院 | 一种后装放疗剂量的逆向调强优化计算方法及*** |
CN107358600A (zh) * | 2017-06-14 | 2017-11-17 | 北京全域医疗技术有限公司 | 放疗计划中的自动勾靶方法、装置和电子设备 |
CN107403201A (zh) * | 2017-08-11 | 2017-11-28 | 强深智能医疗科技(昆山)有限公司 | 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法 |
CN111008984A (zh) * | 2019-12-10 | 2020-04-14 | 广州柏视医疗科技有限公司 | 医学影像中正常器官的轮廓线自动勾画方法及*** |
CN111539944A (zh) * | 2020-04-28 | 2020-08-14 | 安徽科大讯飞医疗信息技术有限公司 | 肺部病灶统计属性获取方法、装置、电子设备和存储介质 |
CN111640100A (zh) * | 2020-05-29 | 2020-09-08 | 京东方科技集团股份有限公司 | 肿瘤图像的处理方法和装置、电子设备、存储介质 |
CN111798462A (zh) * | 2020-06-30 | 2020-10-20 | 电子科技大学 | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 |
CN114004813A (zh) * | 2021-11-02 | 2022-02-01 | 中国科学技术大学 | 一种应用于***放疗临床靶区识别方法及装置 |
CN116228787A (zh) * | 2022-09-08 | 2023-06-06 | 深圳市联影高端医疗装备创新研究院 | 图像勾画方法、装置、计算机设备、存储介质 |
CN116312986A (zh) * | 2023-03-14 | 2023-06-23 | 南通奇铭影像科技有限公司 | 三维医学影像标注方法、装置、电子设备及可读存储介质 |
CN117115166A (zh) * | 2023-10-24 | 2023-11-24 | 北京大学第一医院 | 一种肾脏多期ct影像检测***及方法、电子设备 |
-
2023
- 2023-10-27 CN CN202311404252.6A patent/CN117152442B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106215334A (zh) * | 2016-08-23 | 2016-12-14 | 广州医科大学附属肿瘤医院 | 一种后装放疗剂量的逆向调强优化计算方法及*** |
CN107358600A (zh) * | 2017-06-14 | 2017-11-17 | 北京全域医疗技术有限公司 | 放疗计划中的自动勾靶方法、装置和电子设备 |
CN107403201A (zh) * | 2017-08-11 | 2017-11-28 | 强深智能医疗科技(昆山)有限公司 | 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法 |
CN111008984A (zh) * | 2019-12-10 | 2020-04-14 | 广州柏视医疗科技有限公司 | 医学影像中正常器官的轮廓线自动勾画方法及*** |
CN111539944A (zh) * | 2020-04-28 | 2020-08-14 | 安徽科大讯飞医疗信息技术有限公司 | 肺部病灶统计属性获取方法、装置、电子设备和存储介质 |
CN111640100A (zh) * | 2020-05-29 | 2020-09-08 | 京东方科技集团股份有限公司 | 肿瘤图像的处理方法和装置、电子设备、存储介质 |
CN111798462A (zh) * | 2020-06-30 | 2020-10-20 | 电子科技大学 | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 |
CN114004813A (zh) * | 2021-11-02 | 2022-02-01 | 中国科学技术大学 | 一种应用于***放疗临床靶区识别方法及装置 |
CN116228787A (zh) * | 2022-09-08 | 2023-06-06 | 深圳市联影高端医疗装备创新研究院 | 图像勾画方法、装置、计算机设备、存储介质 |
CN116312986A (zh) * | 2023-03-14 | 2023-06-23 | 南通奇铭影像科技有限公司 | 三维医学影像标注方法、装置、电子设备及可读存储介质 |
CN117115166A (zh) * | 2023-10-24 | 2023-11-24 | 北京大学第一医院 | 一种肾脏多期ct影像检测***及方法、电子设备 |
Non-Patent Citations (1)
Title |
---|
基于卷积神经网络模型乳腺癌靶区自动分割的研究;王沛沛 等;《中国医学装备》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117152442A (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180260951A1 (en) | Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes | |
CN111008984B (zh) | 医学影像中正常器官的轮廓线自动勾画方法 | |
EP4345746A2 (en) | Method and system for image segmentation and identification | |
Oghli et al. | Automatic fetal biometry prediction using a novel deep convolutional network architecture | |
WO2020219620A1 (en) | Systems and methods for automated and interactive analysis of bone scan images for detection of metastases | |
US10997724B2 (en) | System and method for image segmentation using a joint deep learning model | |
US10706534B2 (en) | Method and apparatus for classifying a data point in imaging data | |
CN117152442B (zh) | 影像靶区自动勾画方法、装置、电子设备和可读存储介质 | |
EP4141790A1 (en) | Method, device and system for automated segmentation of prostate in medical images for tumor detection | |
Dayarathna et al. | Deep learning based synthesis of MRI, CT and PET: Review and analysis | |
Touati et al. | A feature invariant generative adversarial network for head and neck MRI/CT image synthesis | |
CN113706486A (zh) | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 | |
Pradhan et al. | Machine learning model for multi-view visualization of medical images | |
Tummala et al. | Liver tumor segmentation from computed tomography images using multiscale residual dilated encoder‐decoder network | |
CN117218133A (zh) | 肺图像处理方法及装置、电子设备和存储介质 | |
Tian et al. | Radiomics and its clinical application: artificial intelligence and medical big data | |
Hong et al. | Overcoming the challenges in the development and implementation of artificial intelligence in radiology: a comprehensive review of solutions beyond supervised learning | |
Amirkolaee et al. | Development of a GAN architecture based on integrating global and local information for paired and unpaired medical image translation | |
Dou et al. | Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography | |
Velichko et al. | A comprehensive review of deep learning approaches for magnetic resonance imaging liver tumor analysis | |
Zhu et al. | STEDNet: Swin transformer‐based encoder–decoder network for noise reduction in low‐dose CT | |
CN113313699A (zh) | 基于弱监督学习的x光胸部疾病分类及定位方法、电子设备 | |
Zhou et al. | HAUNet-3D: a novel hierarchical attention 3D UNet for lung nodule segmentation | |
Zhang et al. | Automatic parotid gland segmentation in MVCT using deep convolutional neural networks | |
AU2019204365C1 (en) | Method and System for Image Segmentation and Identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |