CN108986891A - 医疗影像处理方法及装置、电子设备及存储介质 - Google Patents
医疗影像处理方法及装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN108986891A CN108986891A CN201810818690.XA CN201810818690A CN108986891A CN 108986891 A CN108986891 A CN 108986891A CN 201810818690 A CN201810818690 A CN 201810818690A CN 108986891 A CN108986891 A CN 108986891A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- information
- detection module
- medical imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 81
- 238000012545 processing Methods 0.000 title claims abstract description 52
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 207
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000015654 memory Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 7
- 239000010410 layer Substances 0.000 description 63
- 230000011218 segmentation Effects 0.000 description 33
- 230000006870 function Effects 0.000 description 26
- 230000004927 fusion Effects 0.000 description 25
- 238000012549 training Methods 0.000 description 23
- 238000003745 diagnosis Methods 0.000 description 18
- 238000003062 neural network model Methods 0.000 description 18
- 238000005070 sampling Methods 0.000 description 18
- RGCLLPNLLBQHPF-HJWRWDBZSA-N phosphamidon Chemical group CCN(CC)C(=O)C(\Cl)=C(/C)OP(=O)(OC)OC RGCLLPNLLBQHPF-HJWRWDBZSA-N 0.000 description 10
- 210000000038 chest Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 210000000115 thoracic cavity Anatomy 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 5
- 238000005481 NMR spectroscopy Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000002346 layers by function Substances 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 241000669244 Unaspis euonymi Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Pathology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种医疗影像处理方法及装置、电子设备及存储介质。所述方法包括:利用第一检测模块检测医疗影像,获得第一目标在第二目标中的第一位置信息,其中,其所述第二目标包含有至少两个所述第一目标;利用所述第一检测模块根据所述第一位置信息,分割所述第二目标获得所述第一目标的目标特征图及第一诊断辅助信息。
Description
技术领域
本发明涉及信息技术领域,尤其涉及一种医疗影像处理方法及装置、电子设备及存储介质。
背景技术
医疗影像是帮助医生进行诊断的重要辅助信息。但是在现有技术中都是拍摄出医疗影像之后,医生拿着医疗影像的实体片子或者在电脑上阅片进行诊断。但是医疗影像一般通过各种射线等拍摄的非表层的结构,局限于拍摄技术可能有些角度是无法看到的,显然这会影响医疗人员的诊断。故如何向医疗人员提供全面的、完整的及有效的信息,是现有技术中亟待进一步解决的问题。
发明内容
有鉴于此,本发明实施例期望提供一种医疗影像处理方法及装置、电子设备及存储介质。
本发明的技术方案是这样实现的:第一方面,本发明实施例提供一种医疗影像处理方法,包括:
利用第一检测模块检测医疗影像,获得第一目标在第二目标中的第一位置信息,其中,其所述第二目标包含有至少两个所述第一目标;
利用所述第一检测模块根据所述第一位置信息,分割所述第二目标获得所述第一目标的目标特征图及第一诊断辅助信息。
基于上述方案,所述利用所述第一检测模块根据所述第一位置信息,分割所述第二目标获得所述第一目标的目标特征图及第一诊断辅助信息,包括:
利用所述第一检测模块根据所述第一位置信息,对所述第二目标进行像素级分割得到所述目标特征图及所述第一诊断辅助信息。
基于上述方案,所述方法还包括:
利用第二检测模块检测医疗影像,获得所述第二目标在所述医疗影像中的第二位置信息;
根据所述第二位置信息,从所述医疗影像中分割出包含有所述第二目标的待处理图像;
所述利用第一检测模块检测医疗影像获得第一目标在第二目标中的第一位置信息,包括:
利用所述第一检测模块检测所述待处理图像,获得所述第一位置信息。
基于上述方案,所述利用第一检测模块检测医疗影像,获得第一目标在第二目标中的第一位置信息,包括:
利用第一检测模块检测待处理图像或医疗影像,获得所述第一目标的图像检测区;
检测所述图像检测区,获得所述第一目标的外轮廓信息;
根据所述外轮廓信息生成掩模区,其中,所述掩模区用于分割所述第二目标以获得所述第一目标的分割图像。
基于上述方案,所述利用第一检测模块对所述待处理图像进行处理,提取出包含有所述第一目标的目标特征图及所述第一目标的第一诊断辅助信息,包括:
对所述分割图像进行处理,得到所述目标特征图,其中,一个所述目标特征图对应一个所述第一目标;
基于所述待处理图像、所述目标特征图及所述分割图像的至少其中之一,得到所述第一目标的第一诊断辅助信息。
基于上述方案,所述对所述分割图像进行处理,得到所述目标特征图,包括:
利用所述第一检测模块的特征提取层,从所述分割图像中提取出第一特征图;
利用所述第一检测模块的池化层,基于所述第一特征图生成至少一个第二特征图,其中,所述第一特征图和所述第二特征图的尺度不同;
根据所述第二特征图得到所述目标特征图。
基于上述方案,所述对所述分割图像进行处理,得到所述目标特征图,包括:
利用所述第一检测模块的上采样层,对所述第二特征图进行上采样得到第三特征图;
利用所述第一检测模块的融合层,融合所述第一特征图及所述第三特征图得到融合特征图;或者,融合所述第三特征图及与所述第三特征图不同尺度的所述第二特征图得到融合特征图;
利用所述第一检测模块的输出层,根据所述融合特征图输出所述目标特征图。
基于上述方案,所述基于所述待处理图像、所述目标特征图及所述分割图像的至少其中之一,得到所述第一目标的第一诊断辅助信息,包括以下至少之一:
结合所述待处理图像及所述分割图像,确定所述目标特征图对应的所述第一目标的第一标识信息;
基于所述目标特征图,确定所述第一目标的属性信息;
基于所述目标特征图,确定基于所述第一目标的属性信息产生的提示信息。
基于上述方案,所述方法还包括:
利用样本数据训练得到所述第二检测模块和第一检测模块;
基于损失函数,计算已获得网络参数的第二检测模块和所述第一检测模块的损失值;
若所述损失值小于或等于预设值,完成所述第二检测模块和所述第一检测模块的训练;或,若所述损失值大于所述预设值,根据所述损失值优化所述网络参数。
基于上述方案,所述若所述损失值大于所述预设值,根据所述损失值优化所述网络参数,包括:
若所述损失值大于所述预设值,利用反向传播方式更新所述网络参数。
基于上述方案,所述基于损失函数,计算已获得所述网络参数的第二检测模块和所述第一检测模块的损失值,包括:
利用一个损失函数,计算从所述第二检测模块输入并从所述第一检测模块输出的端到端损失值。
基于上述方案,所述第一检测模型包括:第一检测模型;
和/或,
所述第二检测模型包括:第二检测模型。
基于上述方案,所述第二目标为脊柱;
所述第一目标为:椎间盘。
第二方面,本发明实施例提供一种医疗影像处理装置,包括:
第一检测单元,用于利用第一检测模块检测医疗影像,获得第一目标在第二目标中的第一位置信息,其中,其所述第二目标包含有至少两个所述第一目标;
处理单元,用于利用所述第一检测模块根据所述第一位置信息,分割所述第二目标获得所述第一目标的目标特征图及第一诊断辅助信息。
基于上述方案,所述处理单元,具体利用所述第一检测模块根据所述第一位置信息,对所述第二目标进行像素级分割得到所述目标特征图及所述第一诊断辅助信息。
基于上述方案,所述装置还包括:
第二检测单元,用于利用第二检测模块检测医疗影像,获得所述第二目标在所述医疗影像中的第二位置信息;根据所述第二位置信息,从所述医疗影像中分割出包含有所述第二目标的待处理图像;
所述第一检测单元,具体利用所述第一检测模块检测所述待处理图像,获得所述第一位置信息。
基于上述方案,所述第一检测单元,具体利用第一检测模块检测待处理图像或医疗影像,获得所述第一目标的图像检测区;检测所述图像检测区,获得所述第一目标的外轮廓信息;根据所述外轮廓信息生成掩模区,其中,所述掩模区用于分割所述第二目标以获得所述第一目标。
基于上述方案,所述处理单元,具体用于对所述分割图像进行处理,得到所述目标特征图,其中,一个所述目标特征图对应一个所述第一目标;基于所述待处理图像、所述目标特征图及所述分割图像的至少其中之一,得到所述第一目标的第一诊断辅助信息。
基于上述方案,所述处理单元,具体用于利用所述第一检测模块的特征提取层,从所述分割图像中提取出第一特征图;利用所述第一检测模块的池化层,基于所述第一特征图生成至少一个第二特征图,其中,所述第一特征图和所述第二特征图的尺度不同;根据所述第二特征图得到所述目标特征图。
基于上述方案,所述处理单元,用于利用所述第一检测模块的上采样层,对所述第二特征图进行上采样得到第三特征图;利用所述第一检测模块的融合层,融合所述第一特征图及所述第三特征图得到融合特征图;或者,融合所述第三特征图及与所述第三特征图不同尺度的所述第二特征图得到融合特征图;利用所述第一检测模块的输出层,根据所述融合特征图输出所述目标特征图。
基于上述方案,所述处理单元,具体用于执行以下至少之一:
结合所述待处理图像及所述分割图像,确定所述目标特征图对应的所述第一目标的第一标识信息;
基于所述目标特征图,确定所述第一目标的属性信息;
基于所述目标特征图,确定基于所述第一目标的属性信息产生的提示信息。
基于上述方案,所述装置还包括:
训练单元,用于利用样本数据训练得到所述第二检测模块和第一检测模块;
计算单元,用于基于损失函数,计算已获得网络参数的第二检测模块和所述第一检测模块的损失值;
优化单元,用于若所述损失值大于预设值,根据所述损失值优化所述网络参数;或者,所述训练单元,还用于若所述损失值小于或等于所述预设值,完成所述第二检测模块和所述第一检测模块的训练。
基于上述方案,所述优化单元,用于若所述损失值大于所述预设值,利用反向传播方式更新所述网络参数。
基于上述方案,所述计算单元,用于利用一个损失函数,计算从所述第二检测模块输入并从所述第一检测模块输出的端到端损失值。
基于上述方案,所述第一检测模型包括:第一检测模型;
和/或,
所述第二检测模型包括:第二检测模型。
基于上述方案,所述第二目标为脊柱;
所述第一目标为:椎间盘。
第三方面,本发明实施例提供一种计算机存储介质,所述计算机存储介质存储有计算机可执行代码;所述计算机可执行代码被执行后,能够实现第一方面任意技术方案提供的方法。
第四方面,本发明实施例提供一种计算机程序产品,所述程序产品包括计算机可执行指令;所述计算机可执行指令被执行后,能够实现第一方面任意技术方案提供的方法。
第五方面,本发明实施例提供一种图像处理设备,包括:
存储器,用于存储信息;
处理器,与所述存储器连接,用于通过执行存储在所述存储器上的计算机可执行指令,能够实现第一方面任意技术方案提供的方法。
本发明实施例提供的技术方案,会利用第一检测模块检测医疗模型,将第一目标从其所在第二目标中整个的分离出来;如此,一方面,减少了医生只能在第二目标中来观看第一目标,从而使得医生可以更加全面更加完整的观看第一目标;另一方面,本发明实施例提供输出的目标特征图,目标特征图包含有第一目标的供医疗诊断的特征,如此去除了干扰非必要的干扰特征,减少了诊断干扰;再一方面,还会生成第一诊断辅助信息为医疗人员的诊断提供更多的辅助。如此,在本实施例中通过医疗影像处理方法,可以获得更加全面更加完整的反应医疗就诊第一目标的目标特征图像并提供第一诊断辅助信息,以协助诊断。
附图说明
图1为本发明实施例提供的第一种医疗影像处理方法的流程示意图;
图2为本发明实施例提供的第二种医疗影像处理方法的流程示意图;
图3为本发明实施例提供的第三种医疗影像处理方法的流程示意图;
图4为本发明实施例提供的医疗影像到分割图像的变化示意图;
图5为本发明实施例提供的一种医疗影像处理装置的结构示意图;
图6为本发明实施例提供的一种医疗影像处理设备的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
如图1所示,本实施例提供一种医疗影像处理方法,包括:
步骤S110:利用第一检测模块检测医疗影像,获得第一目标在第二目标中的第一位置信息,其中,其所述第二目标包含有至少两个所述第一目标;
步骤S120:利用所述第一检测模块根据所述第一位置信息,分割所述第二目标获得所述第一目标的目标特征图及第一诊断辅助信息。
所述第一检测模块可为具有检测功能的各种模块。例如,所述第一检测模块可为各种数据模型对应的功能模块。所述数据模型可包括:各种深度学习模型。所述深度学习模型可包括:神经网络模型、向量机模型等,但是不局限于所述神经网络模型或向量机。
所述医疗影像可为各种医疗诊断过程中拍摄的图像信息,例如,核磁共振图像、再例如,电子计算机断层扫描(Computed Tomography,CT)图像。
所述第一检测模块可为神经网络模型等,神经网络模型可以通过卷积等处理进行第二目标的特征提取得到目标特征图,并生成第一诊断辅助信息。
在一些实施例中所述医疗影像可包括:Dixon序列,该Dixon序列包含有多张对同一个采集对象不同采集角度采集的二维图像;这些二维图像可以用于搭建出所述第一采集对象的三维图像。
所述第一位置信息可包括:描述所述第一目标位于第二目标中的位置的信息,该位置信息具体可包括:第一目标在图像坐标中的坐标值,例如,第一目标边缘的边缘坐标值、第一目标中心的中心坐标值及第一目标在第二目标中各个维度的尺寸值。
所述第一目标为诊断的最终目标,所述第二目标可包括多个所述第一目标。例如,在一些实施例中,所述第二目标可为脊椎,第一目标可为椎骨或相邻椎骨之间的椎间盘。在另一些实施例中,所述第二目标还可为胸部的胸席;而胸席可以由多根肋骨组成。所述第一目标可为胸席中单根肋骨。
总之,所述第二目标和第一目标可为需要医疗诊断的各种对象;不局限于上述举例。
在步骤S120可利用第一检测模块对所述医疗影像进行图像处理,以对第二目标进行分割,使得组成所述第二目标的各个第一目标的目标特征图给分离出来,并得到对应的目标特征图所包含的第一目标的第一诊断辅助信息。
在一些实施例中,所述目标特征图可包括:从原始的医疗影像中切割出了包含单个第一目标的图像。
在另一些实施例中,所述目标特征图还可包括:基于所述原始的医疗影像重新生成的表征目标特征的特征图。该特征图中包含了需要医疗诊断的各种诊断信息,同时去除了一些与医疗诊断不相关的细节信息。例如,以椎间盘为例,椎间盘的外轮廓、形状及体积与医疗诊断相关的目标特征,但是椎间盘表面的某些纹理与医疗不相关,此时,所述目标特征图可为仅包括:椎间盘的外轮廓、形状及体积等于医疗诊断相关的信息,同时去除了与医疗诊断不相关的表面纹理等干扰特征。这种目标特征图输出之后,医疗人员可以基于目标特征图进行诊断时,由于减少了干扰,可以实现快速和精准的诊断。
所述第一诊断辅助信息可为各种描述对应的目标特征图中第一目标的属性或状态的信息。所述第一诊断辅助信息可为直接附加在所述目标特征图中的信息,也可以是与所述目标特征图存储到同一个文件中的信息。
例如,第一检测模块在步骤S120中生成了一个包含有目标特征图的诊断文件,该诊断文件可为一个三维动态图像文件;播放该三维动态文件时,通过特定的软件可以调整三维目标特征图当前展示的角度,同时在显示窗口内会显示所述第一诊断辅助信息,如此,医生等医疗人员在看目标特征图的同时,可以看到所述第一诊断辅助信息,方便医疗人员结合目标特征图及第一诊断辅助信息进行诊断。
此处的三维目标特征图可为:由多个二维的目标特征图搭建而成的。例如,针对Dixon序列中每一个二维图像都进行步骤S110至步骤S120的操作,如此,一个二维图像会生成至少一个目标特征图;多个二维图像会生成多个目标特征图,针对同一个第一目标的对应于不同采集角度的目标特征图,可以搭建成该第一目标的三维目标特征。
在一些实施例中,步骤S120中输出的目标特征图也可以是直接完成了三维构建的三维目标特征图。
所述第一诊断辅助信息的类型可包括:
文本信息,例如,以文本的形式进行属性描述;
标注信息,例如,结合坐标轴等辅助信息,在坐标轴上通过箭头及单一文字说明等,标出椎间盘等第一目标不同维度(方向)的尺寸。
在本实施例中,所述目标特征图的图像像素可与所述待处理图像的像素保持一致,例如,所述待处理图像为包含有N*M个像素的图像,则所述目标特征图也可以为包含有N*M个像素的目标特征图。
在一些实施例中若所述第二目标包含有F个第一目标,则可输出F个三维目标特征图,或者,输出F组二维目标特征;一组二维目标特征图对应于一个第一目标,可搭建出该第一目标的三维目标特征图。
在一些实施例中,所述目标特征图和第一诊断辅助信息作为两部分信息,形成目标特征文件输出,例如,所述第一诊断辅助信息以文本信息形式存储在所述目标特征文件中;所述目标特征图以图片形式存储在所述目标文件中。
在另一些实施例中,将第一诊断辅助信息附加到目标特征图上形成诊断图像;此时,第一诊断辅助信息及目标特征图都是诊断图像中的一部分,都以图像信息存储。
所述步骤S120可包括:利用所述第一检测模块根据所述第一位置信息,对所述第二目标进行像素级分割得到所述目标特征图及所述第一诊断辅助信息。
在本实施例中利用第二检测模块对医疗影像中的第二目标进行像素级别的分割,如此可以实现不同第一目标的完全分离并且边界的清晰鉴定,方便医生根据分割形成的目标特征图和/或第一诊断辅助信息进行诊断。
同样的所述第二检测模型也可为各种能够实现第二目标分割的功能模块。例如,所述第二检测模型也可以为:运行各种数据模型的功能模块;例如,各种深度学习模型的运行模块。
此处的像素级别的分割表明分割精度达到像素精度,例如,在图像中进行不同的椎间盘分离,或者,在图像中进行椎间盘和椎柱的分离时,可以精确都某一个像素,具体的判断出像素是归属于椎间盘还是椎柱的;而不是以多个像素形成的像素区域作为分割精度,故可以实现第一目标从所述第二目标中精确的分离,以便于精确就诊。
如图2所示,所述方法还包括:
步骤S100:利用第二检测模块检测医疗影像,获得所述第二目标在所述医疗影像中的第二位置信息;
步骤S101:根据所述第二位置信息,从所述医疗影像中分割出包含有所述第二目标的待处理图像;
所述步骤S110可包括步骤S110’:利用所述第一检测模块检测所述待处理图像,获得所述第一位置信息。
在本实施例中,所述第二检测模块可以对所述医疗影像进行预处理,以便后续第一检测模块从医疗影像中分割出待处理图像。
在本实施例中,所述第二检测模块可为神经网络模型,通过神经网络模型中的卷积处理等,至少可获得所述第二目标的外轮廓信息等,基于外轮廓信息得到所述第二位置信息。如此,待处理图像相对于原始的医疗影像是切割了对诊断无关的背景信息及干扰信息的。
所述背景信息可为医疗影像中的未携带有信息量的空白图像区域的图像信息。
所述干扰信息可为所述第二目标以外的图像信息。例如,所述医疗影像可为对人体腰部的核磁共振图像;在该核磁共振图像中采集了人的腰部,并同时采集了腰部的组织、腰椎、肋骨等信息。若第二目标为腰椎,则组织及肋骨所对应的图像信息即为所述干扰信息。
在步骤S100中可以利用第二检测模块对每一张二维图像进行检测,确定出所述第二位置信息。
所述第二位置信息可包括:图像坐标中的第二目标所在图像区域的坐标值,例如,第二目标外轮廓在各二维图像中的坐标值。该坐标值可为所述第二目标边缘的边缘坐标值,或者,所述第二目标的尺寸和第二目标中心的中心坐标值。所述第二位置信息可为各种能够从图像中定位出所述第二目标的信息,不局限于所述坐标值。再例如,利用各种检测框对所述图像检测,所述第二位置信息还可为所述检测框的标识。例如,一张图像可以由若干个检测框不重叠且不间隔覆盖,若第二目标在第T个检测框中,则所述第T个检测框的标识即为所述第二位置信息的一种。总之,所述第二位置信息有多种形式,既不限于所述坐标值也不限于所述检测框的框标识。
利用第二检测模块完成所述第二位置信息的确定之后,根据第二位置信息从原始的医疗影像中分割出需要第一检测模块处理的待处理图像,此处的待处理图像的分割,可以由所述第二检测模块处理;也可以由所述第一检测模块处理,甚至可以由位于所述第二检测模块和所述第一检测模块之间的第三子模型处理。
所述待处理图像是去除了背景信息和干扰信息,且包含有所述第二目标的图像。通过对原始的医疗影像的处理得到待处理图像,相对于相关技术中直接对原始医疗影像进行第二目标的分割处理,可以大大的降低运算量,提升处理速率;同时减少因为背景信息及干扰信息的引入导致后续目标特征图及第一诊断辅助信息提取不准确的问题,提升了目标特征图及第一诊断辅助信息的精确性。
利用第一检测模块仅需对所述待处理图像进行图像处理,就可以实现对第二目标进行分割,使得组成所述第二目标的各个第一目标从原始的医疗影像分离出来,然后通过对分离的医疗影像的处理得到对应的目标特征图所包含的第一目标的第一诊断辅助信息。
在一些实施例中,如图3所示,所述步骤S110可包括:
步骤S111:利用第一检测模块检测所述待处理图像或医疗影像,获得所述第一目标的图像检测区;
步骤S112:检测所述图像检测区,获得所述第二目标的外轮廓信息;
步骤S113:根据所述外轮廓信息生成掩模区。
步骤S114:根据所述掩模区,从所述医疗影像或待处理图像中分割出包含第二目标的分割图像。
例如,利用检测框对医疗影像或待处理图像进行分割,得到第一目标所在的图像检测区。
对图像检测区进行第二目标的外轮廓信息的提取,例如,通过能够提取外轮廓的卷积网络,对所述图像检测区进行图像处理,就能够得到所述外轮廓信息,通过外轮廓信息的提取,可以生成掩模区。该掩模区可为刚好覆盖所述第一目标的矩阵或向量等形式的信息。所述掩模区是位于所述图像检测区内的,且一般所述掩模区的面积小于所述图像检测区的面积。所述图像检测区可为标准的矩形区域;所述掩模区所对应的区域可为非规则的区域。掩模区的形状决定于所述第一目标的外轮廓。
在一些实施例中,通过掩模区与医疗影像的相关运算,就可以从所述待处理图像或医疗影像中提取出所述分割图像。例如,一张全黑图像上加一个透明的所述掩模区,得到一个待透明区域的图像,将该图像与对应的所述待处理图像或医疗影像进行重叠之后,就会生成仅包含有第二目标的分割图像。或者将重叠后的图像切除掉全黑区域就能够得到所述分割图像。再例如,一个全白图像加上一个透明的所述掩模区,得到一个待透明区域的图像,将该图像与对应的医疗影像进行重叠之后,就会生成仅包含有第二目标的分割图像。或者将重叠后的图像切除掉全白区域就能够得到所述分割图像。又例如,直接基于所述掩模区所在的每一个像素的像素坐标,直接从医疗影像中提取出对应的分割图像。
当然以上仅给处理获得所述分割图像的几个举例,具体的实现方式有多种,不局限于上述任意一种。
在一些实施例中可以基于掩模区来提取所述分割图像;在另一些实施例中,可以直接基于所述图像检测区确定所述分割图像,可以将图像检测区内的医疗影像整体作为所述分割图像,相对于基于掩模区确定的待处理图像,可能会引入少量的背景信息和/或干扰信息。
在一些实施例中,所述待处理图像的获取方法可包括:
利用第二检测模块检测医疗影像,得到第二目标的图像检测区;
检测第二目标的图像检测区,获得第二目标的外轮廓信息;
根据第二目标的外轮廓信息对应的掩模区切割出所述待处理图像。
图4从左至右依次是:整个腰部的侧面核磁共振图像;与之靠近的中间长条状的为脊椎的掩模区、单个椎间盘的掩模区、最后是单个椎间盘的分割图像的示意图。
在一些实施例中,所述步骤S120可包括:
对所述分割图像进行处理,得到所述目标特征图,其中,一个所述目标特征图对应一个所述第一目标;
基于所述待处理图像、所述目标特征图及所述分割图像的至少其中之一,得到所述第一目标的第一诊断辅助信息。
对分割图像进行图像处理得到目标特征图,例如,通过卷积处理得到目标特征图。所述卷积处理可包括:利用预先设置的提取特征的卷积核与待处理图像的图像数据进行卷积,提取出特征图。例如,利用神经网络模型中的全连接卷积网络或局部连接卷积网络的卷积处理,输出所述目标特征图。
在本实施例中还会基于所述待处理图像、所述目标特征图及所述分割图像的至少其中之一,得到所述第一目标的第一诊断辅助信息,得到所述第一目标的第一诊断辅助信息。例如,根据目标特征图所对应的第一目标在所述待处理图像中包含的多个第一目标中的排序,得到当前目标特征图所对应的第一标识信息。通过第一标识信息方便医生了解到当前目标特征图展示的第二目标中的哪一个第一目标。
若第二目标为脊柱;所述第一目标可为椎间盘或者椎骨;相邻两个椎骨之间设置有一个椎间盘。若所述第一目标为椎间盘,则可以根据相邻的椎骨的来进行标识。例如,人的脊柱可包括:12节胸椎骨、5个腰椎骨、7个颈椎骨及一个或多个骶椎骨。在本发明实施例中可以根据医疗命名规则,以T表示胸部、L表示腰骶、S表示骶骨、C表示颈部;则椎骨的命名可为T1、T2;而椎间盘可命名为Tm1-m2,表示该椎间盘为第m1节胸椎骨与第m2节胸椎骨之间的椎间盘。T12可用于标识第12节胸椎骨。此处的Tm1-m2及T12均为第一目标的第一标识信息的一种。但是在具体实现时,所述第一目标的第一标识信息还可以是采用其他命名规则,例如,以第二目标为基准为例,可以从上之下排序,以排序序号来标识对应的椎骨或椎间盘。
在一些实施例中,所述步骤S120还可包括:
直接根据所述目标特征图,得到对应的第一目标的第一诊断辅助信息。例如,第一目标在不同方向上的尺寸,例如,第一目标不的长度及厚度等尺寸信息。这种尺寸信息可为第一目标的属性信息的一种。在另一些实施例中,所述属性信息还可包括:描述形状的形状信息。
在另一些实施例中,所述第一诊断辅助信息还包括:各种提示信息;例如,第一目标产生了与正常的第一目标不一样的特征,可以通过生成告警提示信息,供医生重点查看;所述提示信息还可包括:提示信息,基于第一目标的属性与标准的属性,生成提示信息。这种提示信息为图像处理设备自动产生的信息,最终的诊疗结果可能需要医疗人员进一步确认,故这种提示信息对于医疗人员而言是另一种提示信息。
例如,目标特征图中展示的某一个第一目标的尺寸过大或者过小,都可能是产生了病变,可以通过提示信息直接给出病变的预测结论,也可以通过提示信息提示尺寸过大或者尺寸过小。
总之,所述第一诊断辅助信息有多种,不局限于上述任意一种。
在一些实施例中,所述步骤S120可包括:
利用所述第一检测模块的特征提取层,从所述分割图像中提取出第一特征图;
利用所述第一检测模块的池化层,基于所述第一特征图生成至少一个第二特征图,其中,所述第一特征图和所述第二特征图的尺度不同;
根据所述第二特征图得到所述目标特征图。
在本实施例中所述第一检测模块可为神经网络模型,所述神经网络模型可包括:多个功能层;不同的功能层具有不同的功能。每一个功能层均可包括:输入层、中间层及输出层,输入层用于输入待处理的数据,中间层进行数据处理,输出层输出处理结果。输入层、中间层级输出层之间都可包括多个神经节点。后一个层的任意一个神经节点可以与前一个层所有神经节点均连接,这种输出全连接神经网络模型。后一个层的神经节点仅与前一个层的部分神经节点连接,这种属于部分连接网络。在本实施例中,所述第一检测模块可为部分连接网络,如此可以减少该网络的训练时长,降低网络的复杂性,提升训练效率。所述中间层的个数可为一个或多个,相邻两个中间层连接。此处的描述的输入层、中间层及输出层的原子层,一个原子层包括多个并列设置的神经节点;而一个功能层是包括多个原子层的。
在本实施例中,所述提取层可为卷积层,该卷积层通过卷积运算提取出待处理图像中不同区域的特征,例如,提取出轮廓特征和/或纹理特征等。
通过特征提取会生成特征图,即所述第一特征图。为了减少后续的计算量,在本实施例中会引入池化层,利用池化层的将采样处理,生成第二特征图。所述第二特征图包括的特征个数是少于所述第一特征图包含的原始个数的。例如,对所述第一特征图进行1/2降采样,就可以将一个包含有N*M个像素的第一特征图,将采样成为一个包含有(N/2)*(M/2)像素的第二特征图。在降采样的过程中,对一个邻域进行降采样。例如,将相邻的4个像素组成的2*2的邻域进行降采样生成第二特征图中一个像素的像素值。例如,从2*2的领域中的极大值、极小值、均值或中值作为所述第二特征图的像素值输出。
在本实施例中可以将极大值作为第二特征图中对应像素的像素值。
如此,通过降采样虽小了特征图的数据量,方便后续处理,可以提升速率;同时也提升了单一像素的感受野。此处的感受野表示的图像中一个像素在原始的图像中所影像或对应的像素个数。
在一些实施例中,可以通过一次多次的池化操作,得到多个不同尺度的第二特征图。例如,对第一特征图进行第1次池化操作,得到第一次池化特征图;对第一次池化特征图进行第2次池化操作,得到第二次池化特征图;对第二次池化特征图进行第3次池化操作,得到第三次池化特征图。以此类推,再进行多次池化时,可以在前一次池化操作的基础上进行池化,最终得到不同尺度的池化特征图。在本发明实施例中将池化特征图都称之为第二特征图。
在本实施例中针对第一目标特征图可以进行3到5次池化,如此最终得到的第二特征图,具有足够的感受野,同时对后续处理的数据量降低也是比较明显的。例如,基于第一特征图进行4次池化操作,最终会得到包含的像素个数最少(即尺度最小)的第4池化特征图。
不同次池化操作的池化参数是可以不同的,例如,将采样的采样系数是不同,例如,有的池化操作可为1/2,有的可以是1/4之一。在本实施例中,所述池化参数是可以相同的,如此,可以简化第一检测模块的模型训练。所述池化层同样可对应于神经网络模型,如此可以简化神经网络模型的训练,并提升神经网络模型训练的训练效率。
在本实施例中,将根据第二特征图得到所述目标特征图。例如,对最后一次池化得到的池化特征图进行上采样得到与输入了待处理图像同图像分辨率的目标特征图。在另一些实施例中,所述目标特征图的图像分辨率也可以略低于所述待处理图像。
通过池化操作之后产生的特征图中的像素值实质上体现了医疗影像中相邻像素之间的关联关系。
在一些实施例中,所述对所述分割图像进行处理,得到所述目标特征图,包括:
利用所述第一检测模块的上采样层,对所述第二特征图进行上采样得到第三特征图;
利用所述第一检测模块的融合层,融合所述第一特征图及所述第三特征图得到融合特征图;或者,融合所述第三特征图及与所述第三特征图不同尺度的所述第二特征图得到融合特征图;
利用所述第一检测模块的输出层,根据所述融合特征图输出所述目标特征图。
此处的上采样层也可以由神经网络模型组成,可以对第二特征图进行上采样;通过上采样可以增加像素值,所述上采样的采样系数可为2倍或4倍采样。例如,通过上采样层的上采样可以将8*8的第二特征图,生成16*16的第三特征图。
在本实施例中还包括融合层,此处的融合层也可由神经网络模型组成,可以拼接第三特征图与第一特征图,也可以拼接第三特征图与生成所述第三特征图的第二特征图不同的另一个第二特征图。
例如,以将8*8的第二特征图为例,通过上采样得到32*32的第三特征图,将该第三特征图与32*32的第二特征图进行融合,得到融合特征图。
此处,融合得到融合特征图的两个特征图之间的图像分辨率是相同的,或者说包含的特征个数或者像素个数是相同的。例如,特征图以矩阵表示,则可认为包含特征个数相同或包含的像素个数相同。
融合特征图,融合了由于是就低尺度的第二特征图的第三特征图,故具有足够的感受野,同时融合高尺度的第二特征图或第一特征图,也覆盖了足够的细节信息,如此,融合特征图兼顾了感受野和信息细节,方便后续最终生成目标特征图可以精准表达第一目标的属性。
在本实施例中,融合第三特征图和第二特征图或者融合第三特征图及第一特征图的过程中,可包括:将多个特征图的特征值进行长度的融合。例如,假设第三特征图的图像尺寸为:S1*S2;所述图像尺寸可以用于描述对应的图像包含的像素个数或元素格式。在一些实施例中所述第三特征图的每一个像素或元素还对应有:特征长度;若特征长度为L1。假设待融合的第二特征图的图像尺寸为S1*S2,每一个像素或元素的特征长度为:L2。融合这样的第三特征图和第二特征图可包括:形成图像尺寸为:S1*S2的融合图像;但是该融合图像中的每一个像素或元素的特征长度可为:L1+L2。当然此处仅是对特征图之间融合的一种举例,具体实现时,所述融合特征图的生成方式有多种,不限于上述任意一种。
所述输出层可以基于概率输出多个融合特征图像中最精准的融合特征图像,作为所述目标特征图像。
所述输出层可为:基于softmax函数的softmax层;也可以是基于sigmoid函数的sigmoid层。所述输出层可以将不同融合特征图像的值映射成0到1之间取值,然后这些取值之和可为1,从而满足概率特性;通过映射后选择概率值最大的一个融合特征图作为所述目标特征图输出。
在一些实施例中,所述步骤S120可包括以下至少之一:
结合所述待处理图像及所述分割图像,确定所述目标特征图对应的所述第一目标的第一标识信息;
基于所述目标特征图,确定所述第一目标的属性信息;
基于所述目标特征图,确定所述第一目标的提示信息。
此处,所述第一诊断辅助信息可至少包括所述第一标识信息,在另一些实施例中,所述第一诊断辅助信息除了所述第一标识信息以外,还可包括:属性信息及提示信息中的一种或多种。所述属性信息可包括:尺寸信息和/或形状信息等。
所述第一标识信息、属性信息及提示信息的信息内容可以参见前述部分,此处就不再重复了。
在一些实施例中,所述方法还包括:
利用样本数据训练第二检测模块和第一检测模块;
利用样本数据训练得到所述第二检测模块和第一检测模块的网络参数;
基于损失函数,计算已获得所述网络参数的第二检测模块和所述第一检测模块的损失值;
若所述损失值小于或等于预设值,完成所述第二检测模块和所述第一检测模块的训练;或,若所述损失值大于所述预设值,根据所述损失值优化所述网络参数。
该样本数据可包括样本图像和医生已经对第二目标和/或第一目标进行标注的数据。通过样本数据的虚了年可以得到第二检测模块和第一检测模块的网络参数。
该网络参数可包括:影响神经节点之间输入输出的权值和/或阈值。所述权值与输入的乘积和与阈值的加权关系,会影像对应神经节点的输出。
得到网络参数之后并不能保证对应的第二检测模块和第一检测模块就具有了精准完成待处理图像分割及目标特征图生成的功能。故在本实施例中还会进行验证。例如,通过验证数据中的验证图像输入,第二检测模块和第一检测模块分别得到自己的输出,与验证图像对应的标注数据进行比对,利用损失函数可以计算出损失值,该损失值越小表明模型的训练结果越好,当损失值小于预先设定的预设值时,则可认为完成了网络参数的优化及模型的训练。若损失值大于预设值可认为需要继续优化,即模型需要继续训练,直到损失值小于或等于所述预设值,或者,优化次数已经达到次数上限则停止模型的训练。
所述损失函数可为:交叉损失函数或者DICE损失函数等,具体实现时不局限于任意一种。
在一些实施例中,所述若所述损失值大于所述预设值,根据所述损失值优化所述网络参数,包括:
若所述损失值大于所述预设值,利用反向传播方式更新所述网络参数。
所述反向传播方式可为:从一个层的输出层向输入层遍历各个网络路径,如此,对于某一个输出节点而言,联通到该输出节点的路径在反向遍历时仅会遍历一次,故利用反向传播方式更新网络参数,相比从正向传播方式更新所述网络参数,可以减少网络路径上的权值和/或阈值的重复处理,可以减少处理量,提升更新效率。正向传播方式是从输入层向输出层方向遍历网络路径,来更新网络参数。
在一些实施例中,所述第二检测模块和第一检测模块构成了一个端到端模型,所述端到端模型为:将需要检测的医疗影像的图像数据直接输入该端到端模型,直接输出就是想要的输出结果,这种输入信息模型处理后直接输出结果的模型称之为端到端模型。但是该端到端模型可以由至少两个相互连接的子模型构成。第二检测模块和第一检测模块的损失值可以分别计算,如此,第二检测模块和第一检测模块分别会得到自己的损失值,分别优化自己的网络参数。但是这种优化方式可能会在后续使用时,第二检测模块的损失和第一检测模块的损失进行累加放大,导致最终的输出结果精确度并不高。有鉴于此,所述基于损失函数,计算已获得所述网络参数的第二检测模块和所述第一检测模块的损失值,包括:
利用一个损失函数,计算从所述第二检测模块输入并从所述第一检测模块输出的端到端损失值。
在本实施例中直接利用一个损失函数对包含有第二检测模块和第一检测模块的端到端模型计算一个端到端损失值,利用该端到端损失值进行两个模型的网络参数优化,如此,可以确保模型上线应用时可以获得足够精确的输出结果,即足够精确的所述目标特征图及所述第一诊断辅助信息。
假设所述步骤S110中的医疗影像称之为当前医疗影像,且假设所述步骤S120中的目标特征图称之为当前目标特征图;则在一些实施例中,所述方法还包括:
获取所述当前医疗影像的第二标识信息;
根据所述第二标识信息获取历史医疗影像对应的历史目标特征图;比对同一第一目标的当前目标特征图和所述历史目标特征图,获得第二诊断辅助信息;
和/或,
根据所述第二标识信息获取所述历史医疗影像对应的第一诊断辅助信息;比对当前医疗影像的第一诊断辅助信息和所述历史医疗影像对应的第一诊断辅助信息,生成第三诊断辅助信息。
所述第二标识信息可为就诊对象的对象标识,例如,以人就诊为例,所述第二标识信息可为:就诊人的就医编号或者医疗编号。
在医疗数据库中可存储有历史的医疗诊断信息。而历史医疗影像通过本申请的医疗影像处理方法生成有目标特征图及第一诊断辅助信息。
在本实施例中,通过当前医疗影像与历史医疗影像所对应的目标特征图的比对,可以得到第二诊断辅助信息,如此,帮助医疗人员进行智能比对。
例如,在一些实施例中,将同一第一目标的历史目标特征图及当前目标特征图,生成动画序列帧或者生成视频。所述动画序列帧或者视频中至少包含有所述历史特征图及当前目标特征图的,从而通过动画序列帧或者视频的方式,动态表征同一个就诊对象的同一个第一目标的目标特征图的变化,方便用户通过这种可视化图像简便查看到所述同一个第一目标的变化及变化趋势,方便医疗人员根据这种变化或者变化趋势给出诊断。此处的同一个第一目标的变化,可为:同一个第一目标的尺寸变化、形状变化和/或纹理变化中的一种或多种。
例如,以椎间盘为所述第一目标为例,则所述第二诊断辅助信息可为描述,所述第一目标的尺寸变化或尺寸变化趋势的文本信息和/或图像信息。此处的图像信息可包括:单张的图片,也可包括前述的动画序列帧或者视频。
此处的包含有所述历史特征图及当前目标特征图的动画序列帧或者视频,即为所述第二第一诊断辅助信息的一种。在另一些实施例中,所述第二诊断辅助信息还可以是文本信息。
所述第二诊断辅助信息还可包括:医疗影像处理设备根据历史特征图及当前目标特征图得到的设备评估信息。例如,根据腰椎盘的形变或者厚度变化,给出是否有病变或者病变程度的设备评估信息。该设备评估信息可作为医生的诊断辅助的信息之一。
在一些实施例中,会结合不同时刻的医疗诊断信息对应的第一诊断辅助信息,生成第三诊断辅助信息,这种第三诊断辅助信息可以是基于不同时刻的医疗影像所生成的第一诊断辅助信息的比对差异生成的。例如,所述第三诊断信息可包括:同一个第一目标的属性信息的变化及变化趋势得到的结论信息。例如,胸椎间盘T11-T12在两次就诊过程中产生的Dixon序列尺寸是否有变化或者形状是否有变化的结论。在一些实施例中,所述第三诊断信息还可以是直接给出属性信息的变化量或变化趋势;当然也可以是包含与根据这种变化量和/或变化趋势,给出的设备评估信息。
历史医疗影像信息对应的目标特征图及第一诊断辅助信息可存储在医疗***的数据库中,可以根据所述第二标识信息来检索同一个就诊者不同次医疗影像信息所得到的目标特征图及第一诊断辅助信息,从而设备结合相邻两次或多次的医疗影像综合信息,此处的综合信息可包括前述目标特征图、第一诊断辅助信息、第二诊断辅助信息及第三诊断辅助信息中的一个或多个。
在一些实施例中,所述方法还可包括:
在步骤S130之后输出当前医疗影像的目标特征图及第一诊断辅助信息的同时,根据所述第二标识信息在输出页面建立历史医疗诊断影像所对应的目标特征图和/或第一诊断辅助信息的链接,如此,也方便医生根据当前需求通过链接简便获取历史医疗影像的目标特征图和/或第一诊断辅助信息。
如图5所示,本发明实施例提供一种医疗影像处理装置,包括:
第一检测单元110,用于利用第一检测模块检测医疗影像,获得第一目标在第二目标中的第一位置信息,其中,其所述第二目标包含有至少两个所述第一目标;
处理单元120,用于利用所述第一检测模块根据所述第一位置信息,分割所述第二目标获得所述第一目标的目标特征图及第一诊断辅助信息。
在一些实施例中,所述第一检测单元110及处理单元120可为程序单元,在被处理器执行后能够实现第二目标的第二位置信息的获取,待处理图像的提取及目标特征图及第一诊断辅助信息的确定。
在另一些实施例中,所述第一检测单元110及处理单元120,可硬件或软件和硬件的结合。例如,所述第一检测单元110及处理单元120可对应于现场可编程器件或者复杂可编程器件。再例如,所述蝴蝶模块、处理单元120及所述处理单元120可对应于专用集成电路(ASIC)。
在一些实施例中,所述处理单元120,具体利用所述第一检测模块根据所述第一位置信息,对所述第二目标进行像素级分割得到所述目标特征图及所述第一诊断辅助信息。
在一些实施例中,所述装置还包括:
第二检测单元,用于利用第二检测模块检测医疗影像,获得所述第二目标在所述医疗影像中的第二位置信息;根据所述第二位置信息,从所述医疗影像中分割出包含有所述第二目标的待处理图像;
所述第一检测单元110,具体用于检测所述医疗影像,获得所述第二目标所在的图像检测区;检测所述图像检测区,获得所述第二目标的外轮廓信息;根据所述外轮廓信息生成掩模区。
在一些实施例中,所述处理单元120,用于根据所述掩模区,从所述医疗影像中分割出所述待处理图像。
在一些实施例中,所述第一检测单元110,具体利用第一检测模块检测待处理图像或医疗影像,获得所述第一目标的图像检测区;检测所述图像检测区,获得所述第一目标的外轮廓信息;根据所述外轮廓信息生成掩模区,其中,所述掩模区用于分割所述第二目标以获得所述第一目标。
在一些实施例中,所述处理单元120,具体用于对所述分割图像进行处理,得到所述目标特征图,其中,一个所述目标特征图对应一个所述第一目标;基于所述待处理图像、所述目标特征图及所述分割图像的至少其中之一,得到所述第一目标的第一诊断辅助信息。
在一些实施例中,所述处理单元120,具体用于利用所述第一检测模块的特征提取层,从所述分割图像中提取出第一特征图;利用所述第一检测模块的池化层,基于所述第一特征图生成至少一个第二特征图,其中,所述第一特征图和所述第二特征图的尺度不同;根据所述第二特征图得到所述目标特征图。
在一些实施例中,所述处理单元120,用于利用所述第一检测模块的上采样层,对所述第二特征图进行上采样得到第三特征图;利用所述第一检测模块的融合层,融合所述第一特征图及所述第三特征图得到融合特征图;或者,融合所述第三特征图及与所述第三特征图不同尺度的所述第二特征图得到融合特征图;利用所述第一检测模块的输出层,根据所述融合特征图输出所述目标特征图。
此外,所述处理单元120,具体用于执行以下至少之一:
结合所述待处理图像及所述分割图像,确定所述目标特征图对应的所述第一目标的第一标识信息;
基于所述目标特征图,确定所述第一目标的属性信息;
基于所述目标特征图,确定基于所述第一目标的属性信息产生的提示信息。
在一些实施例中,所述装置还包括:
训练单元,用于利用样本数据训练得到所述第二检测模块和第一检测模块;
计算单元,用于基于损失函数,计算已获得网络参数的第二检测模块和所述第一检测模块的损失值;
优化单元,用于若所述损失值大于预设值,根据所述损失值优化所述网络参数;或者,所述训练单元,还用于若所述损失值小于或等于所述预设值,完成所述第二检测模块和所述第一检测模块的训练。
在一些实施例中,所述优化单元,用于若所述损失值大于所述预设值,利用反向传播方式更新所述网络参数。
在一些实施例中,所述计算单元,用于利用一个损失函数,计算从所述第二检测模块输入并从所述第一检测模块输出的端到端损失值。
在一些实施例中,所述第二目标为脊柱;
所述第一目标为:椎间盘。
以下结合上述任意实施例提供几个具体示例:
示例1:
首先使用深度学习模型检测并定位椎间盘,得到每个椎间盘的位置信息,例如,得到每块椎间盘的中心坐标,并标出它是哪一块椎间盘(也就是标明该椎间盘位于哪两块椎骨之间,例如胸椎T12与腰椎L1之间)。此处的深度学习模型可包括前述的神经网络模型。
结合上一步的检测的椎间盘的位置信息,使用深度学习模型对椎间盘进行像素级的分割,从而得到椎间盘完整的边界、形状、体积等信息,用以辅助医生诊断。
本示例的深度学习框架是一种全自动的端到端的解决方案,输入医学影像即可输出完整的椎间盘检测与分割结果。
具体的本示例提供的方法可包括:
首先,对椎间盘的Dixon序列中的二维图像进行预处理,对图像进行重采样,如此,相当于复制所述Dixon序列的图像;而原始的Dixon序列可以用于存档使用或备份使用。
使用具有检测功能的神经网络模型检测椎间盘的位置,得到指定椎间盘的检测框和位于所述检测框内的掩模区,所述掩模区域用于下一步对椎间盘的分割,从而得单一的椎间盘。
使用全卷积神经网络模型(如U-Net),通过降采样使得卷积核可以拥有更大的感知野。
在通过上采样将卷积处理的特征图,恢复到原图大小,通过softmax层得到分割结果。该分割结果可包括:目标特征图及所述第一诊断辅助信息。
神经网络模型中可以添加不同尺度的目标特征图融合的融合层,以提高分割精度。同步不同尺度图的融合,以使得同时包含有感知野较大的图和包含图像原始细节较大的图融合到一起,如此,得到图既具有较大的感知野,同时也包括足够多的原始细节。
损失函数使用交叉熵损失函数,利用算是函数将网络预测的分割结果与医生的标注进行比较,通过反向传播方式更新模型的参数。
分割使用了椎间盘检测得到的掩模区用以辅助训练,排除掉大多数无用的背景,使得网络能够专注于椎间盘附近的区域,能有效提高分割精度。
椎间盘的检测和掩模区的获得,以及椎间盘的像素级分割。
如图4所示,从左到右分别为:原始的医疗图像、脊椎分割结果、检测网络得到的指定椎间盘(T11-S1之间的7块)的掩模区及椎间盘的分割结果。
椎间盘的检测和分割可分包括:
根据输入的Dixon序列,利用分割算法,得到脊椎部分的分割结果,排除其他部分的干扰;具体可包括:将Dixon序列输入到检测网络中,利用脊椎分割结果的限制,检测出椎间盘的具***置,并生成一个粗略的掩模区用于分割;.基于全卷积网络的二维图像分割。对Dixon序列中每一帧的图像分别进行分割,之后整合到一起得到一个完整的分割结果。
网络结构采用基于FCN或U-Net及它们的改进模型的结构。将原始的图像通过不同层的卷积,4次池化操作,将128*128的图像降采样为64*64,32*32,16*16,8*8大小的特征图。这样可以使得同样大小的卷积核能够有越来越大的感受野。在得到椎间盘的特征图之后,通过反卷积或者插值的方法恢复到原始分辨率。由于降采样之后的分辨率逐渐降低,会有许多细节信息的丢失,于是可以使用不同尺度的特征图进行融合,如在同分辨率的降采样和上采样层之间加入短接连接,以在上采样的过程中逐渐恢复细节信息。
通过softmax层之后,得到分割结果,与医生的标注进行对比,计算交叉熵损失或者DICE等其他损失函数。
在计算损失值时,只计算检测网络的到的椎间盘掩模区的损失,这样可以忽略大量无关的背景,使得网络能够专注于椎间盘附近的区域,提高分割准确率。通过反向传播更新模型参数,迭代优化模型,直至模型收敛或者达到最大的迭代次数。
使用了脊椎分割作为限制,结合了检测算法,该算法具有更强的稳定性。在检测之后才进行精确分割,排除了干扰,分割结果更加准确。
使用了脊椎分割作为限制,结合了检测算法。该算法具有更强的稳定性。
在检测椎间盘之后才进行精确分割,排除了干扰,分割结果更加准确。
分割结果更为准确,从而以此计算得到的体积等参数也更为准确。更好地辅助医生做出诊断。
如图6所示,本发明实施例提供了一种图像处理设备,包括:
存储器,用于存储信息;
处理器,与所述存储器连接,用于通过执行存储在所述存储器上的计算机可执行指令,能够实现前述一个或多个技术方案提供的图像处理方法,例如,如图1、图2和/或图3所示的方法。
该存储器可为各种类型的存储器,可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储,例如,存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令,例如,目标程序指令和/或源程序指令等。
所述处理器可为各种类型的处理器,例如,中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。
所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。
在一些实施例中,所述终端设备还可包括:通信接口,该通信接口可包括:网络接口、例如,局域网接口、收发天线等。所述通信接口同样与所述处理器连接,能够用于信息收发。
在一些实施例中,所述终端设备还包括人机交互接口,例如,所述人机交互接口可包括各种输入输出设备,例如,键盘、触摸屏等。
本发明实施例提供了一种计算机存储介质,所述计算机存储介质存储有计算机可执行代码;所述计算机可执行代码被执行后,能够实现前述一个或多个技术方案提供的图像处理方法,例如,可执行图1、图2及图3所示方法中的一个或多个。
所述存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述存储介质可为非瞬间存储介质。
本发明实施例提供一种计算机程序产品,所述程序产品包括计算机可执行指令;所述计算机可执行指令被执行后,能够实现前述一个或多个技术方案提供的图像处理方法,例如,可执行图1、图2及图3所示方法中的一个或多个。
本实施例中所述计算机程序产品包含的计算机可执行指令,可包括:应用程序、软件开发工具包、插件或者补丁等。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种医疗影像处理方法,其特征在于,包括:
利用第一检测模块检测医疗影像,获得第一目标在第二目标中的第一位置信息,其中,其所述第二目标包含有至少两个所述第一目标;
利用所述第一检测模块根据所述第一位置信息,分割所述第二目标获得所述第一目标的目标特征图及第一诊断辅助信息。
2.根据权利要求1所述的方法,其特征在于,
所述利用所述第一检测模块根据所述第一位置信息,分割所述第二目标获得所述第一目标的目标特征图及第一诊断辅助信息,包括:
利用所述第一检测模块根据所述第一位置信息,对所述第二目标进行像素级分割得到所述目标特征图及所述第一诊断辅助信息。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
利用第二检测模块检测医疗影像,获得所述第二目标在所述医疗影像中的第二位置信息;
根据所述第二位置信息,从所述医疗影像中分割出包含有所述第二目标的待处理图像;
所述利用第一检测模块检测医疗影像获得第一目标在第二目标中的第一位置信息,包括:
利用所述第一检测模块检测所述待处理图像,获得所述第一位置信息。
4.根据权利要求1至3任一项所述的方法,其特征在于,
所述利用第一检测模块检测医疗影像,获得第一目标在第二目标中的第一位置信息,包括:
利用第一检测模块检测待处理图像或医疗影像,获得所述第一目标的图像检测区;
检测所述图像检测区,获得所述第一目标的外轮廓信息;
根据所述外轮廓信息生成掩模区,其中,所述掩模区用于分割所述第二目标以获得所述第一目标的分割图像。
5.根据权利要求4所述的方法,其特征在于,
所述利用第一检测模块对所述待处理图像进行处理,提取出包含有所述第一目标的目标特征图及所述第一目标的第一诊断辅助信息,包括:
对所述分割图像进行处理,得到所述目标特征图,其中,一个所述目标特征图对应一个所述第一目标;
基于所述待处理图像、所述目标特征图及所述分割图像的至少其中之一,得到所述第一目标的第一诊断辅助信息。
6.根据权利要求4所述的方法,其特征在于,
所述对所述分割图像进行处理,得到所述目标特征图,包括:
利用所述第一检测模块的特征提取层,从所述分割图像中提取出第一特征图;
利用所述第一检测模块的池化层,基于所述第一特征图生成至少一个第二特征图,其中,所述第一特征图和所述第二特征图的尺度不同;
根据所述第二特征图得到所述目标特征图。
7.根据权利要求6所述的方法,其特征在于,
所述基于所述待处理图像、所述目标特征图及所述分割图像的至少其中之一,得到所述第一目标的第一诊断辅助信息,包括以下至少之一:
结合所述待处理图像及所述分割图像,确定所述目标特征图对应的所述第一目标的第一标识信息;
基于所述目标特征图,确定所述第一目标的属性信息;
基于所述目标特征图,确定基于所述第一目标的属性信息产生的提示信息。
8.一种医疗影像处理装置,其特征在于,包括:
第一检测单元,用于利用第一检测模块检测医疗影像,获得第一目标在第二目标中的第一位置信息,其中,其所述第二目标包含有至少两个所述第一目标;
处理单元,用于利用所述第一检测模块根据所述第一位置信息,分割所述第二目标获得所述第一目标的目标特征图及第一诊断辅助信息。
9.一种计算机存储介质,所述计算机存储介质存储有计算机可执行代码;所述计算机可执行代码被执行后,能够实现权利要求1至7任一项提供的方法。
10.一种图像处理设备,其特征在于,包括:
存储器,用于存储信息;
处理器,与所述存储器连接,用于通过执行存储在所述存储器上的计算机可执行指令,能够实现权利要求1至7任一项提供的方法。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810818690.XA CN108986891A (zh) | 2018-07-24 | 2018-07-24 | 医疗影像处理方法及装置、电子设备及存储介质 |
PCT/CN2018/117759 WO2020019612A1 (zh) | 2018-07-24 | 2018-11-27 | 医疗影像处理方法及装置、电子设备及存储介质 |
JP2020573401A JP7154322B2 (ja) | 2018-07-24 | 2018-11-27 | 医療画像処理方法及び装置、電子機器並びに記憶媒体 |
KR1020207033584A KR20210002606A (ko) | 2018-07-24 | 2018-11-27 | 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체 |
SG11202011655YA SG11202011655YA (en) | 2018-07-24 | 2018-11-27 | Medical image processing method and device, electronic apparatus, and storage medium |
TW108126233A TWI715117B (zh) | 2018-07-24 | 2019-07-24 | 醫療影像處理方法及裝置、電子設備及儲存介質 |
US16/953,896 US20210073982A1 (en) | 2018-07-21 | 2020-11-20 | Medical image processing method and apparatus, electronic device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810818690.XA CN108986891A (zh) | 2018-07-24 | 2018-07-24 | 医疗影像处理方法及装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108986891A true CN108986891A (zh) | 2018-12-11 |
Family
ID=64549848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810818690.XA Withdrawn CN108986891A (zh) | 2018-07-21 | 2018-07-24 | 医疗影像处理方法及装置、电子设备及存储介质 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20210073982A1 (zh) |
JP (1) | JP7154322B2 (zh) |
KR (1) | KR20210002606A (zh) |
CN (1) | CN108986891A (zh) |
SG (1) | SG11202011655YA (zh) |
TW (1) | TWI715117B (zh) |
WO (1) | WO2020019612A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109949309A (zh) * | 2019-03-18 | 2019-06-28 | 安徽紫薇帝星数字科技有限公司 | 一种基于深度学习的肝脏ct图像分割方法 |
CN109978886A (zh) * | 2019-04-01 | 2019-07-05 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110148454A (zh) * | 2019-05-21 | 2019-08-20 | 上海联影医疗科技有限公司 | 一种摆位方法、装置、服务器及存储介质 |
CN110555833A (zh) * | 2019-08-30 | 2019-12-10 | 联想(北京)有限公司 | 图像处理方法、装置、电子设备以及介质 |
CN110992376A (zh) * | 2019-11-28 | 2020-04-10 | 北京推想科技有限公司 | 基于ct图像的肋骨分割方法、装置、介质及电子设备 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111435432B (zh) * | 2019-01-15 | 2023-05-26 | 北京市商汤科技开发有限公司 | 网络优化方法及装置、图像处理方法及装置、存储介质 |
CN111369582B (zh) * | 2020-03-06 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 图像分割方法、背景替换方法、装置、设备及存储介质 |
US11651588B1 (en) | 2020-06-05 | 2023-05-16 | Aetherai Ip Holding Llc | Object detection method and convolution neural network for the same |
CN111768382B (zh) * | 2020-06-30 | 2023-08-15 | 重庆大学 | 一种基于肺结节生长形态的交互式分割方法 |
TWI771761B (zh) * | 2020-09-25 | 2022-07-21 | 宏正自動科技股份有限公司 | 醫療影像處理方法及其醫療影像處理裝置 |
TWI768575B (zh) | 2020-12-03 | 2022-06-21 | 財團法人工業技術研究院 | 三維影像動態矯正評估與矯具輔助設計方法及其系統 |
TWI755214B (zh) * | 2020-12-22 | 2022-02-11 | 鴻海精密工業股份有限公司 | 區分物件的方法、電腦裝置及儲存介質 |
CN113052159B (zh) * | 2021-04-14 | 2024-06-07 | ***通信集团陕西有限公司 | 一种图像识别方法、装置、设备及计算机存储介质 |
CN113112484B (zh) * | 2021-04-19 | 2021-12-31 | 山东省人工智能研究院 | 一种基于特征压缩和噪声抑制的心室图像分割方法 |
CN113255756B (zh) * | 2021-05-20 | 2024-05-24 | 联仁健康医疗大数据科技股份有限公司 | 图像融合方法、装置、电子设备及存储介质 |
CN113269747B (zh) * | 2021-05-24 | 2023-06-13 | 浙江大学医学院附属第一医院 | 一种基于深度学习的病理图片肝癌扩散检测方法及*** |
CN113554619A (zh) * | 2021-07-22 | 2021-10-26 | 深圳市永吉星光电有限公司 | 3d医用***头的图像目标检测方法、***及装置 |
KR102632864B1 (ko) * | 2023-04-07 | 2024-02-07 | 주식회사 카비랩 | 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220980A (zh) * | 2017-05-25 | 2017-09-29 | 重庆理工大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
CN107633521A (zh) * | 2017-07-31 | 2018-01-26 | 深圳联影医疗科技有限公司 | 一种脊椎识别和命名***、方法及装置 |
CN107784647A (zh) * | 2017-09-29 | 2018-03-09 | 华侨大学 | 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及*** |
CN107798682A (zh) * | 2017-08-31 | 2018-03-13 | 深圳联影医疗科技有限公司 | 图像分割***、方法、装置和计算机可读存储介质 |
CN107945179A (zh) * | 2017-12-21 | 2018-04-20 | 王华锋 | 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120143090A1 (en) * | 2009-08-16 | 2012-06-07 | Ori Hay | Assessment of Spinal Anatomy |
TWI473598B (zh) * | 2012-05-18 | 2015-02-21 | Univ Nat Taiwan | Breast ultrasound image scanning and diagnostic assistance system |
US9430829B2 (en) * | 2014-01-30 | 2016-08-30 | Case Western Reserve University | Automatic detection of mitosis using handcrafted and convolutional neural network features |
JP6993334B2 (ja) | 2015-11-29 | 2022-01-13 | アーテリーズ インコーポレイテッド | 自動化された心臓ボリュームセグメンテーション |
CN105678746B (zh) * | 2015-12-30 | 2018-04-03 | 上海联影医疗科技有限公司 | 一种医学图像中肝脏范围的定位方法及装置 |
EP3417776A4 (en) * | 2016-02-15 | 2019-07-10 | Keio University | SPINAL ALIGNMENT APPARATUS, SPINAL ALIGNMENT APPARATUS PROCESS AND SPINAL ALIGNMENT ASSESSMENT PROGRAM |
US9965863B2 (en) * | 2016-08-26 | 2018-05-08 | Elekta, Inc. | System and methods for image segmentation using convolutional neural network |
CN108229455B (zh) * | 2017-02-23 | 2020-10-16 | 北京市商汤科技开发有限公司 | 物体检测方法、神经网络的训练方法、装置和电子设备 |
US10366491B2 (en) * | 2017-03-08 | 2019-07-30 | Siemens Healthcare Gmbh | Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes |
US11158047B2 (en) * | 2017-09-15 | 2021-10-26 | Multus Medical, Llc | System and method for segmentation and visualization of medical image data |
EP3872759A1 (en) * | 2017-10-20 | 2021-09-01 | Nuvasive, Inc. | Intervertebral disc modeling |
CN108230323B (zh) * | 2018-01-30 | 2021-03-23 | 浙江大学 | 一种基于卷积神经网络的肺结节假阳性筛选方法 |
US10878576B2 (en) * | 2018-02-14 | 2020-12-29 | Elekta, Inc. | Atlas-based segmentation using deep-learning |
US10902587B2 (en) * | 2018-05-31 | 2021-01-26 | GE Precision Healthcare LLC | Methods and systems for labeling whole spine image using deep neural network |
CN111063424B (zh) * | 2019-12-25 | 2023-09-19 | 上海联影医疗科技股份有限公司 | 一种椎间盘数据处理方法、装置、电子设备及存储介质 |
-
2018
- 2018-07-24 CN CN201810818690.XA patent/CN108986891A/zh not_active Withdrawn
- 2018-11-27 KR KR1020207033584A patent/KR20210002606A/ko not_active Application Discontinuation
- 2018-11-27 JP JP2020573401A patent/JP7154322B2/ja active Active
- 2018-11-27 SG SG11202011655YA patent/SG11202011655YA/en unknown
- 2018-11-27 WO PCT/CN2018/117759 patent/WO2020019612A1/zh active Application Filing
-
2019
- 2019-07-24 TW TW108126233A patent/TWI715117B/zh active
-
2020
- 2020-11-20 US US16/953,896 patent/US20210073982A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220980A (zh) * | 2017-05-25 | 2017-09-29 | 重庆理工大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
CN107633521A (zh) * | 2017-07-31 | 2018-01-26 | 深圳联影医疗科技有限公司 | 一种脊椎识别和命名***、方法及装置 |
CN107798682A (zh) * | 2017-08-31 | 2018-03-13 | 深圳联影医疗科技有限公司 | 图像分割***、方法、装置和计算机可读存储介质 |
CN107784647A (zh) * | 2017-09-29 | 2018-03-09 | 华侨大学 | 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及*** |
CN107945179A (zh) * | 2017-12-21 | 2018-04-20 | 王华锋 | 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109949309A (zh) * | 2019-03-18 | 2019-06-28 | 安徽紫薇帝星数字科技有限公司 | 一种基于深度学习的肝脏ct图像分割方法 |
CN109978886A (zh) * | 2019-04-01 | 2019-07-05 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
WO2020199528A1 (zh) * | 2019-04-01 | 2020-10-08 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN109978886B (zh) * | 2019-04-01 | 2021-11-09 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110148454A (zh) * | 2019-05-21 | 2019-08-20 | 上海联影医疗科技有限公司 | 一种摆位方法、装置、服务器及存储介质 |
CN110555833A (zh) * | 2019-08-30 | 2019-12-10 | 联想(北京)有限公司 | 图像处理方法、装置、电子设备以及介质 |
CN110992376A (zh) * | 2019-11-28 | 2020-04-10 | 北京推想科技有限公司 | 基于ct图像的肋骨分割方法、装置、介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US20210073982A1 (en) | 2021-03-11 |
JP2021529400A (ja) | 2021-10-28 |
TW202008163A (zh) | 2020-02-16 |
TWI715117B (zh) | 2021-01-01 |
WO2020019612A1 (zh) | 2020-01-30 |
SG11202011655YA (en) | 2020-12-30 |
JP7154322B2 (ja) | 2022-10-17 |
KR20210002606A (ko) | 2021-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108986891A (zh) | 医疗影像处理方法及装置、电子设备及存储介质 | |
CN110110617B (zh) | 医学影像分割方法、装置、电子设备和存储介质 | |
CN109493347B (zh) | 在图像中对稀疏分布的对象进行分割的方法和*** | |
US20220198230A1 (en) | Auxiliary detection method and image recognition method for rib fractures based on deep learning | |
CN110490212A (zh) | 钼靶影像处理设备、方法和装置 | |
CN109754361A (zh) | 3d各向异性的混合网络:将来自2d图像的卷积特征传递到3d各向异性体积 | |
CN108615237A (zh) | 一种肺部图像处理方法及图像处理设备 | |
CN109360633B (zh) | 医疗影像处理方法及装置、处理设备及存储介质 | |
CN111667459B (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质 | |
CN109003267A (zh) | 从3d图像自动检测目标对象的计算机实现方法和*** | |
CN109658419A (zh) | 一种医学图像中小器官的分割方法 | |
CN111626176A (zh) | 一种遥感图像的地物目标检测方法及*** | |
CN109035261A (zh) | 医疗影像处理方法及装置、电子设备及存储介质 | |
CN109124662A (zh) | 肋骨中心线检测装置及方法 | |
CN110136153A (zh) | 一种图像处理方法、设备及存储介质 | |
CN115953393B (zh) | 基于多任务学习的颅内动脉瘤检测***、设备及存储介质 | |
CN110969623A (zh) | 一种肺部ct多征象自动检测方法、***、终端及存储介质 | |
CN109671055A (zh) | 肺结节检测方法及装置 | |
CN115019181A (zh) | 遥感图像旋转目标检测方法、电子设备及存储介质 | |
CN110992310A (zh) | 一种确定纵隔***所在分区的方法及装置 | |
CN113158970B (zh) | 一种基于快慢双流图卷积神经网络的动作识别方法与*** | |
CN110009641A (zh) | 晶状体分割方法、装置及存储介质 | |
Qin et al. | Dynamically aggregating MLPs and CNNs for skin lesion segmentation with geometry regularization | |
CN110176007A (zh) | 晶状体分割方法、装置及存储介质 | |
CN115359071A (zh) | 3d语义分割网络构建方法、cbct 3d牙齿实例分割方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20181211 |
|
WW01 | Invention patent application withdrawn after publication |