WO2023198224A1 - 一种精神障碍类磁共振图像初步筛查模型构建方法 - Google Patents

一种精神障碍类磁共振图像初步筛查模型构建方法 Download PDF

Info

Publication number
WO2023198224A1
WO2023198224A1 PCT/CN2023/093581 CN2023093581W WO2023198224A1 WO 2023198224 A1 WO2023198224 A1 WO 2023198224A1 CN 2023093581 W CN2023093581 W CN 2023093581W WO 2023198224 A1 WO2023198224 A1 WO 2023198224A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
image
classification
brain
mental disorders
Prior art date
Application number
PCT/CN2023/093581
Other languages
English (en)
French (fr)
Inventor
吕粟
张文静
杨成敏
石峰
龚启勇
Original Assignee
四川大学华西医院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 四川大学华西医院 filed Critical 四川大学华西医院
Publication of WO2023198224A1 publication Critical patent/WO2023198224A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Definitions

  • the present invention relates to the field of image processing technology, and in particular to a method for constructing a preliminary screening model for magnetic resonance images of mental disorders.
  • Magnetic resonance imaging is an advanced medical imaging technique used to characterize anatomical and functional changes in the brain, which contributes to the understanding of the mechanisms of clinical risk, neurobiological processes, and cognitive profiles of psychiatric disorders.
  • ML machine learning
  • a diagnostic tool is developed to help identify whether a subject suffers from a specific psychiatric disorder (i.e., schizophrenia vs healthy controls) or to differentiate subjects between two disorders (i.e., schizophrenia vs healthy controls). i.e. schizophrenia vs bipolar disorder).
  • a specific psychiatric disorder i.e., schizophrenia vs healthy controls
  • schizophrenia vs healthy controls i.e., schizophrenia vs bipolar disorder
  • the current focus should shift from precision and specificity in diagnosing mental disorders to developing a commonly used screening tool to identify subjects at clinical high risk or in the early stages of disease and to initiate early intervention in vulnerable populations.
  • patients with different mental disorders should be modeled as a whole. This is consistent with the concept proposed by previous research to develop transdiagnostic psychopathology screening methods, because psychiatric disorders share common genetic, imaging, and psychopathological manifestations, and they are more like a spectrum than separate entities.
  • this application proposes a method for constructing a preliminary screening model for magnetic resonance images of mental disorders, which includes the following steps:
  • Step S1 Perform whole-brain MRI scans on multiple subjects.
  • the scan data includes T1WI and T2WI.
  • the T1WI and T2WI images of all subjects are in the form of DICOM data, and the image processing is performed at United Imaging. workstation;
  • Step S2 Have the neuroradiologist check the images of all subjects to exclude subjects with obvious brain abnormalities or image artifacts;
  • Step S3 Convert the data in DICOM file storage format to NIFTI format and save it in the 3D model image;
  • Step S4 Use a skull stripping tool to remove bone voxels to eliminate non-tissue effects
  • Step S5 Obtain the cranial brain template representing cerebral hemisphere information through the brain segmentation package, and use T1WI-nii, T2WI-nii and the corresponding brain template as the input of the convolutional neural network model;
  • Step S6 Mark the patient level based on the questionnaire, train the classification model in a weakly supervised manner, remove the feature channels and their corresponding filters that have a low contribution to the image category confidence score in the classification model, and reduce the model redundancy. Compress the model while maintaining model performance;
  • Step S7 Continue to train the classification model in a weakly supervised manner, and test the trained classification model.
  • the classification model uses feature channels as masks to react on the input image. Different feature channels promote or inhibit the classification accuracy of positive sample images to different degrees.
  • the classification model determines the importance of different feature channels and filters. .
  • compressing the model includes the following steps:
  • Step S61 Select the task data set and the model to be compressed
  • Step S62 Select the positive sample image to input the model and obtain the output feature map of each layer
  • Step S63 Based on the channel importance confidence score output by the convolutional neural network model, preset the channel importance confidence score threshold, and remove the channel importance confidence score whose importance is lower than the preset channel importance confidence score threshold;
  • Step S64 Fine-tune the compressed convolutional neural network model to restore accuracy.
  • step S61 includes the following steps:
  • Step S611 Given the image classification data set D and the convolutional neural network model to be compressed, train a convolutional neural network classification model;
  • Step S612 Select appropriate hyperparameters and optimizers, and iteratively train the classification model until the classification model converges and obtains a higher classification accuracy on the image classification data set D, then save the trained classification model M.
  • step S62 includes the following steps:
  • Step S622 Input the image I c into the trained model, and obtain its output feature map for each layer of the model:
  • M l ( ⁇ ) represents the operator from the first layer to the l-th layer of the model, Represents the output feature map of the l-th layer of the model, which has n l channels and a spatial size of w l ⁇ h l ;
  • Step S623 Construct a set of feature maps obtained from a total of L layers
  • the classification model is trained through a two-stage method trained by the MIL scheme, including a slice-level classifier and a patient-level classifier.
  • the present invention provides a method for constructing a preliminary screening model for magnetic resonance images of mental disorders. Compared with the existing technology, it has at least the following beneficial effects: 1) Effectively utilizes the big data of past medical records and adopts deep learning methods to analyze a large number of mental disorders. Data analysis, feature extraction and experience learning are performed on magnetic resonance brain imaging cases of patients with disorders to provide doctors with highly accurate diagnostic aids for mental disorders, making the accuracy of mental disorder diagnosis independent of the doctor's experience. 2) It greatly improves the speed of diagnosis, enables early detection and early treatment of patients, and provides opportunities for patients to have a good prognosis. 3) The level of automated processing is high, and automatic analysis and intelligent detection of patients with mental disorders can greatly reduce the workload of operators.
  • Figure 1 shows a schematic diagram of the MIL scheme training of the present invention
  • Figure 2 shows a schematic diagram of the model parameter removal operation of the present invention
  • the present invention provides a method for constructing a preliminary screening model of magnetic resonance images for mental disorders. All subjects undergo clinical whole-brain MRI scans, and experienced neuroradiologists examine the images of all participants to exclude obvious Participants with brain abnormalities or image artifacts.
  • the whole-brain MRI scan images of all subjects are in the form of DICOM data, and the image processing is performed on the United Imaging workstation.
  • NIFTI NIFTI
  • Bone voxels are then removed using a skull stripping tool to eliminate non-tissue effects.
  • T1WI-nii, T2WI-nii and the corresponding brain template as the input of the model, labeled it at the patient level based on the questionnaire, and trained it in a weakly supervised manner. Classification model.
  • the present invention is based on convolutional neural
  • the principle that the network's excess preset coding space leads to model parameter redundancy is based on the characteristic that the feature channels extracted by the convolutional neural network have different contributions to the image category confidence scores.
  • the model is used to determine the importance of different feature channels and filters.
  • Step 1 Select the task data set and the model to be compressed. Given an image classification data set D and a convolutional neural network model to be compressed, train a convolutional neural network classification model. Select appropriate hyperparameters and optimizers, and iteratively train the classification model until the model converges and obtains a higher classification accuracy on the image classification data set D, then save the trained classification model M.
  • Step 2 Select the positive sample image to input the model and obtain the output feature map of each layer. Since the trained convolutional neural network has the ability to encode image category features, it has higher accuracy in encoding the features of positive samples in the data set. These codes exist in the output of each layer of the classification model in the form of feature maps.
  • the predicted category of image I c by the classification model is its true category.
  • image I c a positive sample image. Input the image I c into the trained classification model, and obtain its output feature map for each layer of the classification model:
  • M l ( ⁇ ) represents the operator from the first layer to the lth layer of the classification model
  • the feature maps of a total of L layers will be obtained to form a set.
  • Step 3 Remove parameters with low importance based on the channel importance confidence score output by the classification model.
  • the feature encoding of the image by the classification model is composed of multiple channels. Due to the excessive number of preset channels, excessive coding space results in redundant parameters of the classification model.
  • different channels of feature encoding are generated by extracting image features through filters with different functions, and the different features encoded in these channels contribute differently to the image category confidence score output by the classification model.
  • the present invention uses this feature to remove some feature channels in the classification model that contribute low to the confidence score of the image category and the corresponding filters that extract these features, thereby reducing model redundancy by reducing the coding space.
  • This invention uses different feature map channels as masks for the input image and overlays them on the input image. If a feature channel contributes greatly to the confidence score of an image category, its effect on the image will highlight features that promote classification, making the model have a larger value in the prediction confidence score of the category; conversely, if a The channel's contribution to the confidence score of the image category is small, and the image affected by it will reduce the model's confidence score for the category. This determines the importance of different feature channels and their filters.
  • Upsample( ⁇ ) represents the interpolation upsampling operator, Represents the feature map obtained by upsampling.
  • the model outputs the value of the category confidence score in the c-th category, and Y c is the set of all n l values obtained in the L-th layer.
  • Step 4 Fine-tune the compressed model to restore accuracy. Due to the deletion of some redundant parameters in the model, the classification accuracy of the model on data set D has declined to a certain extent. In order to restore the model accuracy To improve the accuracy, the compressed model needs to undergo a certain round of iterative training. During training, the learning rate is moderately reduced until the model converges, at which time the accuracy of the model can be restored. The model saved at this time is the compressed model.
  • the classification model was trained in a weakly supervised manner by experienced psychiatrists based on patient-level labeling through questionnaires. More specifically, patient-level diagnostics weakly label all slices in a specific 3D model image.
  • the method is a two-stage method trained by the MIL scheme, including a slice-level classifier followed by a patient-level classifier, as shown in Figure 1.
  • MIL is a variation of standard supervised machine learning scenarios.
  • MI learning each example consists of a multi-instance set (bag).
  • Each package has a class label, but the instances themselves are not labeled. This learning is based on a given package of examples to build a model that can accurately predict the classification labels of other datasets.
  • the loss function is the cross-entropy loss and attention loss consist of. This is defined as Cross-entropy loss is used to measure the difference between two probability distributions, defined as in Represents the classification of Si . We use cross-entropy loss to limit close to to optimize our network parameters. Furthermore, attention loss is defined as brain_mask, where FC cam represents the class activation map of the fully connected layer, focusing the network attention on brain tissue.
  • clinical whole-brain MRI scan signals include T1WI and T2WI.
  • the test set is the set of images used to evaluate the trained model, and the dataset is never used during the training process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供了一种精神障碍类磁共振图像初步筛查模型构建方法，包括对多个受试者进行临床全脑MRI扫描，图像处理均在联影工作站；由神经放射科医生检查所有受试者的图像，以排除有明显脑异常或有图像伪影的受试者；将DICOM文件存储格式的数据转换为NIFTI格式，保存在3D模型图像中；用颅骨剥离工具去除骨体素以消除非组织的影响；通过大脑分割包获得代表大脑半球信息的去颅骨的脑模板，以T1WI-nii、T2WI-nii及相应的脑模板作为卷积神经网络模型的输入；卷积神经网络模型移除对图像类别置信分数贡献度低的特征通道及其对应的滤波器，降低模型冗余度，压缩模型的同时保持模型性能；基于问卷在患者级标记，以弱监督的方式训练分类模型，并对训练后的分类模型进行检验。

Description

一种精神障碍类磁共振图像初步筛查模型构建方法 技术领域
本发明涉及图像处理技术领域，特别地涉及一种精神障碍类磁共振图像初步筛查模型构建方法。
背景技术
精神障碍是一种严重残疾的常见病，影响着全世界约10-20％的普通人群，在每年发生的8万起***事件中占绝大部分。然而，精神障碍患者常常被忽视，人力和财政资源分配的负担比例在精神障碍患者中也远低于其他疾病。在全球范围内，精神卫生支出的中位数占政府卫生支出总额的2.4％，而据估计，精神障碍占伤残调整生命年(total disability-adjusted life-years，DALYs)总额的12％，占残疾生活年(years lived with disability，YLDs)总额的35％，表明疾病负担与有效分配支出之间存在严重失衡。虽然填补这一空白是具有挑战性的，但用一种最有效的方法检测早期受精神疾病影响的个体和那些临床风险高的个体，是提供早期干预以改善临床结果和预防长期疾病损害的一个有意义的途径。
磁共振成像是一种先进的医学成像技术，用于描述大脑的解剖和功能改变，这有助于对精神障碍的临床风险、神经生物学过程和认知概况机制的理解。尽管以前大多数研究的病例/对照比较结果提供了信息，但在帮助个体识别处于临床高风险或已受疾病影响的受试者方面价值有限。然而，这些研究表明，精神疾病患者的大脑MRI数据有细微且可测量的变化，以及机器学习(ML)算法在神经成像中的应用，使其能够提取非常微小的信息，以区分精神障碍患者和健康受试者。在过去的深入研究中，精神***症患者与健康对照者分类的准确率在60％到100％之间，重度抑郁症患者分类准确率在50％到100％之间，双相情感障碍分类准确率在57％到100％之间。前期研究结果的存在相当大的异质性，因此目前需要新的方法，更广泛的验证和在特定临床环境中的应用，为未来计算机辅助判断(CAD)精神疾病和其他应用带来希望。
在传统的ML模型中，最常用的是支持向量机(support vector machine,SVM)，但其对缺失数据的稳定性和敏感性较低。相比之下，基于深度学***相当甚至超过其准确率的优势。然而，在以往的工作中，深度学习模型是在小数据集和少数患者中训练的。在每种精神障碍的研究中，样本量大多被限制在数百个，当这些参与者被进一步划分为训练和测试数据集时，当外部验证数据集无法获得时，情况变得更糟。这是导致先前研究结果差异的一个关键因素，导致训练模型的准确性较差，或者精度不错但泛化程度较差。因此，建立大规模数据集的CAD模型，并在不同的情况下使用外部参考标准进行测试，是在模型能够在真实的临床环境中使用之前必不可少的。
至于应用之前训练的ML模型的临床背景，开发一种诊断工具是为了帮助识别受试者是否患有特定的精神疾病(即精神***症vs健康对照)或将受试者区分为两种疾病(即精神***症vs双相情感障碍)。值得注意的是，所使用的图像是在研究目的下获得的，通常需要一个小时或更长时间才能获得。然而，在临床实践中，如果花一小时左右的时间扫描一个怀疑患有精神疾病的对象，然后通过将图像导入ML模型来确认诊断是没有意义的，尽管模型的平均准确率为70％-90％，但这实际上比与有经验的精神病医生面谈要花费更多的金钱和时间。因此，目前的重点应从精确性和特异性的诊断精神障碍转向开发一种常用的筛查工具，以识别临床高风险或疾病早期的受试者，并在脆弱人群中开展早期干预。在这方面，应将不同精神障碍的患者作为一个整体来构建模型。这与先前研究提出的发展跨诊断精神病理学筛查方法的概念相一致，因为精神疾病有共同的遗传、影像学和精神病理学表现，它们更像是一个谱系，而不是单独的实体。
发明内容
针对上述现有技术中的问题，本申请提出了一种精神障碍类磁共振图像初步筛查模型构建方法，包括以下步骤：
步骤S1、对多个受试者进行全脑MRI扫描，扫描数据包括T1WI和T2WI，所有受试者的T1WI和T2WI图像均为DICOM的数据形式，图像处理均在联影 工作站；
步骤S2、由神经放射科医生检查所有受试者的图像，以排除有明显脑异常或有图像伪影的受试者；
步骤S3、将DICOM文件存储格式的数据转换为NIFTI格式，保存在3D模型图像中；
步骤S4、用颅骨剥离工具去除骨体素以消除非组织的影响；
步骤S5、通过大脑分割包获得代表大脑半球信息的去颅骨的脑模板，以T1WI-nii、T2WI-nii及相应的脑模板作为卷积神经网络模型的输入；
步骤S6、基于问卷在患者级标记，以弱监督的方式训练分类模型，移除所述分类模型中对图像类别置信分数贡献度低的特征通道及其对应的滤波器，降低模型冗余度，压缩模型的同时保持模型性能；
步骤S7、继续以弱监督的方式训练分类模型，并对训练后的分类模型进行检验。
优选地，所述分类模型将特征通道作为掩码反作用于输入图像，不同特征通道对正样本图像分类准确度的促进或抑制程度的不同，所述分类模型判别不同特征通道和滤波器的重要性。
优选地，压缩模型包括以下步骤：
步骤S61：选择任务数据集及待压缩模型；
步骤S62：选取正样本图像输入模型，获得各层输出特征图；
步骤S63：根据卷积神经网络模型输出的通道重要性置信分数，预设通道重要性置信分数阈值，移除重要程度低于预设通道重要性置信分数阈值的通道重要性置信分数；
步骤S64：微调压缩后的卷积神经网络模型，使其恢复精度。
优选地，步骤S61包括以下步骤：
步骤S611：给定图像分类数据集D和待压缩的卷积神经网络模型，训练一个卷积神经网络分类模型；
步骤S612：选取合适的超参数和优化器，迭代地训练分类模型，直到分类模型收敛并在图像分类数据集D上获得较高的分类准确率时，保存训练好的分类模型M。
优选地，步骤S62包括以下步骤：
步骤S621：从数据集中选取一张图像为Ic∈D，其类别标签为c，使其满足：c＝argmax(M(Ic))；
步骤S622：将图像Ic输入训练好的模型，针对模型的每一层，获得其输出特征图：
其中Ml(·)表示模型从第一层到第l层的算子,表示模型的第l层的输出特征图，它有nl个通道，空间尺寸为wl×hl；
步骤S623：将获得共L个层的特征图构成集合
优选地，所述分类模型的训练通过MIL方案训练的两阶段方法，包括一个切片级分类器和一个患者级分类器。
优选地，所述切片级分类器将三维模型图像分成一系列切片，每个切片完全包含在单个图像中；每个图像来自数据集S＝{Si:i＝1,2,…,n}，给定一个切片策略，组成数据包数据包包含了所有切片；设置每个受试者的切片数为23，作为使用脑模板的MIL的袋大小(mi)；同时，通过对侧区域比较检测异常的策略，增强对异常脑区的识别，并对是否包含精神病相关异常类别进行分类；使用4个连续的下行块来提取每个切片的特征，其中包括两个卷积层、批处理归一化层、线性整流函数、最大池化层；然后采用全连接层在切片级上利用压缩的特征图生成分类结果。
上述技术特征可以各种适合的方式组合或由等效的技术特征来替代，只要能够达到本发明的目的。
本发明提供的一种精神障碍类磁共振图像初步筛查模型构建方法，与现有技术相比，至少具备有以下有益效果：1)有效利用以往病历大数据，采用深度学***较高，自动化分析并智能检测精神障碍患者，可以极大地降低操作人员工作量。4)有效降低卷积神经网络部署所需的存储和内存空间、硬件算力等资源，扩大了卷积神经网络的应用平台范围。5)压缩后的模型可以直接应用于现有的软件平台和硬件设备中，简单方便，不需要特殊的平台和算法的支持。6)很好地利用了模型自身的特性，可解释性好，无需 引入新的判别参数重要性的假设和标准。
附图说明
在下文中将基于实施例并参考附图来对本发明进行更详细的描述。其中：
图1显示了本发明的MIL方案训练示意图；
图2显示了本发明的模型参数移除操作示意图；
在附图中，相同的部件使用相同的附图标记。附图并未按照实际的比例。
具体实施方式
考虑到现有技术，在当前的研究中，我们采用基于多实例学习(MIL)的方法来训练和测试CAD模型，对大样本回顾性数据，对象为回顾性招募的14915名不同精神障碍患者和4538名健康对照组。另一个数据集有290名精神障碍患者和310名来自另一个独立中心的健康对照组，用于验证诊断性能和测试所建立模型的泛化性。为了进一步检验所建立的CAD模型在现实生活中的效用，在一项前瞻性研究中，我们收集了另外148名被试，他们都是医学院的大学生，据研究发现他们的精神疾病的患病率普遍较高。在这一部分中，每个参与者都获得了大脑MRI扫描、自评量表以及与经验丰富的精神病医生的诊断访谈的数据。
下面将结合附图对本发明作进一步说明。
本发明提供了一种精神障碍类磁共振图像初步筛查模型构建方法，所有受试者均进行临床全脑MRI扫描，由经验丰富的神经放射科医生检查所有参与者的图像，以排除有明显脑异常或有图像伪影的参与者。
所有受试者的全脑MRI扫描图像为DICOM的数据形式，图像处理均在联影工作站。首先，由于DICOM的文件存储格式对机器学习不友好，我们将其转换为NIFTI(.nii)格式，将医疗数据保存在3D模型图像中。然后用颅骨剥离工具去除骨体素以消除非组织的影响。最后，我们通过大脑分割包获得代表大脑半球信息的去颅骨的脑模板，以T1WI-nii、T2WI-nii及相应的脑模板作为模型的输入，基于问卷在患者级标记，以弱监督的方式训练分类模型。
现有的卷积神经网络模型因参数量庞大而对应用的软硬件平台的存储和内存空间、算力等资源要求高，不能被广泛地应用于资源受限的平台。为了有效降低模型的资源消耗量，拓宽卷积神经网络模型的应用范围。本发明根据卷积神经 网络过剩的预设编码空间导致模型参数冗余的原理，利用卷积神经网络提取的特征通道对图像类别置信分数贡献度不同的特点，通过将特征通道作为掩码反作用于输入图像，根据不同特征通道对正样本图像分类准确度的促进或抑制程度的不同，利用模型判别不同特征通道和滤波器的重要性。采取移除对图像类别置信分数贡献度低的特征通道及其对应的滤波器的方式，降低模型冗余度，达到压缩模型的同时尽可能保持模型性能的目的。处理步骤具体分为：
步骤1：选择任务数据集及待压缩模型。给定图像分类数据集D和待压缩的卷积神经网络模型，训练一个卷积神经网络分类模型。选取合适的超参数和优化器，迭代地训练分类模型，直到模型收敛并在图像分类数据集D上获得较高的分类准确率时，保存训练好的分类模型M。
步骤2：选取正样本图像输入模型，获得各层输出特征图。由于训练好的卷积神经网络具有对图像类别特征编码的能力，其对数据集中正样本的特征编码具有更高的准确度，这些编码以特征图的形式存在于分类模型各层的输出中。
设从数据集中选取一张图像为Ic∈D，其类别标签为c，使其满足：
c＝ar gmax(M(Ic))
即分类模型对图像Ic的预测类别就是它的真实类别，我们将这样的图像Ic称为正样本图像。将图像Ic输入训练好的分类模型，针对分类模型的每一层，获得其输出特征图：
其中Ml(·)表示分类模型从第一层到第l层的算子，表示分类模型的第l层的输出特征图，它有nl个通道，空间尺寸为wl×hl。将获得共L个层的特征图构成集合
步骤3：根据分类模型输出的通道重要性置信分数，移除重要程度低的参数。分类模型对图像的特征编码由多个通道组合而成，由于预设的通道数过多导致编码空间过剩，因而造成分类模型参数冗余。然而，特征编码的不同通道由不同功能的滤波器提取图像特征生成，这些通道中编码的不同特征对分类模型输出的图像类别置信分数的贡献度是不同的。本发明利用这一特点移除分类模型中对图像类别置信分数贡献低的部分特征通道及提取这些特征的相应滤波器，通过减小编码空间的方式降低模型冗余。
本发明将不同的特征图通道作为输入图像的掩码，将其覆盖在输入图像上。若一个特征通道对图像类别置信分数的贡献度大，那么其作用在图像上会突出对分类有促进作用的特征，使得模型在该类别的预测置信分数上有较大的值；反之，若一个通道对图像类别置信分数的贡献度小，其作用后的图像则会降低模型对该类别的置信分数。由此确定不同特征通道及其滤波器的重要程度。
给定各层的剪枝率Pl＝[p1,p2,…,pL]，其中pl∈[0,1)表示预设的第l层要移除的通道和滤波器的比例。对于l＝1,2,…,L，逐层迭代地执行如下过程：
(1)获取第l层的特征图以及图像Ic，利用插值算法将特征图上采样至其空间维度和Ic相同：
其中Upsample(·)表示插值上采样算子，表示上采样得到的特征图。
(2)将特征图按通道维度展开成一个集合并将集合Al的每个元素作为图像掩码与图像Ic逐元素相乘,得到由第L层的特征图覆盖后的图像集合Sl:
其中⊙表示矩阵逐元素相乘。
(3)将Sl中的所有元素分批次输入到模型M中，得到它们对应的类别置信分数在第c类的值：
其中为输入模型后，模型输出的类别置信分数在第c类的值，Yc是第L层得到的所有nl个值的集合。
(4)获取第L层的剪枝率pl，将Yc中的元素按从小到大的顺序排序，选择其中的前Nl＝nlpl个元素对应的下标索引序列。在模型f中，删除第L层中这些索引对应的的滤波器、第L+1层中这些索引对应的滤波器通道。本发明实施例中的模型参数移除操作如图2所示，其中矩形表示不同的特征通道，每行并列的菱形表示多个通道的滤波器，用“叉”号标记的是被模型判别为低重要程度的通道和滤波器，它们将被移除出模型。
步骤4：微调压缩后的模型，使其恢复精度。由于删除了模型中部分冗余的参数，导致模型在数据集D上的分类准确度有一定程度的下降。为了恢复模型准 确度，需要将压缩后的模型再进行一定轮次的迭代训练，训练时适度降低学习率，直到模型收敛，此时模型的准确率得以恢复。保存此时的模型，即为被压缩的模型。
为了充分利用现有的数据，由经验丰富的精神病医生基于问卷在患者级标记，以弱监督的方式训练分类模型。更具体地说，患者级诊断对特定3D模型图像中的所有切片进行弱标记。该方法是一种通过MIL方案训练的两阶段方法，包括一个切片级分类器，然后是一个患者级分类器，如图1所示。
MIL是标准监督机器学习场景的变体。在MI学习中，每个例子由一个多实例集(包)组成。每个包都有一个类标签，但是实例本身没有标记。这个学习是基于给定的示例包建立一个模型，可以准确预测其他数据集的分类标签。
将三维模型图像分成一系列切片(224×320像素)，每个切片完全包含在单个图像中。每个图像来自我们的数据集S＝{si:i＝1,2,…,n}可以看作是由实例集合组成的一个包。给定一个切片策略，我们也组成数据包 这个数据包是包含了所有切片。在这项工作中，我们设置每个受试者的切片数为23，作为使用脑模板的MIL的袋大小(mi)，它是由所有受试者在训练集中的最大厚度推导出来的。同时，通过对侧区域比较检测异常的策略，增强了对异常脑区的识别，并对是否包含精神病相关异常类别进行分类。在这一部分中，我们使用4个连续的下行块来提取每个切片的特征，其中包括两个卷积层，批处理归一化层和线性整流函数，然后是最大池化层。然后采用全连接层在切片级上利用压缩的特征图生成(正/负)分类结果。
根据MIL假设，我们知道，如果受试者是患者，那么在一个数据袋里至少有一片切片被认为是阳性。相反，如果受试者是正常被试，它所有切片也必须是阴性的。给定一个数据袋中的被试图像Si，mi层数尽可能的根据它们的正概率进行详尽的分类和排名。如果一个袋子是阳性的，排名靠前的切片的概率应该超过0.5。同样，如果它是负的，上面的值应该低于0.5。我们认为是Si的可能性，所以可能性为：
从上一个模块中，我们获得了袋子中每一片的特征图和类。然后，我们根据上述规则使用分类器对包内的个体进行诊断。
在本工作中，损失函数是由交叉熵损失和注意损失组成的。这被定义为交叉熵损失用来测量两种概率分布的不同，定义为其中代表是Si的分类。我们利用交叉熵损失去限制接近于来优化我们的网络参数。此外，注意力损失被定义为brain_mask，其中FCcam表示全连接层的类激活映射，将网络注意力集中在脑组织上。
由于我们的数据集1中的P/N类的比例远离1，且有多种设备类型，我们采用了一种策略来平衡这个问题，以减少无用信息的影响。首先，我们计算所有装备中每种类别的最小数量N＝Min{n(k,c)|k＝1,2,3,4,5；c＝0,1}，其中k为设备类型，c为受试者的标签。然后，我们以N为标准，在训练处理过程中对每种设备的每个时间点的每个标签上的数据进行采样。换句话说，通过上述操作，我们在不平衡的数据集1中，实现了标签(P/N)和设备类型的平衡。
在测试时，每个受试者的测试数据集(包括数据集1和数据集2)的所有切片都被输入到训练好的网络中。取一个阈值(我们选择0.5)，如果至少有一个切片是正的，则认为整个图像是正的。如果所有的切片都是负的，那么图像就是负的。
在一个实施例中，临床全脑MRI扫描信号，包括T1WI和T2WI。
在一个实施例中，在所有数据都是层厚大于6mm的情况下，切片之间的相关性几乎是不可见的。相对于对GPU内存要求较高的3D patch和x、y、z不同倍数的下采样，2D slice对内存的要求更低，每次迭代都可以将整个slice送入网络，使得每个slice的全局信息能够被合理的消耗。因此，我们在医学图像领域中选择基于切片而不是普通的3D patch来训练我们的模型，获取精神障碍的特征。
在一个实施例中，此外，我们将数据集1按照标签和厂商的比例，以8:2的比例打乱顺序并分为训练集和测试集，以保持训练集和测试集的分布一致。测试集是用于评估训练模型的图像集，数据集在训练过程中从未使用过。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是， 结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (7)

  1. 一种精神障碍类磁共振图像初步筛查模型构建方法，其特征在于，包括以下步骤：
    步骤S1、对多个受试者进行全脑MRI扫描，扫描数据包括T1WI和T2WI，受试者的T1WI和T2WI图像为DICOM的数据形式，图像处理均在联影工作站；
    步骤S2、检查受试者的图像，以排除有明显脑异常或有图像伪影的受试者；
    步骤S3、将DICOM文件存储格式的数据转换为NIFTI格式，保存在3D模型图像中；
    步骤S4、用颅骨剥离工具去除骨体素以消除非组织的影响；
    步骤S5、通过大脑分割包获得代表大脑半球信息的去颅骨的脑模板，以T1WI-nii、T2WI-nii及相应的脑模板作为卷积神经网络模型的输入；
    步骤S6、基于问卷在患者级标记，以弱监督的方式训练分类模型，移除所述分类模型中对图像类别置信分数贡献度低的特征通道及其对应的滤波器，降低模型冗余度，压缩模型的同时保持模型性能；
    步骤S7、继续以弱监督的方式训练分类模型，并对训练后的分类模型进行检验。
  2. 根据权利要求1所述的精神障碍类磁共振图像初步筛查模型构建方法，其特征在于，所述分类模型将特征通道作为掩码反作用于输入图像，不同特征通道对正样本图像分类准确度的促进或抑制程度不同，所述分类模型判别不同特征通道和滤波器的重要性。
  3. 根据权利要求1所述的精神障碍类磁共振图像初步筛查模型构建方法，其特征在于，压缩模型包括以下步骤：
    步骤S61：选择任务数据集及待压缩模型；
    步骤S62：选取正样本图像输入模型，获得各层输出特征图；
    步骤S63：根据分类模型输出的通道重要性置信分数，预设通道重要性置信分数阈值，移除重要程度低于预设通道重要性置信分数阈值的通道重要性置信分数；
    步骤S64：微调压缩后的分类模型，使其恢复精度。
  4. 根据权利要求3所述的精神障碍类磁共振图像初步筛查模型构建方法， 其特征在于，步骤S61包括以下步骤：
    步骤S611：给定图像分类数据集D和待压缩的卷积神经网络模型，训练一个卷积神经网络分类模型；
    步骤S612：选取合适的超参数和优化器，迭代地训练模型，直到模型收敛并在图像分类数据集D上获得较高的分类准确率时，保存训练好的模型M。
  5. 根据权利要求3所述的精神障碍类磁共振图像初步筛查模型构建方法，其特征在于，步骤S62包括以下步骤：
    步骤S621：从数据集中选取一张图像为Ic∈D，其类别标签为c，使其满足：c＝argmax(M(Ic))；
    步骤S622：将图像Ic输入训练好的模型，针对模型的每一层，获得其输出特征图：
    其中Ml(·)表示模型从第一层到第l层的算子,表示模型的第l层的输出特征图，它有nl个通道，空间尺寸为wl×hl；
    步骤S623：获得共L个层的特征图构成集合
  6. 根据权利要求1所述的精神障碍类磁共振图像初步筛查模型构建方法，其特征在于，所述分类模型的训练通过MIL方案训练的两阶段方法，包括一个切片级分类器和一个患者级分类器。
  7. 根据权利要求6所述的精神障碍类磁共振图像初步筛查模型构建方法，其特征在于，所述切片级分类器将三维模型图像分成一系列切片，每个切片完全包含在单个图像中；每个图像来自数据集S＝{si:i＝1,2,…,n}，给定一个切片策略，组成数据包数据包包含了所有切片；设置每个受试者的切片数为23，作为使用脑模板的MIL的袋大小(mi)；同时，通过对侧区域比较检测异常的策略，增强对异常脑区的识别，并对是否包含精神病相关异常类别进行分类；使用4个连续的下行块来提取每个切片的特征，其中包括两个卷积层、批处理归一化层、线性整流函数、最大池化层；然后采用全连接层在切片级上利用压缩的特征图生成分类结果。
PCT/CN2023/093581 2022-04-13 2023-05-11 一种精神障碍类磁共振图像初步筛查模型构建方法 WO2023198224A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210389137.5 2022-04-13
CN202210389137.5A CN114926396B (zh) 2022-04-13 2022-04-13 一种精神障碍类磁共振图像初步筛查模型构建方法

Publications (1)

Publication Number Publication Date
WO2023198224A1 true WO2023198224A1 (zh) 2023-10-19

Family

ID=82807121

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/093581 WO2023198224A1 (zh) 2022-04-13 2023-05-11 一种精神障碍类磁共振图像初步筛查模型构建方法

Country Status (2)

Country Link
CN (1) CN114926396B (zh)
WO (1) WO2023198224A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117894057A (zh) * 2024-03-11 2024-04-16 浙江大学滨江研究院 用于情感障碍辅助诊断的三维数字人脸处理方法与装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926396B (zh) * 2022-04-13 2023-06-20 四川大学华西医院 一种精神障碍类磁共振图像初步筛查模型构建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190223779A1 (en) * 2016-04-21 2019-07-25 Jochen Mersmann Method and system for estimating a location of an epileptogenic zone of a mammalian brain
CN110147834A (zh) * 2019-05-10 2019-08-20 上海理工大学 基于稀疏化双线性卷积神经网络的细粒度图像分类方法
CN112529042A (zh) * 2020-11-18 2021-03-19 南京航空航天大学 一种基于双重注意力多示例深度学习的医学图像分类方法
CN112674720A (zh) * 2020-12-24 2021-04-20 四川大学 基于3d卷积神经网络的阿尔茨海默症的预诊断方法
CN114926396A (zh) * 2022-04-13 2022-08-19 四川大学华西医院 一种精神障碍类磁共振图像初步筛查模型构建方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11167154B2 (en) * 2012-08-22 2021-11-09 Medtronic, Inc. Ultrasound diagnostic and therapy management system and associated method
US10853449B1 (en) * 2016-01-05 2020-12-01 Deepradiology, Inc. Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis
CN108288270B (zh) * 2018-02-05 2022-06-03 南京邮电大学 一种基于通道修剪与全卷积深度学习的目标检测方法
CN108922599A (zh) * 2018-06-27 2018-11-30 西南交通大学 一种基于mil的医学图像病灶点精确标注方法
WO2020006495A1 (en) * 2018-06-29 2020-01-02 Ai Technologies Inc. Deep learning-based diagnosis and referral of diseases and disorders using natural language processing
CN115568824A (zh) * 2018-10-23 2023-01-06 布莱克索恩治疗公司 用于对患者进行筛查、诊断和分层的***和方法
CN109359403B (zh) * 2018-10-29 2023-04-18 上海市同济医院 一种基于面孔表情识别磁共振成像的精神***症早期诊断模型及其应用
CN111047594B (zh) * 2019-11-06 2023-04-07 安徽医科大学 肿瘤mri弱监督学习分析建模方法及其模型
CN110992351B (zh) * 2019-12-12 2022-08-16 南京邮电大学 基于多输入卷积神经网络的sMRI图像分类方法和装置
CN116097302A (zh) * 2020-09-02 2023-05-09 基因泰克公司 用于病灶检测的利用联合训练的连接式机器学习模型

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190223779A1 (en) * 2016-04-21 2019-07-25 Jochen Mersmann Method and system for estimating a location of an epileptogenic zone of a mammalian brain
CN110147834A (zh) * 2019-05-10 2019-08-20 上海理工大学 基于稀疏化双线性卷积神经网络的细粒度图像分类方法
CN112529042A (zh) * 2020-11-18 2021-03-19 南京航空航天大学 一种基于双重注意力多示例深度学习的医学图像分类方法
CN112674720A (zh) * 2020-12-24 2021-04-20 四川大学 基于3d卷积神经网络的阿尔茨海默症的预诊断方法
CN114926396A (zh) * 2022-04-13 2022-08-19 四川大学华西医院 一种精神障碍类磁共振图像初步筛查模型构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Master's Thesis", 30 June 2018, SHENZHEN UNIVERSITY, CN, article ZHANG, JIANING: "The Study of Classification Method of Conduct Disorder based on Structural Magnetic Resonance (sMRI) and Machine Learning", pages: 1 - 61, XP009549798 *
ZHANG WENJING, YANG CHENGMIN, CAO ZEHONG, LI ZHE, ZHUO LIHUA, TAN YOUGUO, HE YICHU, YAO LI, ZHOU QING, GONG QIYONG, SWEENEY JOHN A: "Detecting individuals with severe mental illness using artificial intelligence applied to magnetic resonance imaging", EBIOMEDICINE, ELSEVIER BV, NL, vol. 90, 28 March 2023 (2023-03-28), NL , pages 104541, XP093099252, ISSN: 2352-3964, DOI: 10.1016/j.ebiom.2023.104541 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117894057A (zh) * 2024-03-11 2024-04-16 浙江大学滨江研究院 用于情感障碍辅助诊断的三维数字人脸处理方法与装置
CN117894057B (zh) * 2024-03-11 2024-06-04 浙江大学滨江研究院 用于情感障碍辅助诊断的三维数字人脸处理方法与装置

Also Published As

Publication number Publication date
CN114926396A (zh) 2022-08-19
CN114926396B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN109447183B (zh) 预测模型训练方法、装置、设备以及介质
WO2023198224A1 (zh) 一种精神障碍类磁共振图像初步筛查模型构建方法
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
Yagis et al. Generalization performance of deep learning models in neurodegenerative disease classification
CN106780475A (zh) 一种基于病理组织切片图像组织区域的图像处理方法及装置
CN104424386A (zh) 基于多参数磁共振影像的***癌计算机辅助识别***
Rezaeijo et al. Screening of COVID-19 based on the extracted radiomics features from chest CT images
CN113077875B (zh) Ct影像的处理方法及装置
Vij et al. A novel deep transfer learning based computerized diagnostic Systems for Multi-class imbalanced diabetic retinopathy severity classification
CN113796877A (zh) 脑卒中预测值获取方法、装置及存储介质
CN116864121A (zh) 健康风险筛查***
Elayaraja et al. An efficient approach for detection and classification of cancer regions in cervical images using optimization based CNN classification approach
Nizarudeen et al. Multi-Layer ResNet-DenseNet architecture in consort with the XgBoost classifier for intracranial hemorrhage (ICH) subtype detection and classification
EP3948887B1 (en) Automated system for rapid detection and indexing of critical regions in non-contrast head ct
CN109711467B (zh) 数据处理装置及方法、计算机***
Varghese et al. Discrimination between Alzheimer’s disease, mild cognitive impairment and normal aging using ANN based MR brain image segmentation
CN113221952A (zh) 多中心大脑弥散张量成像图分类方法及***
Li et al. Shrink: A breast cancer risk assessment model based on medical social network
Baiju et al. Glaucoma and diabetic retinopathy diagnosis using image mining
Gopinath et al. A Physician Assisting COVID-19 Diagnosis System to Categorize Positive Cases using Radiology Images
Dakdareh et al. Diagnosis of Alzheimer’s Disease and Mild Cognitive Impairment Using Convolutional Neural Networks
CN112766333B (zh) 医学影像处理模型训练方法、医学影像处理方法及装置
Tripura et al. A BrainNet (BrN) based new approach to classify brain stroke from CT scan images
AU2021102832A4 (en) System & method for automatic health prediction using fuzzy based machine learning
Polson et al. Deep Learning Approaches to Identify Patients within the Thrombolytic Treatment Window

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23787866

Country of ref document: EP

Kind code of ref document: A1