CN114171197B - 一种乳腺癌her2状态的预测方法及相关设备 - Google Patents
一种乳腺癌her2状态的预测方法及相关设备 Download PDFInfo
- Publication number
- CN114171197B CN114171197B CN202111338891.8A CN202111338891A CN114171197B CN 114171197 B CN114171197 B CN 114171197B CN 202111338891 A CN202111338891 A CN 202111338891A CN 114171197 B CN114171197 B CN 114171197B
- Authority
- CN
- China
- Prior art keywords
- her2
- expression probability
- image
- classification model
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了一种乳腺癌HER2状态的预测方法及相关设备,所述方法包括将待预测的乳腺MR图像分别输入第一分类模型和第二分类模型,控制所述第一分类模型以及第二分类模型确定所述乳腺MR图像对应的HER2类别为HER2高表达类别、HER2低表达类别或HER2零表达类别。本申请采用第一分类模型与第二分类模型分别以不同方面对携带有乳腺病变特征的乳腺MR图像进行学习,从而将不同方面挖掘到的病灶信息进行关联,通过关联的病灶信息确定HER2类别为HER2高表达类别、HER2低表达类别或HER2零表达类别,进而提高了鉴别HER2类别为HER2高表达类别、HER2低表达类别或HER2零表达类别的准确性。
Description
技术领域
本申请涉及生物医学工程技术领域,特别涉及一种乳腺癌HER2状态的预测方法及相关设备。
背景技术
乳腺癌(Breast Cancer,BC)是一种异质性疾病,现已超过肺癌而成为了全球第一大癌症,同时乳腺癌也是女性癌症死亡的主要原因。人表皮生长因子受体2(HumanEpidermal Growth Factor Receptor 2,HER2)是一种编码酪氨酸激酶活性表皮生长因子受体的原癌基因,是乳腺肿瘤靶向治疗的唯一预测标志物,HER2状态在乳腺癌治疗方案选择和预后评估中发挥着至关重要的作用,根据ASCO/CAP指南定义,BC分为HER2高表达与HER2阴性,通过标准化的中心病理确定,HER2阴性又可以划分成HER2低表达和HER2零表达。HER2高表达BC患者可能受益于抗HER2治疗,而两种HER2导向的抗体药物偶联物(antibody–drug conjugates,ADC)与化疗药物,即曲妥珠单抗德鲁替康(T-DXd)和曲妥珠单抗多卡嗪(SYD985),在HER2低表达BC患者中显示了非常有前景的治疗活性。因此,客观准确地鉴别HER2高表达、HER2低表达与HER2零表达的不同患者,对BC患者的治疗及预后都具有重要意义。
目前,临床上通常采用病理评估HER2表达。根据2019版中国乳腺癌HER2检测指南表明,患者进行HER2病理评估时,推荐采用免疫组织化学法(Immunohistochemistry,IHC)检测HER2蛋白的表达水平,IHC首先需要进行有创的检查,再由医生凭借经验评估***细胞染色程度,最后得出HER2的评估结果。但是有创检查不能多次进行,无法动态观察HER2水平变化,且评估结果主观性强,无法得到定量客观的评估结果。因此,寻找一种无创的方法来实现HER2状态评估是临床亟待解决的难题。
为此,现有技术使用传统影像组学来评估HER2状态,无法充分挖掘到数据之间的内在联系,无法准确预测对HER2状态,从而出现预测错误的问题。
因而现有技术还有待改进和提高。
发明内容
为了解决上述技术问题,本申请实施例第一方面提供了一种乳腺癌HER2状态的预测方法,所述方法包括:
将待预测的乳腺MR图像分别输入第一分类模型和第二分类模型;
控制所述第一分类模型以及所述第二分类模型确定所述乳腺MR图像对应的HER2类别,其中,所述HER2类别包括HER2高表达、HER2低表达或HER2零表达。
所述乳腺癌HER2状态的预测方法,其中,所述控制所述第一分类模型以及所述第二分类模型确定所述乳腺MR图像对应的HER2类别具体包括:
控制所述第一分类模型确定所述乳腺MR图像对应的HER2高表达概率以及HER2阴性表达概率;
控制所述第二分类模型确定所述乳腺MR图像对应的预测HER2低表达概率以及预测HER2零表达概率;
基于所述HER2高表达概率、HER2阴性表达概率、预测HER2低表达概率以及预测HER2零表达概率,确定所述乳腺MR图像对应的HER2类别。
所述乳腺癌HER2状态的预测方法,其中,所述基于所述HER2阴性表达概率、预测HER2低表达概率以及预测HER2零表达概率,确定所述乳腺MR图像对应的HER2类别具体包括:
分别计算所述HER2阴性表达概率与所述预测HER2低表达概率以及HER2阴性表达概率与预测HER2零表达概率的乘积,以得到HER2低表达概率以及HER2零表达概率;
基于所述HER2高表达概率、HER2低表达概率以及HER2零表达概率,确定所述乳腺MR图像对应的HER2类别。
所述乳腺癌HER2状态的预测方法,其中,所述第一分类模型包括影像组学模块、语义分割模块以及预测模块;所述控制所述第一分类模型确定所述乳腺MR图像对应的HER2高表达概率以及HER2阴性表达概率具体包括:
控制所述第影像组学模块确定所述乳腺MR图像对应的影像组学特征,并基于所述影像组学特征确定所述乳腺MR图像对应的第一HER2高表达概率以及第一HER2阴性表达概率;
控制所述语义分割模块确定所述乳腺MR图像对应的第二HER2高表达概率以及第二HER2阴性表达概率;
控制所述预测模块基于所述第一HER2高表达概率、第一HER2阴性表达概率、第二HER2高表达概率以及第二HER2阴性表达概率,确定所述乳腺MR图像对应的HER2高表达概率以及HER2阴性表达概率。
所述乳腺癌HER2状态的预测方法,其中,所述影像组学模块包括病灶勾画单元、影像组学特征提取单元、第一特征筛选单元以及第一预测单元;所述控制所述第影像组学模块确定所述乳腺MR图像对应的影像组学特征,并基于所述影像组学特征确定所述乳腺MR图像对应的第一HER2高表达概率以及第一HER2阴性表达概率具体包括:
控制所述病灶勾画单元提取所述乳腺MR图像中的感兴趣区域;
控制所述影像组学特征提取单元对于所述感兴趣区域进行影像学特征提取,以得到候选影像组学特征;
控制所述第一特征筛选单元对所述候选影像组学特征进行特征筛选,以得到影像组学特征;
控制所述第一预测单元基于所述影像组学特征确定乳腺MR图像对应的第一HER2高表达概率以及第一HER2阴性表达概率。
所述乳腺癌HER2状态的预测方法,其中,所述语义分割模块包括特征提取单元、第二特征筛选单元以及第二预测单元;所述控制所述语义分割模块确定所述乳腺MR图像对应的第二HER2高表达概率以及第二HER2阴性表达概率具体包括:
控制所述特征提取单元确定所述乳腺MR图像对应的候选语义特征;
控制所述第二特征筛选单元对所述候选语义特征进行筛选,以得到所述乳腺MR图像对应的语义特征;
控制所述第二预测单元基于所述语义特征,确定所述乳腺MR图像对应的第二HER2高表达概率以及第二HER2阴性表达概率。
所述乳腺癌HER2状态的预测方法,其中,所述控制所述特征提取单元确定所述乳腺MR图像对应的候选语义特征具体包括:
控制所述特征提取单元基于所述乳腺MR图像确定若干切片特征图,其中,若干切片特征图与所述乳腺MR图像包括的若干切片图像一一对应;
基于聚类方式将所述若干切片特征图划分为两个特征簇,并去除两个特征簇中携带切片特征图少的特征簇,以得到若干目标切片特征;
将所述若干目标切片特征融合,以得到所述乳腺MR图像对应的候选语义特征。
所述乳腺癌HER2状态的预测方法,其中,所述第二分类模型的模型结构与所述第一分类模型的模型结构相同,所述第二分类模型与第一分类模型的区别为所述第一分类模型中的第一特征筛选单元采用Lasso回归以及卡方检验对候选影像组学特征进行筛选,所述第一分类模型中的第二特征筛选单元采用Lasso回归以及互信息对候选语义特征进行筛选;所述第二分类模型中的第一特征筛选单元采用Lasso回归以及互信息对候选影像组学特征进行筛选,所述第二分类模型中的第二特征筛选单元采用Lasso回归以及卡方检验对候选语义特征进行筛选。
本申请实施例第二方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上任一所述的乳腺癌HER2状态的预测方法中的步骤。
本申请实施例第三方面提供了一种终端设备,其包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如上任一所述的乳腺癌HER2状态的预测方法中的步骤。
有益效果:与现有技术相比,本申请提供了一种乳腺癌HER2状态的预测方法及相关设备,所述方法将待预测的乳腺MR图像分别输入第一分类模型和第二分类模型,控制所述第一分类模型以及第二分类模型确定所述乳腺MR图像对应的HER2类别为HER2高表达类别、HER2低表达类别或HER2零表达类别。本申请采用第一分类模型与第二分类模型分别以不同方面对携带有乳腺病变特征的乳腺MR图像进行学习,从而将不同方面挖掘到的病灶信息进行关联,通过关联的病灶信息确定HER2类别为HER2高表达类别、HER2低表达类别或HER2零表达类别,进而提高了鉴别HER2类别为HER2高表达类别、HER2低表达类别或HER2零表达类别的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员而言,在不符创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的乳腺癌HER2状态的预测方法的流程图。
图2为本申请提供的乳腺癌HER2状态的预测方法中HER2类别示意图。
图3为本申请提供的乳腺癌HER2状态的预测方法中第一分类模型的模型结构图。
图4为本申请提供的乳腺癌HER2状态的预测方法中语义分割模型的模型结构示意图。
图5是本申请提供的乳腺癌HER2状态的预测方法中聚类算法的流程图。
图6为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种乳腺癌HER2状态的预测方法及相关设备,为使本申请的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本申请进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
应理解,本实施例中各步骤的序号和大小并不意味着执行顺序的先后,各过程的执行顺序以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现,乳腺癌(Breast Cancer,BC)是一种异质性疾病,现已超过肺癌而成为了全球第一大癌症,同时乳腺癌也是女性癌症死亡的主要原因。人表皮生长因子受体2(Human Epidermal Growth Factor Receptor 2,HER2)是一种编码酪氨酸激酶活性表皮生长因子受体的原癌基因,是乳腺肿瘤靶向治疗的唯一预测标志物,HER2状态在乳腺癌治疗方案选择和预后评估中发挥着至关重要的作用,根据ASCO/CAP指南定义,BC分为HER2高表达与HER2阴性,通过标准化的中心病理确定,HER2阴性又可以划分成HER2低表达和HER2零表达。HER2高表达BC患者可能受益于抗HER2治疗,而两种HER2导向的抗体药物偶联物(antibody–drug conjugates,ADC)与化疗药物,即曲妥珠单抗德鲁替康(T-DXd)和曲妥珠单抗多卡嗪(SYD985),在HER2低表达BC患者中显示了非常有前景的治疗活性。因此,客观准确地鉴别HER2高表达、HER2低表达与HER2零表达的不同患者,对BC患者的治疗及预后都具有重要意义。
目前,临床上通常采用病理评估HER2表达。根据2019版中国乳腺癌HER2检测指南表明,患者进行HER2病理评估时,推荐采用免疫组织化学法(Immunohistochemistry,IHC)检测HER2蛋白的表达水平,IHC首先需要进行有创的检查,再由医生凭借经验评估***细胞染色程度,最后得出HER2的评估结果。但是有创检查不能多次进行,无法动态观察HER2水平变化,且评估结果主观性强,无法得到定量客观的评估结果。因此,寻找一种无创的方法来实现HER2状态评估是临床亟待解决的难题。
为此,现有技术使用传统影像组学来评估HER2状态,但是传统影像组学需要人工设计特征,这样不足以充分挖掘到数据之间的内在联系,无法准确地实现对HER2状态的评估,从而容易造成误诊。
为了解决上述问题,在本申请实施例中,将待预测的乳腺MR图像分别输入第一分类模型和第二分类模型,控制所述第一分类模型以及第二分类模型确定所述乳腺MR图像对应的HER2类别为HER2高表达类别、HER2低表达类别或HER2零表达类别。本申请采用第一分类模型与第二分类模型分别以不同方面对携带有乳腺病变特征的乳腺MR图像进行学习,从而将不同方面挖掘到的病灶信息进行关联,通过关联的病灶信息确定HER2类别为HER2高表达类别、HER2低表达类别或HER2零表达类别,进而提高了鉴别HER2类别为HER2高表达类别、HER2低表达类别或HER2零表达类别的准确性。
下面结合附图,通过对实施例的描述,对申请内容作进一步说明。
本实施例提供了一种乳腺癌HER2状态的预测方法,如图1所示,所述方法包括:
S10、将待预测的乳腺MR图像分别输入第一分类模型和第二分类模型。
具体地,所述待预测的乳腺MR(Magnetic Resonance)图像是通过MR图像采集设备预先采集到的乳腺癌患者的乳腺MR图像,该乳腺MR图像携带有乳腺癌区域。所述第一分类模型和所述第二分类模型均为预先设置的,所述第一分类模型和所述第二分类模型并行,并且第一分类模型和第二分类模型的输入项均为乳腺MR图像,第一分类模型用于预测乳腺MR图像中乳腺肿瘤区域的HER2状态的高表达概率和阴性表达概率,第二分类模型用于预测乳腺MR图像中乳腺肿瘤区域的HER2状态的预测HER2低表达概率和预测HER2零表达概率。
S20、控制所述第一分类模型以及所述第二分类模型确定所述乳腺MR图像对应的HER2类别。
具体地,HER2为人表皮生长因子受体2(Human Epidermal Growth FactorReceptor 2,HER2)是一种编码酪氨酸激酶活性表皮生长因子受体的原癌基因,位于17号染色体q21处,是HER2靶向治疗的唯一预测标志物。所述HER2类别包括HER2高表达、HER2低表达或HER2零表达,其中,HER2高表达、HER2低表达和HER2零表达分别表示HER2所处的不同状态,通过预测得到的HER2类别可以确定乳腺肿瘤区域的HER2状态,以便于医生基于预测的HER2类别选择治疗方式。其中,免疫组化(immunohistochemistry,IHC)可将IHC0-1+,IHC2+,IHC3+。IHC3+或IHC2+且ISH(in situ hybridization,原位杂交)+判读为高表达,将IHC1+或IHC2+且ISH-判读为HER2低表达,将IHC0判读为HER2零表达。
在本实施例的一个实现方式中,所述控制所述第一分类模型以及所述第二分类模型确定所述乳腺MR图像对应的HER2类别具体包括:
S21、控制所述第一分类模型确定所述乳腺MR图像对应的HER2高表达概率以及HER2阴性表达概率;
S22、控制所述第二分类模型确定所述乳腺MR图像对应的预测HER2低表达概率以及预测HER2零表达概率;
S23、基于所述HER2高表达概率、HER2阴性表达概率、预测HER2低表达概率以及预测HER2零表达概率,确定所述乳腺MR图像对应的HER2类别。
具体地,所述第一分类模型用于基于所述乳腺MR图像中的乳腺肿瘤区域的HER2高表达概率以及HER2阴性表达概率,其中,所述HER2高表达概率以及HER2阴性表达概率的和等于1。所述第二分类模型用于基于所述乳腺MR图像对应的预测HER2低表达概率以及预测HER2零表达概率,其中,预测HER2低表达概率以及预测HER2零表达概率的和等于1。此外,如图2所示,所述HER2低表达和HER2零表达仅会在HER2状态处于阴性状态时下才会出现,而在在HER2状态处于高表达时并不会出现,从而HER2类别包括HER2高表达、HER2低表达和HER2零表达。由此,乳腺MR图像的HER2低表达的概率基于预测HER2低表达概率和HER2阴性表达概率确定得到的,HER2零表达的概率基于预测HER2零表达概率和HER2阴性表达概率确定得到的。
基于此,在本实施例的一个实现方式中,所述基于所述HER2阴性表达概率、预测HER2低表达概率以及预测HER2零表达概率,确定所述乳腺MR图像对应的HER2类别具体包括:
分别计算所述HER2阴性表达概率与所述预测HER2低表达概率以及HER2阴性表达概率与预测HER2零表达概率的乘积,以得到HER2低表达概率以及HER2零表达概率;
基于所述HER2高表达概率、HER2低表达概率以及HER2零表达概率,确定所述乳腺MR图像对应的HER2类别。
具体地,所述HER2低表达概率可以是HER2阴性表达概率与预测HER2低表达概率的乘积,所述HER2零表达概率可以是HER2阴性表达概率与预测HER2零表达概率的乘积,这样可以保证HER2高表达概率、HER2低表达概率以及HER2零表达概率的和等于1。此外,在确定HER2高表达概率、HER2低表达概率以及HER2零表达概率后,可以将HER2高表达概率、HER2低表达概率以及HER2零表达概率中的最大概率值对应的HER2类别作为所述乳腺MR图像对应的HER2类别,或者是,将HER2高表达概率、HER2低表达概率以及HER2零表达概率与预设阈值进行比较,并将大于预设阈值的概率对应的HER2类别作为乳腺MR图像对应的HER2类别等。
在本实施例的一个实现方式中,如图3所示,所述第一分类模型包括影像组学模块、语义分割模块以及预测模块,所述控制所述第一分类模型确定所述乳腺MR图像对应的HER2高表达概率以及HER2阴性表达概率具体包括:
控制所述第影像组学模块确定所述乳腺MR图像对应的影像组学特征,并基于所述影像组学特征确定所述乳腺MR图像对应的第一HER2高表达概率以及第一HER2阴性表达概率;
控制所述语义分割模块确定所述乳腺MR图像对应的第二HER2高表达概率以及第二HER2阴性表达概率;
控制所述预测模块基于所述第一HER2高表达概率、第一HER2阴性表达概率、第二HER2高表达概率以及第二HER2阴性表达概率,确定所述乳腺MR图像对应的HER2高表达概率以及HER2阴性表达概率。
具体地,所述影像组学特征用于获取乳腺MR图像的影像组学特征,并基于获取到的影响组学特征预测乳腺MR图像对应的第一HER2高表达概率以及第一HER2阴性表达概率,所述语义特征模块用于获取乳腺MR图像的语义特征,并基于获取到的语义图像确定所述乳腺MR图像对应的第二HER2高表达概率以及第二HER2阴性表达概率。所述预测模块用于融合第一HER2高表达概率、第一HER2阴性表达概率、第二HER2高表达概率以及第二HER2阴性表达概率以得到HER2高表达概率以及HER2阴性表达概率。可以理解的是,HER2高表达概率以及HER2阴性表达概率为基于影像组学特征和语义特征确定,也就是说,第一分类模型学***均值作为HER2高表达概率,将第二HER2高表达概率以及第二HER2阴性表达概率的平均值作为HER2阴性表达概率。当然,在实际应用中,所述预测模块也可以将第一HER2高表达概率和第二HER2高表达概率加权值作为HER2高表达概率,将第二HER2高表达概率以及第二HER2阴性表达概率加权值作为HER2阴性表达概率等。
在本实施例的一个实现方式中,所述影像组学模块包括病灶勾画单元、影像组学特征提取单元、第一特征筛选单元以及第一预测单元;所述控制所述第影像组学模块确定所述乳腺MR图像对应的影像组学特征,并基于所述影像组学特征确定所述乳腺MR图像对应的第一HER2高表达概率以及第一HER2阴性表达概率具体包括:
控制所述病灶勾画单元提取所述乳腺MR图像中的感兴趣区域;
控制所述影像组学特征提取单元对于所述感兴趣区域进行影像学特征提取,以得到候选影像组学特征;
控制所述第一特征筛选单元对所述候选影像组学特征进行特征筛选,以得到影像组学特征;
控制所述第一预测单元基于所述影像组学特征确定乳腺MR图像对应的第一HER2高表达概率以及第一HER2阴性表达概率。
具体地,所述病灶勾画单元用于提取乳腺MR图像中感兴趣区域,其中,所述感兴趣区域包括图像肿瘤区域。这是由于乳腺MR图像是对整个乳腺进行扫描所得到的,而病灶区域在乳腺MR图像中仅占一小部分区域,为了减少MR图像的冗余信息,在获取到乳腺MR图像后,需要对乳腺MR图像进行预处理,以提取乳腺MR图像中的乳腺的病灶区域,以去除乳腺MR图像中的冗余信息,从而可以提高后续第一HER2高表达概率以及第一HER2阴性表达概率的准确性。在一个实现方式中,所述病灶勾画单元提取感兴趣区域的过程可以为:将乳腺MR图像输入病灶勾画单元,病灶勾画单元基于乳腺MR图像的横断面、冠状面以及矢状面勾画并提取乳腺MR图像中的乳腺肿瘤区域,以得到乳腺MR图像对应的感兴趣区域。
所述影像组学特征提取单元用于提取感兴趣区域中的影像组学特征,如图3所示,所述影像组学特征可以基于感兴趣区域、感兴趣区域通过小波滤波产生的派生图以及感兴趣区域通过高斯滤波产生的派生图所确定的,其中,小波滤波产生8种派生图像,高斯滤波产生3种派生图像。此外,如表1所示,影像组学特征可以包括由一阶特征、纹理特征、形状特征构成的1130个影像特征,其中,一阶特征和纹理特征分别从感兴趣区域、小波滤波产生的派生图以及高斯滤波产生的派生图提取得到的,形状特征是从原始图像(乳腺MR图像)提取得到的。
表1影像组学特征
所述第一特征筛选单元用于对影像组学特征提取单元获取的影像组学特征进行筛选,去除影像组学特征中的无用特征以减少候选预测单元的运算量。所述第一特征筛选单元可以采用Lasso回归以及卡方检验对候选影像组学特征进行筛选,其具体过程可以为:首先选择Lasso线性回归的方式对候选影像组学特征进行筛选;然后采用卡方检验对经过筛选的候选影像组学特征进行再次筛选以得到影像组学特征。本实施例通过采用Lasso线性回归的方式可以将候选影像组学特征中的影像特征的回归系数进行压缩并使部分影像特征的回归系数变化为0,从而去除回归系数为0的影像特征。然后,通过卡方检验测量影像特征之间的相关性,并基于相关性去除最有可能与分类无关的影像特征,从而提高筛选后的影像特征的有效性。
在一个实现方式中,卡方检验是利用分类变量(离散变量)的关联性以及相关性分析,通过比较理论频数和实际频数的吻合程度或拟合优度来确定影像特征之间的相关性,其中,卡方检验的表达公式可以为:
其中,fo表示实际频数Observation;fe表示期望频数Expectation。
所述第一预测单元用于基于影像组学特征预测第一HER2高表达概率以及第一HER2阴性表达概率,其中,所述第一预测单元为二分类模型。在一个具体实现方式中,第一预测单元包括用LR分类器,所述LR分类器为基于线性回归和Sigmoid函数结合的分类方式。由此,第一预测单元确定其对应的第一HER2高表达概率以及第一HER2阴性表达概率的表达式可以为:
其中,x∈Rn代表输入第一预测单元的特征向量,w∈Rn代表权重向量,b∈Rn代表偏置向量。
在本实施例的一个实现方式中,所述语义分割模块包括特征提取单元、第二特征筛选单元以及第二预测单元;所述控制所述语义分割模块确定所述乳腺MR图像对应的第二HER2高表达概率以及第二HER2阴性表达概率具体包括:
控制所述特征提取单元确定所述乳腺MR图像对应的候选语义特征;
控制所述第二特征筛选单元对所述候选语义特征进行筛选,以得到所述乳腺MR图像对应的语义特征;
控制所述第二预测单元基于所述语义特征,确定所述乳腺MR图像对应的第二HER2高表达概率以及第二HER2阴性表达概率。
具体地,所述特征提取单元用于提取所述乳腺MR图像的候选语义特征,其中,所述特征提取单元可以采用编解码结构,即所述特征提取单元可以包括编码器和解码器,所述编码器的输入项为乳腺MR图像和若干第一特征图,其中,若干第一特征图中的各第一特征图的特征维度不同。编码器用于基于若干第一特征图确定候选语义特征,其中,解码器通过上采样方式学习乳腺MR图像中的乳腺肿瘤区域中语义特征以得到候选语义特征。
在一个实现方式中,所述编码器包括依次级联的卷积单元以及若干下采样单元;所述解码器包括依次级联若干上采样单元以及卷积层,其中,若干下采样单元与若干上采样单元一一对应,并且各下采样单元与其对应的上采样单元跳跃连接。所述编码器中的卷积单元与所述解码器中的卷积层跳跃连接,本实施例通过将若干下采样单元和若干上采样单元采用跳跃连接的方式,以及卷积单元与卷积层采用跳跃连接方式,可融合高分辨率和低分辨率的影像特征,精细分割乳腺肿瘤区域,以提取更多候选语义特征,从而可以提高语义特征模块的模块性能。此外,使用跳跃连接解决网络层数较深的情况下梯度消失的问题,有助于梯度的反向传播以加快训练过程,融合编码器获取到的不同维度的特征信息可以提高特征准确性。
在一个典型实现方式中,如图4所示,若干下采样单元为4个下采样单元,分别为P1、P2、P3和P3;每个下采样单元均包括依次级联的池化层pool和两个卷积块,每个卷积块均包括卷积层conv、归一化层GN以及激活层relu。若干上采样单元为4个上采样单元,分别为U1、U2、U3和U4,每个上采样单元均包括上采样层upsample以及卷积块,各下采样单元与各上采样单元通过concatenate跳跃连接,其中,上采样单元中的卷积块的模型结构与下采样单元中的卷积块的模型结构相同。此外,编码器中的卷积单元C1包括两个卷积块,并且卷积单元中的卷积块的模型结构与下采样单元中的卷积块的模型结构相同。此外,所述特征提取单元在训练阶段可以采用Focal loss作为损失函数,以评价分割阶段的预测结果与实际的分割结果之间的差距,为分割模型提供训练方向。Focal loss表达式如下:
在本实施例的一个实现方式中,所述控制所述特征提取单元确定所述MR图像对应的候选语义特征具体包括:
控制所述特征提取单元基于所述乳腺MR图像确定若干切片特征图,其中,若干切片特征图与所述乳腺MR图像包括的若干切片图像一一对应;
基于聚类方式将所述若干切片特征图划分为两个特征簇,并去除两个特征簇中携带切片特征图少的特征簇,以得到若干目标切片特征;
将所述若干目标切片特征融合,以得到所述MR图像对应的候选语义特征。
具体地,所述乳腺MR图像包括若干切片图像,当将乳腺MR图像输入特征提取单元,特征提取单元会分别获取各切片图像对应的切片特征图,其中,切片特征图用于反映其对应的切片图像的语义特征,切片特征为编码器中的倒数第二层卷积层的输出项。在获取到所有切片图像对应的切片特征后,由于所有切片特征携带有大量的图像特征,并且其中存在冗余以及无用特征,从而在获取到各切面图像各自对应的切片特征图后,采用聚类方式对获取到的切片特征图进行筛选以得到若干目标切片特征,然后基于若干目标切片特征确定候选语义特征。
在本实施例的一个实现方式中,所述基于聚类方式将所述若干切片特征图划分为两个特征簇,并去除两个特征簇中携带切片特征图少的特征簇,以得到若干目标切片特征。如图4所示,所述聚类过程具体过程可以为预设取聚类簇数,随机选取聚类簇数个切片特征图作为初始聚类中心;分别计算各切片特征图到各初始聚类中心的距离,并将各切面特征图划分值最小距离对应的初始聚类中心所对应的聚类簇;更新聚类簇数的聚类中心,并检测每个聚类簇的聚类中心是否发生变化;若未发生变化,则输出各聚类簇作为特征簇输出,若发生变化值重复分别计算各切片特征图到各初始聚类中心的距离的步骤直至每个聚类簇的聚类中心未发生变化。在本实施例中,所述聚类簇数为2。
所述第二特征筛选单元采用Lasso回归以及互信息对候选语义特征进行筛选,其中,Lasso回归与上述第一特征筛选单元所采用的Lasso回归相同,这里就不再说明。互信息用于衡量变量之间的依赖关系,通过互信息可以展示候选语义特征与预设HER2类别的相关性,从而可以对候选语义特征进行筛选。其中,互信息的计算公式可以为:
其中,X,Y为两个随机变量。
在所述步骤S22中,所述第二分类模型的输入项为所述乳腺MR图像,输出项包括预测HER2低表达概率以及预测HER2零表达概率,其中,第二分类模型的模型结构与第一分类模型的模型结构基本相同,两者区别仅在第一特征筛选单元和第二特征筛选单元不同,这里对于相同部分不再说明,仅对两者的不同之处进行说明。其中,所述第一分类模型中的第一特征筛选单元采用Lasso回归以及卡方检验对候选影像组学特征进行筛选,所述第一分类模型中的第二特征筛选单元采用Lasso回归以及互信息对候选语义特征进行筛选;所述第二分类模型中的第一特征筛选单元采用Lasso回归以及互信息对候选影像组学特征进行筛选,所述第二分类模型中的第二特征筛选单元采用Lasso回归以及卡方检验对候选语义特征进行筛选。
综上所述,本实施例提供了一种乳腺癌HER2状态的预测方法,所述方法包括将待预测的乳腺MR图像分别输入第一分类模型和第二分类模型,控制所述第一分类模型以及第二分类模型确定所述乳腺MR图像对应的HER2类别为HER2高表达类别、HER2低表达类别或HER2零表达类别。本申请采用第一分类模型与第二分类模型分别以不同方面对携带有乳腺病变特征的乳腺MR图像进行学习,从而将不同方面挖掘到的病灶信息进行关联,通过关联的病灶信息确定HER2类别为HER2高表达类别、HER2低表达类别或HER2零表达类别,进而提高了鉴别HER2类别为HER2高表达类别、HER2低表达类别或HER2零表达类别的准确性。
基于上述乳腺癌HER2状态的预测方法,本实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上述实施例所述的乳腺癌HER2状态的预测方法中的步骤。
基于上述乳腺癌HER2状态的预测方法,本申请还提供了一种终端设备,如图6所示,其包括至少一个处理器(processor)20;显示屏21;以及存储器(memory)22,还可以包括通信接口(Communications Interface)23和总线24。其中,处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令,以执行上述实施例中的方法。
此外,上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
此外,上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明,在这里就不再一一陈述。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (8)
1.一种乳腺癌HER2状态的预测方法,其特征在于,所述方法包括:
将待预测的乳腺MR图像分别输入第一分类模型和第二分类模型;
控制所述第一分类模型以及所述第二分类模型确定所述乳腺MR图像对应的HER2类别,其中,所述HER2类别包括HER2高表达、HER2低表达或HER2零表达;
所述控制所述第一分类模型以及所述第二分类模型确定所述乳腺MR图像对应的HER2类别具体包括:
控制所述第一分类模型确定所述乳腺MR图像对应的HER2高表达概率以及HER2阴性表达概率;
控制所述第二分类模型确定所述乳腺MR图像对应的预测HER2低表达概率以及预测HER2零表达概率;
基于所述HER2高表达概率、HER2阴性表达概率、预测HER2低表达概率以及预测HER2零表达概率,确定所述乳腺MR图像对应的HER2类别;
所述基于所述HER2阴性表达概率、预测HER2低表达概率以及预测HER2零表达概率,确定所述乳腺MR图像对应的HER2类别具体包括:
分别计算所述HER2阴性表达概率与所述预测HER2低表达概率的乘积以及HER2阴性表达概率与预测HER2零表达概率的乘积,以得到HER2低表达概率以及HER2零表达概率;
基于所述HER2高表达概率、HER2低表达概率以及HER2零表达概率,确定所述乳腺MR图像对应的HER2类别。
2.根据权利要求1所述乳腺癌HER2状态的预测方法,其特征在于,所述第一分类模型包括影像组学模块、语义分割模块以及预测模块;所述控制所述第一分类模型确定所述乳腺MR图像对应的HER2高表达概率以及HER2阴性表达概率具体包括:
控制所述影像组学模块确定所述乳腺MR图像对应的影像组学特征,并基于所述影像组学特征确定所述乳腺MR图像对应的第一HER2高表达概率以及第一HER2阴性表达概率;
控制所述语义分割模块确定所述乳腺MR图像对应的第二HER2高表达概率以及第二HER2阴性表达概率;
控制所述预测模块基于所述第一HER2高表达概率、第一HER2阴性表达概率、第二HER2高表达概率以及第二HER2阴性表达概率,确定所述乳腺MR图像对应的HER2高表达概率以及HER2阴性表达概率。
3.根据权利要求2所述乳腺癌HER2状态的预测方法,其特征在于,所述影像组学模块包括病灶勾画单元、影像组学特征提取单元、第一特征筛选单元以及第一预测单元;所述控制所述影像组学模块确定所述乳腺MR图像对应的影像组学特征,并基于所述影像组学特征确定所述乳腺MR图像对应的第一HER2高表达概率以及第一HER2阴性表达概率具体包括:
控制所述病灶勾画单元提取所述乳腺MR图像中的感兴趣区域;
控制所述影像组学特征提取单元对于所述感兴趣区域进行影像学特征提取,以得到候选影像组学特征;
控制所述第一特征筛选单元对所述候选影像组学特征进行特征筛选,以得到影像组学特征;
控制所述第一预测单元基于所述影像组学特征确定乳腺MR图像对应的第一HER2高表达概率以及第一HER2阴性表达概率。
4.根据权利要求2所述乳腺癌HER2状态的预测方法,其特征在于,所述语义分割模块包括特征提取单元、第二特征筛选单元以及第二预测单元;所述控制所述语义分割模块确定所述乳腺MR图像对应的第二HER2高表达概率以及第二HER2阴性表达概率具体包括:
控制所述特征提取单元确定所述乳腺MR图像对应的候选语义特征;
控制所述第二特征筛选单元对所述候选语义特征进行筛选,以得到所述乳腺MR图像对应的语义特征;
控制所述第二预测单元基于所述语义特征,确定所述乳腺MR图像对应的第二HER2高表达概率以及第二HER2阴性表达概率。
5.根据权利要求4所述乳腺癌HER2状态的预测方法,其特征在于,所述控制所述特征提取单元确定所述乳腺MR图像对应的候选语义特征具体包括:
控制所述特征提取单元基于所述乳腺MR图像确定若干切片特征图,其中,若干切片特征图与所述乳腺MR图像包括的若干切片图像一一对应;
基于聚类方式将所述若干切片特征图划分为两个特征簇,并去除两个特征簇中携带切片特征图少的特征簇,以得到若干目标切片特征;
将所述若干目标切片特征融合,以得到所述乳腺MR图像对应的候选语义特征。
6.根据权利要求2所述乳腺癌HER2状态的预测方法,其特征在于,所述第二分类模型的模型结构与所述第一分类模型的模型结构相同,所述第二分类模型与第一分类模型的区别为所述第一分类模型中的第一特征筛选单元采用Lasso回归以及卡方检验对候选影像组学特征进行筛选,所述第一分类模型中的第二特征筛选单元采用Lasso回归以及互信息对候选语义特征进行筛选;所述第二分类模型中的第一特征筛选单元采用Lasso回归以及互信息对候选影像组学特征进行筛选,所述第二分类模型中的第二特征筛选单元采用Lasso回归以及卡方检验对候选语义特征进行筛选。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-6任意一项所述的乳腺癌HER2状态的预测方法中的步骤。
8.一种终端设备,其特征在于,包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如权利要求1-6任意一项所述的乳腺癌HER2状态的预测方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111338891.8A CN114171197B (zh) | 2021-11-12 | 2021-11-12 | 一种乳腺癌her2状态的预测方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111338891.8A CN114171197B (zh) | 2021-11-12 | 2021-11-12 | 一种乳腺癌her2状态的预测方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114171197A CN114171197A (zh) | 2022-03-11 |
CN114171197B true CN114171197B (zh) | 2022-10-04 |
Family
ID=80479183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111338891.8A Active CN114171197B (zh) | 2021-11-12 | 2021-11-12 | 一种乳腺癌her2状态的预测方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114171197B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024021037A1 (zh) * | 2022-07-29 | 2024-02-01 | 京东方科技集团股份有限公司 | 疾病分析方法、疾病分析模型的训练方法及装置 |
CN115147668B (zh) * | 2022-09-06 | 2022-12-27 | 北京鹰瞳科技发展股份有限公司 | 疾病分类模型的训练方法、疾病分类的方法及相关产品 |
CN115440383B (zh) * | 2022-09-30 | 2023-03-21 | 中国医学科学院北京协和医院 | 用于预测晚期癌症患者pd-1/pd-l1单抗治疗疗效的*** |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11983868B2 (en) * | 2018-02-21 | 2024-05-14 | Case Western Reserve University | Predicting neo-adjuvant chemotherapy response from pre-treatment breast magnetic resonance imaging using artificial intelligence and HER2 status |
CN108898160B (zh) * | 2018-06-01 | 2022-04-08 | 中国人民解放军战略支援部队信息工程大学 | 基于cnn和影像组学特征融合的乳腺癌组织病理学分级方法 |
CN111401214B (zh) * | 2020-03-12 | 2023-04-18 | 四川大学华西医院 | 一种基于深度学习的多分辨率集成her2判读方法 |
CN111583320B (zh) * | 2020-03-17 | 2023-04-07 | 哈尔滨医科大学 | 融合深度卷积网络和影像组学特征的乳腺癌超声图分型方法、***及存储介质 |
-
2021
- 2021-11-12 CN CN202111338891.8A patent/CN114171197B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114171197A (zh) | 2022-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114171197B (zh) | 一种乳腺癌her2状态的预测方法及相关设备 | |
Wee et al. | Cortical graph neural network for AD and MCI diagnosis and transfer learning across populations | |
CN106815481B (zh) | 一种基于影像组学的生存期预测方法及装置 | |
CN112768072B (zh) | 基于影像组学定性算法构建癌症临床指标评估*** | |
US20170249739A1 (en) | Computer analysis of mammograms | |
Zhang et al. | Automated semantic segmentation of red blood cells for sickle cell disease | |
JP6168426B2 (ja) | 疾患分析装置、制御方法、及びプログラム | |
US20230306598A1 (en) | Systems and methods for mesothelioma feature detection and enhanced prognosis or response to treatment | |
Ström et al. | Pathologist-level grading of prostate biopsies with artificial intelligence | |
CN112562855B (zh) | 一种肝细胞癌术后早期复发风险预测方法、介质及终端设备 | |
CN109191422B (zh) | 基于常规ct图像的缺血性脑卒中早期检测***和方法 | |
CN112561869A (zh) | 一种胰腺神经内分泌肿瘤术后复发风险预测方法 | |
CN115457361A (zh) | 分类模型获取方法、表达类别确定方法、装置、设备及介质 | |
CN115938597A (zh) | 癌症预后 | |
CN113764101B (zh) | 基于cnn的乳腺癌新辅助化疗多模态超声诊断*** | |
CN116563651A (zh) | 鼻咽癌预后特征确定方法、***、装置及存储介质 | |
CN115631387B (zh) | 基于图卷积神经网络的肺癌病理高危因素预测方法和装置 | |
Tampu et al. | Diseased thyroid tissue classification in OCT images using deep learning: Towards surgical decision support | |
Ulloa et al. | Improving multiple sclerosis lesion boundaries segmentation by convolutional neural networks with focal learning | |
CN115063351A (zh) | 一种基于深度学习的胎儿mri脑组织分割方法及装置 | |
EP4288975A1 (en) | Apparatus and method for training of machine learning models using annotated image data for pathology imaging | |
CN114092427B (zh) | 一种基于多序列mri图像的克罗病与肠结核分类方法 | |
CN114067154B (zh) | 基于多序列mri的克罗恩病纤维化分级方法及相关设备 | |
CN115457339B (zh) | 一种基于深度集成学习的ad预测方法、***及装置 | |
KR101957810B1 (ko) | 영상을 다배율로 촬영하는 방법, 이를 위한 제어 장치 및 촬영 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |