CN112699950B - 医学图像分类方法、图像分类网络处理方法、装置和设备 - Google Patents

医学图像分类方法、图像分类网络处理方法、装置和设备 Download PDF

Info

Publication number
CN112699950B
CN112699950B CN202110012705.5A CN202110012705A CN112699950B CN 112699950 B CN112699950 B CN 112699950B CN 202110012705 A CN202110012705 A CN 202110012705A CN 112699950 B CN112699950 B CN 112699950B
Authority
CN
China
Prior art keywords
image
slice
slices
sample
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110012705.5A
Other languages
English (en)
Other versions
CN112699950A (zh
Inventor
边成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110012705.5A priority Critical patent/CN112699950B/zh
Publication of CN112699950A publication Critical patent/CN112699950A/zh
Application granted granted Critical
Publication of CN112699950B publication Critical patent/CN112699950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请涉及人工智能技术,特别涉及一种医学图像分类方法、装置、计算机设备和存储介质。所述方法包括:对医学图像进行切片处理,得到图像切片序列;从所述图像切片序列内的各图像切片中,提取目标物在所述图像切片中的图像特征;依据从各所述图像切片中分别提取的所述图像特征,依次确定所述目标物在各所述图像切片中的连续概率;基于所述图像切片序列中各相邻图像切片所对应连续概率间差异值的累加和,以及所述图像切片序列中图像切片的切片总量,确定所述目标物在所述图像切片序列中的连通率;根据所述连通率判定所述医学图像所属的分类类别。采用本方法能够免因目标物较小而影响医学图像分类的准确性。

Description

医学图像分类方法、图像分类网络处理方法、装置和设备
技术领域
本申请涉及人工智能技术领域,特别是涉及一种医学图像分类方法、图像分类网络处理方法、装置和设备。
背景技术
医学图像是指为了医疗或医学研究,对人体或人体某部分以非侵入方式取得的内部组织影像。对医学图像进行分类处理以得到该医学图像分类类别可以为医学工作者提供有效地医学辅助。
传统医学图像分类方案中,通常是采用卷积神经网络对医学图像中的目标物进行分割,然后根据分割出来的目标物对该医学图像进行分类。然而,当医学图像中的目标物较小时,可能会导致医学图像分割失败或不准确的问题,从而影响医学图像分类的准确性。
发明内容
基于此,有必要针对上述技术问题,提供一种能够避免因目标物较小而影响医学图像分类的准确性的医学图像分类方法、图像分类网络处理方法、装置和设备。
一种医学图像分类方法,所述方法包括:
对医学图像进行切片处理,得到图像切片序列;
从所述图像切片序列内的各图像切片中,提取目标物在所述图像切片中的图像特征;
依据从各所述图像切片中分别提取的所述图像特征,依次确定所述目标物在各所述图像切片中的连续概率;
基于所述图像切片序列中各相邻图像切片所对应连续概率间差异值的累加和,以及所述图像切片序列中图像切片的切片总量,确定所述目标物在所述图像切片序列中的连通率;
根据所述连通率判定所述医学图像所属的分类类别。
在其中的一个实施例中,所述对医学图像样本进行切片处理之前,所述方法还包括:
在获得医学图像样本时,基于所述医学图像样本的均值和方差对所述医学图像样本进行标准化处理;
对处理后的医学图像样本进行图像翻转,得到翻转后的医学图像样本;
所述对医学图像样本进行切片处理,得到样本切片序列包括:
对所述翻转后的医学图像样本进行切片处理,得到样本切片序列。
在其中的一个实施例中,所述通过第一图像分类网络中的第一特征提取器,提取目标物在每个组别的各样本切片中的第一训练图像特征之前,所述方法还包括:
将所述样本切片序列中的样本切片依次输入所述第二图像分类网络中;
通过所述第二图像分类网络中的第二特征提取器,提取所述目标物在输入的所述样本切片中的第二训练图像特征;
通过所述第二图像分类网络中的第二分类器,对提取的所述第二训练图像特征进行目标物连续性计算,得到第二目标连续概率;
计算所述第二目标连续概率与参考连续率之间的第二损失值;
根据所述第二损失值对所述第二特征提取器的参数和所述第二分类器的参数进行调整;
将调整后的所述第二特征提取器作为所述第一图像分类网络中的第一特征提取器。
一种医学图像分类装置,所述装置包括:
处理模块,用于对医学图像进行切片处理,得到图像切片序列;
提取模块,用于从所述图像切片序列内的各图像切片中,提取目标物在所述图像切片中的图像特征;
确定模块,用于依据从各所述图像切片中分别提取的所述图像特征,依次确定所述目标物在各所述图像切片中的连续概率;基于所述图像切片序列中各相邻图像切片所对应连续概率间差异值的累加和,以及所述图像切片序列中图像切片的切片总量,确定所述目标物在所述图像切片序列中的连通率;
判定模块,用于根据所述连通率判定所述医学图像所属的分类类别。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
对医学图像进行切片处理,得到图像切片序列;
从所述图像切片序列内的各图像切片中,提取目标物在所述图像切片中的图像特征;
依据从各所述图像切片中分别提取的所述图像特征,依次确定所述目标物在各所述图像切片中的连续概率;
基于所述图像切片序列中各相邻图像切片所对应连续概率间差异值的累加和,以及所述图像切片序列中图像切片的切片总量,确定所述目标物在所述图像切片序列中的连通率;
根据所述连通率判定所述医学图像所属的分类类别。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
对医学图像进行切片处理,得到图像切片序列;
从所述图像切片序列内的各图像切片中,提取目标物在所述图像切片中的图像特征;
依据从各所述图像切片中分别提取的所述图像特征,依次确定所述目标物在各所述图像切片中的连续概率;
基于所述图像切片序列中各相邻图像切片所对应连续概率间差异值的累加和,以及所述图像切片序列中图像切片的切片总量,确定所述目标物在所述图像切片序列中的连通率;
根据所述连通率判定所述医学图像所属的分类类别。
上述医学图像分类方法、装置、计算机设备和存储介质,通过对医学图像进行切片处理,得到图像切片序列,并提取目标物在该图像切片序列各图像切片中的图像特征,从而降低了提取图像特征的计算量,加快了特征提取的速率。依据提取的图像特征依次确定目标物在每个图像切片中的连续概率,并基于相邻图像切片的连续概率之间差异值的累加和以及切片总量,确定目标物图像切片序列中的连通率,从而得到不同图像切片之间的信息,考虑到了不同图像切片之间的关联性,因此根据连通率判定医学图像所属的分类类别,可以使医学图像分类更加准确。此外,由于无需对目标物在每个图像切片中进行目标物分割,即便目标物较小,也可以基于目标物在图像切片序列中的连通性来判定医学图像的分类类别,有利于提高医学图像分类的准确性。
一种图像分类网络处理方法,所述方法包括:
对医学图像样本进行切片处理,得到样本切片序列;
将所述样本切片序列中的样本切片分组输入第一图像分类网络中;
通过第一图像分类网络中的第一特征提取器,提取目标物在每个组别的各样本切片中的第一训练图像特征;
通过所述第一图像分类网络中的第一分类器,对提取的所述第一训练图像特征进行目标物连续性计算,得到第一目标连续概率;以及,基于所述第一目标连续概率间差异值的累加和与所述样本切片序列的切片总量,确定所述目标物在所述样本切片序列中的目标连通率;
计算所述目标连通率与参考连通率之间的第一损失值;
根据所述第一损失值对所述第一特征提取器的参数和所述第一分类器的参数进行调整。
在其中的一个实施例中,所述方法还包括:
基于目标均值和目标方差的正态分布,分别对所述第一图像分类网络和第二图像分类网络中的参数进行初始化。
在其中的一个实施例中,所述对医学图像样本进行切片处理之前,所述方法还包括:
在获得医学图像样本时,基于所述医学图像样本的均值和方差对所述医学图像样本进行标准化处理;
对处理后的医学图像样本进行图像翻转,得到翻转后的医学图像样本;
所述对医学图像样本进行切片处理,得到样本切片序列包括:
对所述翻转后的医学图像样本进行切片处理,得到样本切片序列。
在其中的一个实施例中,所述将所述样本切片序列中的样本切片分组输入第一图像分类网络中之前,所述方法还包括:
将所述样本切片序列中的样本切片依次输入所述第二图像分类网络中;
通过所述第二图像分类网络中的第二特征提取器,提取所述目标物在输入的所述样本切片中的第二训练图像特征;
通过所述第二图像分类网络中的第二分类器,对提取的所述第二训练图像特征进行目标物连续性计算,得到第二目标连续概率;
计算所述第二目标连续概率与参考连续率之间的第二损失值;
根据所述第二损失值对所述第二特征提取器的参数和所述第二分类器的参数进行调整;
将调整后的所述第二特征提取器作为所述第一图像分类网络中的第一特征提取器。
一种图像分类网络处理装置,所述装置包括:
处理模块,用于对医学图像样本进行切片处理,得到样本切片序列;
输入模块,用于将所述样本切片序列中的样本切片分组输入第一图像分类网络中;
提取模块,用于通过第一图像分类网络中的第一特征提取器,提取目标物在每个组别的各样本切片中的第一训练图像特征;
确定模块,用于通过所述第一图像分类网络中的第一分类器,对提取的所述第一训练图像特征进行目标物连续性计算,得到第一目标连续概率;以及,基于所述第一目标连续概率间差异值的累加和与所述样本切片序列的切片总量,确定所述目标物在所述样本切片序列中的目标连通率;
计算模块,用于计算所述目标连通率与参考连通率之间的第一损失值;
调整模块,用于根据所述第一损失值对所述第一特征提取器的参数和所述第一分类器的参数进行调整。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
对医学图像样本进行切片处理,得到样本切片序列;
将所述样本切片序列中的样本切片分组输入第一图像分类网络中;
通过第一图像分类网络中的第一特征提取器,提取目标物在每个组别的各样本切片中的第一训练图像特征;
通过所述第一图像分类网络中的第一分类器,对提取的所述第一训练图像特征进行目标物连续性计算,得到第一目标连续概率;以及,基于所述第一目标连续概率间差异值的累加和与所述样本切片序列的切片总量,确定所述目标物在所述样本切片序列中的目标连通率;
计算所述目标连通率与参考连通率之间的第一损失值;
根据所述第一损失值对所述第一特征提取器的参数和所述第一分类器的参数进行调整。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
对医学图像样本进行切片处理,得到样本切片序列;
将所述样本切片序列中的样本切片分组输入第一图像分类网络中;
通过第一图像分类网络中的第一特征提取器,提取目标物在每个组别的各样本切片中的第一训练图像特征;
通过所述第一图像分类网络中的第一分类器,对提取的所述第一训练图像特征进行目标物连续性计算,得到第一目标连续概率;以及,基于所述第一目标连续概率间差异值的累加和与所述样本切片序列的切片总量,确定所述目标物在所述样本切片序列中的目标连通率;
计算所述目标连通率与参考连通率之间的第一损失值;
根据所述第一损失值对所述第一特征提取器的参数和所述第一分类器的参数进行调整。
上述图像分类网络处理方法、装置、计算机设备和存储介质,通过对医学图像样本进行切片处理,得到样本切片序列,第一图像分类网络中的第一特征提取器提取目标物在该样本切片序列各图像切片中的第一训练图像特征,从而降低了提取第一训练图像特征的计算量,加快了特征提取的速率。第一图像分类网络中的第一分类器依据提取的第一训练图像特征依次确定目标物在每个样本切片中的第一目标连续概率,并基于相邻样本切片的第一目标连续概率之间差异值的累加和以及样本切片序列的切片总量,确定目标物样本切片序列中的目标连通率,从而使第一图像分类网络学习到不同样本切片之间的关联性,进而使第一图像分类网络可以提取到不同医学图像的图像切片之间的关联性信息,提高了第一图像分类网络的性能,以及有利于提高医学图像分类的准确性。
附图说明
图1为一个实施例中医学图像分类方法的应用环境图;
图2为一个实施例中医学图像分类方法的流程示意图;
图3为一个实施例中对医学图像进行切片处理的示意图;
图4为一个实施例中通过特征提取器和分类器对图像切片分别进行特征提取和分类处理的示意图;
图5为一个实施例中对医学图像中目标物出现断裂的位置进行标记并显示步骤的流程示意图;
图6为一个实施例中图像切片未出现断裂和出现断裂的示意图;
图7为一个实施例中进行风险提示步骤的流程示意图;
图8为一个实施例中对图像分类网络进行处理步骤的流程示意图;
图9为一个实施例中通过两个阶段分别对两个不同的图像分类网络进行模型训练的示意图;
图10为一个实施例中图像分类网络处理方法的流程示意图;
图11为一个实施例中医学图像分类装置的结构框图;
图12为另一个实施例中医学图像分类装置的结构框图;
图13为一个实施例中图像分类网络处理装置的结构框图;
图14为另一个实施例中图像分类网络处理装置的结构框图;
图15为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像分割、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习和度量学习等技术。
本申请实施例提供的方案涉及人工智能的计算机视觉技术和机器学习等技术,具体通过如下实施例进行说明:
本申请提供的医学图像分类方法,可以应用于如图1所示的应用环境中。在该应用环境中,包括终端102、服务器104、数据库106和医学设备108。医学图像分类方法可应用于终端102、服务器104和医学设备108中的至少一种。以医学图像分类方法应用于服务器104为例,服务器104可以在从数据库中获取到医学图像时,直接对医学图像进行切片处理,该医学图像由医学设备所采集;或者,可以从终端102接收到针对医学图像的分类指令时,获取该分类指令对应的医学图像,然后对医学图像进行切片处理,从而得到图像切片序列;从图像切片序列内的各图像切片中,提取目标物在图像切片中的图像特征;依据从各图像切片中分别提取的图像特征,依次确定目标物在各图像切片中的连续概率;基于图像切片序列中各相邻图像切片所对应连续概率间差异值的累加和,以及图像切片序列中图像切片的切片总量,确定目标物在图像切片序列中的连通率;根据连通率判定医学图像所属的分类类别,然后将分类类别显示于终端102。
其中,终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。
服务器104可以是独立的物理服务器,也可以集成于医学设备中,以进行医学图像分类;此外,服务器104还可以是多个物理服务器构成的服务器集群,可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
数据库106可以是关系数据库、非关系型数据库和键值数据库,用于存储医学设备108所采集的医学图像。
医学设备108可以是用于医疗或医学研究的设备,包括但不限于OCT(OpticalCoherence Tomography,光学相干断层扫描)仪、其它用于采集眼底部位图像的设备、CT(Computed Tomography,电子计算机断层扫描)探测器和MRI(Magnetic ResonanceImaging,磁共振成像)检测器等。医学设备108采集到医学图像之后,可以将采集的医学图像存储于数据库106,也可以直接将该医学图像发送给服务器104,在实际应用过程中,采集的医学图像还可以发送至终端102进行显示。
终端102、服务器104、数据库106和医学设备之间可以通过蓝牙、USB(UniversalSerial Bus,通用串行总线)或者网络等通讯连接方式进行连接,本申请在此不做限制。
在一个实施例中,如图2所示,提供了一种医学图像分类方法,该方法可应用于图1中的终端102、服务器104和医学设备108中的至少一种,以该方法应用于图1中的服务器104为例进行说明,包括以下步骤:
S202,对医学图像进行切片处理,得到图像切片序列。
其中,医学图像可以是通过医学设备以非侵入的方式采集人体或人体的某个部位所得的图像,或者通过医学设备对其它物体进行图像采集所得的图像,该其它物体可以包括各种动植物和微生物等。例如,该医学图像可以是通过OCT仪对眼部进行光学相干断层扫描所得的OCT图像。
在一个实施例中,服务器可以根据图像分类指令从数据库中获取医学图像,或者,当医学设备采集到医学图像时,服务器可以直接从医学设备获取医学图像。
医学设备在采集到医学图像后,可以将该医学图像存储至数据库,以便在接收到终端针对该医学图像的图像分类指令时,从数据库中获取该医学图像,以进行图像分类,其中,该图像分类指令可以是在终端的图像操作页面上的分类按钮触发,如图1所示。此外,也可以将医学图像直接发送给服务器,以便服务器对该医学图像进行实时分类。
在一个实施例中,S202具体可以包括:服务器确定切片宽度和切片处理时逐步移动的步长;在医学图像中按照步长逐步切分出切片宽度的图像切片,得到图像切片序列;或者,服务器在医学图像中确定感兴趣区域,并在感兴趣区域中按照步长逐步切分出切片宽度的图像切片,得到图像切片序列。对医学图像进行切片处理,从而可以在每个图像切片中提取目标物的图像特征,从而降低了提取图像特征的计算量,加快了特征提取的速率。
在进行切片处理时,服务器可以先在医学图像中确定切分起点,以切分起点开始对医学图像进行切分,得到与确定的切片宽度一致的图像切片;然后,从该切分起点开始按照确定的步长逐步移动,并在每次移动后,在该医学图像中切分出与确定的切片宽度一致的图像切片,从而得到图像切片序列。
或者,在进行切片处理时,对医学图像的边缘区域进行图像识别,当确定医学图像的边缘区域为无效区域时,服务器可以先将该边缘区域从医学图像中裁剪掉,从而感兴趣区域;然后在感兴趣区域中确定切分起点,以切分起点开始对感兴趣区域进行切分,得到与确定的切片宽度一致的图像切片;然后,从该切分起点开始按照确定的步长逐步移动,并在每次移动后,在该感兴趣区域中切分出与确定的切片宽度一致的图像切片,从而得到图像切片序列。
例如,如图3所示,服务器在获得眼部位置的OCT图像时,可以直接按照特定的步长逐步移动,并且边移动边对该OCT图像进行切片处理,从而得到图像切片序列。或者,服务器将OCT图像的无效区域裁剪掉,得到感兴趣区域;然后在感兴趣区域按照特定的步长逐步移动,并且边移动边对该感兴趣区域进行切片处理,从而得到图像切片序列。
在一个实施例中,在对医学图像进行切片处理之前,服务器还可以对该医学图像进行图像增强处理,然后将经过图像增强处理之后的医学图像进行切片处理,得到图像切片序列。此外,在经过图像增强处理之后,服务器还可以对经过图像增强处理之后的医学图像进行归一化处理,然后将归一化处理后的医学图像进行切片处理,得到图像切片序列。
其中,在进行图像增强时,可采用以下方式对医学图像进行图像增强:服务器调整医学图像的亮度,和/或调整医学图像的色度,和/或调整医学图像的锐度等等。
在进行归一化处理时,可采用以下方式对经过图像增强处理后的医学图像进行归一化处理:服务器对经过图像增强处理后的医学图像计算均值和方差,根据计算出来的均值和方差对经过图像增强处理后的医学图像进行归一化处理。例如,假设经过图像增强处理后的医学图像的矩阵为L,终端计算出该矩阵L的均为和方差分别为u和δ,归一化处理后的结果为L'=(L-u)/δ。
S204,从图像切片序列内的各图像切片中,提取目标物在图像切片中的图像特征。
其中,目标物可以指影响医学图像分类的物体,例如,对于眼部位置的医学图像(如眼部OCT图像),该目标物可以是椭圆体带(Ellipsoid Zone,EZ)和/或视网膜外界膜(External Limiting Membrane,ELM),如图3所示,其中,椭圆体带为图中较细的曲线所示,视网膜外界膜为图中较粗的灰色曲线所示。需要指出的是,上述目标物的例子仅仅是举例,包含但不限于上述影响医学图像分类的物体。
在一个实施例中,服务器可以通过第一图像分类网络的第一特征提取器,分别对图像切片序列中的每个图像切片进行特征提取,得到目标物在每个图像切片中的图像特征。其中,第一特征提取器可以是ResNet101、MobileNet或DenseNet中的任一种,也可以是其它的用于提取图像特征的神经网络。
服务器将图像切片序列输入至第一图像分类网络中,通过第一特征提取器中的各网络层对输入的图像切片序列中的各图像切片进行运算,得到目标物在每个图像切片中的图像特征。其中,第一特征提取器的网络层包括卷积层、池化层、归一化层+ReLu、全连接层和Softmax层。其中,在输入图像分类网络时,服务器可以将图像切片序列中的图像切片按照切片顺序输,也可以将图像切片序列中的图像切片进行分批输入,即每次输入一组图像切片,还可以将图像切片序列中的图像切片一次性输入。
在一个实施例中,S204具体可以包括:服务器对图像切片序列中的图像切片按照切片顺序进行分组,得到至少两个组别的图像切片;通过第一图像分类网络中的第一特征提取器,分别对每个组别的图像切片进行特征提取,得到目标物在每个组别的图像切片中的图像特征。
其中,分组可以指将相邻的至少两个图像切片划分到一个组别中。切片顺序包括对医学图像进行切片处理时的顺序。因此,分组的方式为:服务器按照切片顺序对图像切片序列中的图像切片进行排序;确定组内切片数量;依据组内切片数量,对排序后的图像切片序列中的图像切片按照切片进行分组。
服务器先对图像切片序列中的图像切片按照切片顺序进行分组,得到至少两个组别的图像切片,然后依次将每个组别的图像切片输入至第一图像分类网络中,通过第一特征提取器中的各网络层对输入组别的图像切片进行运算,得到目标物在每个组别的图像切片中的图像特征。
例如,如图4所示,服务器将眼部位置的OCT图像依次进行切片处理,得到三个图像切片,然后将所得的图像切片分别输入第一图像分类网络的特征提取器,通过特征提取器中的两个卷积层进行卷积处理,然后通过归一化层+ReLu对卷积处理的结果依次进行归一化处理和ReLu处理,得到第一图像特征;接着,通过池化层对第一图像特征进行池化处理,然后通过两个卷积层对池化处理的结果进行卷积处理,并通过归一化层+ReLu对卷积处理的结果进行归一化处理和ReLu处理,得到第二图像特征;接着,继续通过池化层对第二图像特征进行池化处理,然后通过两个卷积层对池化处理的结果进行卷积处理,并通过归一化层+ReLu对卷积处理的结果进行归一化处理和ReLu处理,得到第三图像特征;最后,通过池化层对第三图像特征进行池化处理,然后通过全连接层对池化处理的结果处理,从而得到目标物在该三个图像切片中的图像特征,如图中的特征1、特征2和特征3。依此类推,服务器可以得到目标物在每个图像切片中的图像特征。
S206,依据从各图像切片中分别提取的图像特征,依次确定目标物在各图像切片中的连续概率。
其中,连续概率可以指目标物在各图像切片中连续的概率,若目标物在其中一个或多个图像切片中出现断裂(或断点),则目标物在该一个或多个图像切片中不连续;若目标物在其中一个或多个图像切片中未出现断裂(或断点),则目标物在该一个或多个图像切片中连续。
在一个实施例中,服务器可以对从各图像切片中分别提取的图像特征进行异常识别,如识别提取的图像特征是否出现断裂的情况,得到识别结果;然后,根据该识别结果确定目标物在各图像切片中的连续概率。
具体地,服务器通过第一图像分类网络中的第一分类器,对从各图像切片中分别提取的图像特征进行异常识别,得到表示目标物在各图像切片中是否断裂的识别结果;基于识别结果确定目标物在各图像切片中的连续概率;或者,依据识别结果确定目标物在各图像切片中的断裂概率,并根据断裂概率得到连续概率。其中,第一分类器可以以LSTM(Long Short-Term Memory,长短期记忆)网络或递归神经网络来实现。
第一分类器可以对从各图像切片中分别提取的图像特征进行异常识别,以确定提取的图像特征是否出现断裂的情况,得到识别结果,其中,若某个图像切片的图像特征出现断裂,则得到一个关于该图像切片的断裂标记,或得到一个关于该图像切片的断裂概率;若某个图像切片的图像特征是连续的,则得到一个关于该图像切片的连续标记,或得到一个关于该图像切片的连续概率。从而,根据识别结果可以确定目标物在各图像切片中的连续概率。
S208,基于图像切片序列中各相邻图像切片所对应连续概率间差异值的累加和,以及图像切片序列中图像切片的切片总量,确定目标物在图像切片序列中的连通率。
其中,差异值可以指相邻两个图像切片各自对应的连续概率之间差值的绝对值。例如,相邻两个图像切片a1、a2,若目标物在图像切片a1的连续概率为p1,目标物在图像切片a2的连续概率为p2,则差异值即为p=|p1-p2|。
具体地,针对图像切片序列中的各相邻图像切片,服务器将每个相邻图像切片所对应的连续概率进行求差,得到每个相邻图像切片对应的连续概率之间的差值;然后,取差值的绝对值得到差异值,并对各差异值求和得到累加和。服务器基于该累加和以及图像切片序列中图像切片的切片总量,确定目标物在图像切片序列中的连通率。
例如,若图像切片序列中图像切片为a(1)、…、a(n),图像切片a(1)、…、a(n)分别对应连续概率为p(1)、…、p(n),则各相邻图像切片对应的连续概率之间的差异值通式为Diff1(i)=|p(i)-p(i-1)|,从而累加和即为P=∑iDiff1(i)。在得到累加和以及图像切片序列的切片数量时,将累加和以及切片数量输入连通率计算式,通过连通率计算式得到目标物在图像切片序列中的连通率。其中,连通率计算式如下所示:
Figure BDA0002885588910000151
其中,n表示图像切片序列的切片数量,即图像切片序列中图像切片的总数量;∑iDiff1(i)表示累加和,n为大于1的正整数,i为小于或等于n的正整数。
在一个实施例中,上述的连通率为一阶连通率;该方法还包括:服务器在一阶连通率中,确定相邻连通率之间的差值;对差值的绝对值进行求和,得到累加值;根据累加值和一阶连通率的数量,确定目标物在图像切片序列中的二阶连通率。
服务器可以在一阶连通率的基础之上,计算二阶连通率,以便根据二阶连通率判定医学图像所属的分类类别。其中,二阶连通率的计算方式可以是:将相邻两个连通率进行求差,然后将差值的绝对值求和,将求和所得的累加值与连通率的个数之间的比值作为二阶连通率;或者将一与该比值之间的差值作为二阶连通率。
S210,根据连通率判定医学图像所属的分类类别。
其中,分类类别可以指:目标物在该医学图像中所呈现的连续或断裂状态时,该医学图像所属的类型,例如,该医学图像属于目标物出现异常的类型或目标物正常的类型。举例来说,目标物在医学图像中的某个或连续多个图像切片出现断裂的情况时,该医学图像属于目标物出现异常的类型。
可以根据实际情况预设不同的连通率区间,不同的连通率区间可以对应不同的分类类别,如第一类别、第二类别和第三类别等等。当连通率处于第一区间时,服务器判定医学图像属于第一类别;当连通率处于第二区间时,服务器判定医学图像属于第二类别,依此类推。
在实际应用中,连通率区间可以根据目标物是否出现异常以及出现异常的严重程度进行划分,因此不同的连通率区间对应不同的类型,例如:正常类型、轻度异常类型、中度异常类型和重度异常类型。举例来说,目标物在医学图像中的一个图像切片出现断裂的情况时,该医学图像属于轻度异常类型;目标物在医学图像的m个图像切片中均出现断裂的情况时,该医学图像属于中度异常类型,其中,m小于或等于阈值T;目标物在医学图像的q个图像切片中均出现断裂的情况时,该医学图像属于重度异常类型,其中,q大于阈值T。需要指出的是,出现断裂的图像切片数量越多,则连通率越小。
在一个实施例中,当目标物的数量不少于两个时,则对各目标物的连通率进行加权求和,根据加权求和所得的连通率和值判定医学图像所属的分类类别。或者,服务器确定每个目标物的连通率所在的连通率区间,得到确定结果,然后根据确定结果查找分类表,得到与确定结果匹配的分类类别。需要指出的是,不同目标物的连通率落在不同的连通率区间,对应的分类类别可能不同。
在一个实施例中,在计算出二阶连通率时,服务器可以根据二阶连通率判定医学图像所属的分类类别。当每次输入图像分类网络中的图像切片较多时,通过二阶连通率的计算,可以更有利于获得多个不同图像切片之间的关联性,因此根据二阶连通率判定医学图像所属的分类类别,可以使医学图像分类更加准确。
作为一个示例,以医学图像为眼部位置的OCT图像,以目标物为椭圆体带和视网膜外界膜为例进行阐述:首先,服务器获取OCT图像,对该OCT图像进行切片,得到OCT切片序列,该OCT切片序列包括OCT切片a(1)、a(2)、…、a(n);然后,分别从OCT切片a(1)、a(2)、…、a(n)中提取椭圆体带和视网膜外界膜的图像特征,并根据所提取的图像特征依次确定椭圆体带和视网膜外界膜分别在各OCT切片a(1)、a(2)、…、a(n)中的连续概率;接着,计算OCT切片a(1)、a(2)、…、a(n)中相邻OCT切片的连续概率之间差值的绝对值,根据差值绝对值的累加和以及OCT切片数量确定椭圆体带和视网膜外界膜分别在OCT切片序列中的连通率,若椭圆体带和视网膜外界膜的连通率均在连通率较小的连通率区间时,则确定椭圆体带和视网膜外界膜出现异常。
上述实施例中,通过对医学图像进行切片处理,得到图像切片序列,并提取目标物在该图像切片序列各图像切片中的图像特征,从而降低了提取图像特征的计算量,加快了特征提取的速率。依据提取的图像特征依次确定目标物在每个图像切片中的连续概率,并基于相邻图像切片的连续概率之间差异值的累加和以及切片总量,确定目标物图像切片序列中的连通率,从而得到不同图像切片之间的信息,考虑到了不同图像切片之间的关联性,因此根据连通率判定医学图像所属的分类类别,可以使医学图像分类更加准确。此外,由于无需对目标物在每个图像切片中进行目标物分割,即便目标物较小,也可以基于目标物在图像切片序列中的连通性来判定医学图像的分类类别,有利于提高医学图像分类的准确性。
在一个实施例中,如图5所示,该方法还可以包括:
S502,当根据识别结果确定目标物在图像切片序列的目标图像切片中断裂时,则确定目标物在目标图像切片中的断裂位置。
其中,目标物在目标图像切片中出现断裂,表示该目标物在该目标图像切片存在异常,例如,椭圆体带和/或视网膜外界膜在某个位置出现缺损,可能会影响用户的视力。断裂位置可以根据像素坐标系来确定。目标物在目标图像切片中的断裂位置包括:目标物只出现在目标图像切片的其中一边、两边或中间,或者未出现在目标图像切片中。如图6所示,图中的(a)表示目标物在图像切片未出现断裂的情况,而图中的(b)~(f)表示目标物在图像切片出现断裂的情况。
例如,在目标图像切片中建立像素坐标系,确定断裂像素点在像素坐标系中的坐标,从而可以得到目标物在目标图像切片中的断裂位置。
S504,对医学图像中的与断裂位置匹配的位置区域进行标记。
在一个实施例中,服务器在医学图像中查找与确定的断裂位置相匹配的位置区域,也即在医学图像中找到断裂位置;然后,采用不同于医学图像的标识对查找到的位置区域进行标记,如采用与医学图像不同颜色的框进行标记。
S506,在判定出医学图像所属的分类类别后,将标记后的医学图像和分类类别进行显示。
服务器可以将标记后的医学图像和分类类别传输至终端,通过终端来显示标记后的医学图像和分类类别。
上述实施例中,当目标物在目标图像切片中出现断裂的情况时,找到断裂位置,然后在医学图像中对该断裂位置进行标记,然后将医学图像的分类类别以及标记后的医学图像进行显示,从而能够确保能够获得具体类别的同时,还可以在视觉上清楚地看出出现异常的位置,避免工作者在较大的医学图像中来回不断地去查找出现异常的位置,有利于快速定位到出现异常的位置。
在一个实施例中,如图7所示,该方法还可以包括:
S702,当根据识别结果确定目标物在图像切片序列的多个目标图像切片中存在断裂时,则检测多个目标图像切片之间序号的连续性。
其中,图像切片序列中各图像切片均具有对应的序号,该序号可以是在进行切片处理时,依照切片顺序对图像切片进行编号所得的顺序号。例如,在对眼部位置的OCT图像从左至右进行切片处理时,每切分下来一个图像切片,便对一个图像切片依序进行编号,得到对应的序号。
S704,根据连续性确定多个目标图像切片中连续切片的切片数量。
其中,连续切片指的是序号连续的图像切片。切片数量可以指:目标物在连续的目标图像切片中出现断裂时,该连续的目标图像切片的数量即为切片数量。
在一个实施例中,S704具体可以包括:服务器根据连续性确定多个目标图像切片中的连续切片组;获取每个连续切片组的组内切片个数;切片数量包括组内切片个数;在获取的组内切片个数中选取最大的组内切片个数。
其中,连续切片组可以是由上述连续切片所构成的切片组,当存在有多个连续切片组时,统计每个连续切片组中的切片数量,得到每个连续切片组的组内切片个数,然后获取最大的组内切片个数。
S706,确定切片数量与切片总量的比值。
在一个实施例中,在确定切片数量与切片总量的比值之后,服务器还可以将该比值作为异常率;或者,在得到最大的连续切片组的切片数量之后,服务器可以计算最大的组内切片个数与切片总量的比值,将最大的组内切片个数与切片总量的比值作为异常率,此时的异常率即为最大异常率。
S708,在判定医学图像所属的分类类别后,将该比值作为异常率进行风险提示。
其中,不同大小的比值(即不同的异常率)所对应的异常程度不同,因此可以进行不同风险内容的提示,例如,对于椭圆体带和/或视网膜外界膜,椭圆体带和/或视网膜外界膜出现断裂时的比值较小,说明出现眼部异常的严重程度小,此时可以提示椭圆体带和/或视网膜外界膜出现损伤或疾病不严重。
目标物在目标图像切片出现断裂,当出现断裂的目标图像切片是连续的(即这些目标切片属于同一个连续切片组)、且数量较多时,表示目标物断裂的区域较大,异常的严重程度较大,此时服务器依据基于最大的组内切片个数与切片总量之间的比值进行风险提示。
作为一个示例,以医学图像为眼部位置的OCT图像为例进行说明,假设OCT图像被从左到右被切分为16片,得到16个OCT切片;将这些OCT切片分组输入第一图像分割网络中,当第一图像分割网络输出0时,表示椭圆体带和/或视网膜外界膜在该OCT切片是连续的,即椭圆体带和/或视网膜外界膜正常;输出1,表示椭圆体带和/或视网膜外界膜在该OCT切片出现断裂,即椭圆体带和/或视网膜外界膜为异常,得到如下的估计结果p=[0,0,0,0,0,0,0,1,1,1,0,1,1,1,1,0]。从而可以得到OCT切片连续出现异常的连续切片组,通过统计连续的异常个数,得到每一组内异常切片的数量abn_continous=[3,4]。意味着当前结果中有2组连续的异常切片,每组中的切片数量分别为3和4。把abn_continous数组中最大的值,也就是4取出来除以OCT切片的切片数量即16,即可得到最大异常率,上述例子计算出来的最大异常率为4/16=0.25,计算式如下所示:
Figure BDA0002885588910000191
其中,len(p)为OCT切片的切片数量,通过计算最大异常率,可以定量化的提示大规模异常区域的风险,避免造成漏诊。
上述实施例中,当目标物在目标图像切片中出现断裂时,计算连续切片的切片数量与图像切片序列的切片数量之间的比值,将该比值作为目标物的异常率,可以得知目标物的异常程度,根据该异常率进行风险提示,可以避免出现异常程度的误判或漏判的问题。
在一个实施例中,如图8所示,该方法还可以包括:
S802,对医学图像样本进行切片处理,得到样本切片序列。
其中,医学图像样本可以是通过医学设备以非侵入的方式采集人体或人体的某个部位所得的图像,或者通过医学设备对其它物体进行图像采集所得的图像,该其它物体可以包括各种动植物和微生物等。
在一个实施例中,服务器在获得医学图像样本时,基于医学图像样本的均值和方差对医学图像样本进行标准化处理;对处理后的医学图像样本进行图像翻转,得到翻转后的医学图像样本。S802具体可以包括:服务器对翻转后的医学图像样本进行切片处理,得到样本切片序列。
对医学图像样本进行图像处理、切片处理和分组处理,以及获取医学图像样本的方式,可以参考上述实施例的S202。
S804,将样本切片序列中的样本切片分组输入第一图像分类网络中。
S806,通过第一图像分类网络中的第一特征提取器,提取目标物在每个组别的各样本切片中的第一训练图像特征。
S808,通过第一图像分类网络中的第一分类器,对提取的第一训练图像特征进行目标物连续性计算,得到第一目标连续概率;以及,基于第一目标连续概率间差异值的累加和与样本切片序列的切片总量,确定目标物在样本切片序列中的目标连通率。
其中,上述S806~S808可以参考上述实施例中的S204~S208。
S810,计算目标连通率与参考连通率之间的第一损失值。
其中,参考连通率可以是通过金标准计算所得的连通率。在医学领域,金标准可以指当前临床医学界公认的最可靠方法,例如,专业人员通过精密仪器对医学图像样本中的目标物进行标注,然后进行计算所得的连通率;此外,还可以是通过其它可靠方法所得的连通率。
在一个实施例中,服务器可以利用目标损失函数计算目标连通率与参考连通率之间的第一损失值,该目标损失函数可以是L2损失函数、均方误差(Mean Squared Error)函数和交叉熵损失函数中的任一种。
接下来,对上述损失函数进行说明:
1)L2损失函数也被称为最小平方误差(LSE),通过该L2损失函数可以计算出目标连通率f(xi)与参考连通率(Yi)之间差值的平方和,将该平方和作为目标连通率f(xi)与参考连通率(Yi)之间的损失值。其中,该L2损失函数如下所示:
Figure BDA0002885588910000211
2)均方误差函数先求真实值与估计值之间差值的平方,然后将各平方求和,接着求平均得到平均值,即通过均方误差函数可以计算目标连通率yi与参考连通率
Figure BDA0002885588910000214
之间差值的平方和,然后计算各平方和的平均值,将该平均值作为目标连通率f(xi)与参考连通率(Yi)之间的损失值。其中,均方误差函数如下所示:
Figure BDA0002885588910000212
3)交叉熵损失函数表示真实概率分布p(xi)与预测概率分布q(xi)之间的差异,值越小表示预测的结果越好,在本实施例中,p(xi)表示参考连通率,q(xi)表示预测出来的目标连通率。其中,交叉熵损失函数如下所示:
Figure BDA0002885588910000213
S812,根据第一损失值对第一特征提取器的参数和第一分类器的参数进行调整。
其中,上述的参数包括卷积层参数w和偏置参数b。
在一个实施例中,服务器可以将该第一损失值反向传播到第一图像分类网络中第一特征提取器和第一分类器的各网络层,该网络层包括图4所示的卷积层、池化层、归一化-激活层(即归一化层与ReLu函数进行结合所形成的网络层)、全连接层和Softmax层,获得对于各层参数的梯度;根据梯度调整各网络层的参数,直至第一图像分类网络收敛。
其中,ReLu函数为线性整流函数,在第一图像分类网络中可作为激励函数,对来自于上一层神经网络层(即池化层)的输入向量,先通过归一化-激活层进行归一化处理,然后通过归一化-激活层中的ReLu函数对归一化后所得的向量x进行运算,该ReLu函数为f(x)=max(0,x)。
Softmax层可以是基于softmax函数构建的网络层,通过softmax函数可以将全连接层中每个神经元输入进来的特征分别映射成为0至1之间的值(该值即为预测的连通率),而每个神经元对应的这些连通率的累加和为1。在得到每个神经元对应的连通率之后,第一图像分类网络中的第一分类器可以选取最大连通率对应的结果作为医学图像所属的分类类别。
在一个实施例中,在对第一图像分类网络进行训练之前,可以先对第二图像分类网络进行训练,具体可以分为两个阶段进行训练,即第一阶段对第二图像分类网络进行训练,在对第二图像分类网络训练完成后,开始第二阶段,即对第一图像分类网络进行训练,如图9所示。上述S804~S812属于第二阶段,如下训练过程属于第一阶段,其中,第一阶段的训练步骤具体为:
服务器将样本切片序列中的样本切片依次输入第二图像分类网络中;通过第二图像分类网络中的第二特征提取器,提取目标物在输入的样本切片中的第二训练图像特征;通过第二图像分类网络中的第二分类器,对提取的第二训练图像特征进行目标物连续性计算,得到第二目标连续概率;计算第二目标连续概率与参考连续率之间的第二损失值;根据第二损失值对第二特征提取器的参数和第二分类器的参数进行调整;将调整后的第二特征提取器作为第一图像分类网络中的第一特征提取器。
在一个实施例中,该方法还包括:服务器基于目标均值和目标方差的正态分布,分别对第一图像分类网络和第二图像分类网络中的参数进行初始化。
上述实施例中,通过对医学图像样本进行切片处理,得到样本切片序列,第一图像分类网络中的第一特征提取器提取目标物在该样本切片序列各图像切片中的第一训练图像特征,从而降低了提取第一训练图像特征的计算量,加快了特征提取的速率。第一图像分类网络中的第一分类器依据提取的第一训练图像特征依次确定目标物在每个样本切片中的第一目标连续概率,并基于相邻样本切片的第一目标连续概率之间差异值的累加和以及样本切片序列的切片总量,确定目标物样本切片序列中的目标连通率,从而使第一图像分类网络学习到不同样本切片之间的关联性,进而使第一图像分类网络可以提取到不同医学图像的图像切片之间的关联性信息,提高了第一图像分类网络的性能,以及有利于提高医学图像分类的准确性。
在一个实施例中,如图10所示,提供了一种图像分类网络处理方法,该方法可应用于图1中的终端102、服务器104和医学设备108中的至少一种,以该方法应用于图1中的服务器104为例进行说明,包括以下步骤:
S1002,对医学图像样本进行切片处理,得到样本切片序列。
其中,医学图像样本可以是通过医学设备以非侵入的方式采集人体或人体的某个部位所得的图像,或者通过医学设备对其它物体进行图像采集所得的图像,该其它物体可以包括各种动植物和微生物等。
在一个实施例中,服务器在获得医学图像样本时,基于医学图像样本的均值和方差对医学图像样本进行标准化处理;对处理后的医学图像样本进行图像翻转,得到翻转后的医学图像样本。S1002具体可以包括:服务器对翻转后的医学图像样本进行切片处理,得到样本切片序列。
对医学图像样本进行图像处理、切片处理和分组处理,以及获取医学图像样本的方式,可以参考上述实施例的S202。
S1004,将样本切片序列中的样本切片依次输入第二图像分类网络中。
S1006,通过第二图像分类网络中的第二特征提取器,提取目标物在输入的样本切片中的第二训练图像特征。
其中,S1006提取第二训练图像特征的方式可以参考上述实施例中S204提取图像特征的方式。
S1008,通过第二图像分类网络中的第二分类器,对提取的第二训练图像特征进行目标物连续性计算,得到第二目标连续概率。
其中,S1008进行目标物连续性计算的方式可以参考上述实施例中S206中确定连续概率的方式。
S1010,计算第二目标连续概率与参考连续率之间的第二损失值。
在一个实施例中,服务器可以利用目标损失函数计算第二目标连续概率与参考连续率之间的第一损失值,该目标损失函数可以是L2损失函数、均方误差(Mean SquaredError)、交叉熵损失函数和Focal Loss函数中的任一种。
S1012,根据第二损失值对第二特征提取器的参数和第二分类器的参数进行调整。
在一个实施例中,服务器可以将该第二损失值反向传播到第二图像分类网络中第二特征提取器和第二分类器的各网络层,该网络层包括图4所示的卷积层、池化层、归一化层+ReLu、全连接层和Softmax层,获得对于各层参数的梯度;根据梯度调整各网络层的参数,直至第二图像分类网络收敛。
S1014,将调整后的第二特征提取器作为第一图像分类网络中的第一特征提取器,得到包含第一特征提取器和第一分类器的第一图像分类网络。
其中,S1004~S1014属于训练的第一阶段,在结束第一阶段的训练之后,将训练后的第二特征提取器作为第一图像分类网络中的第一特征提取器,即第一图像分类网络采用或共享第二图像分类网络的第二特征提取器;将第一特征提取器与第一分类器进行组合,从而得到第一图像分类网络。
S1016,将样本切片序列中的样本切片分组输入第一图像分类网络中。
S1018,通过第一图像分类网络中的第一特征提取器,提取目标物在每个组别的各样本切片中的第一训练图像特征。
S1020,通过第一图像分类网络中的第一分类器,对提取的第一训练图像特征进行目标物连续性计算,得到第一目标连续概率;以及,基于第一目标连续概率间差异值的累加和与样本切片序列的切片总量,确定目标物在样本切片序列中的目标连通率。
其中,上述S1016~S1020可以参考上述实施例中的S204~S208。
S1022,计算目标连通率与参考连通率之间的第一损失值。
S1024,根据第一损失值对第一特征提取器的参数和第一分类器的参数进行调整。
其中,S1016~S1024属于训练的第二阶段。S1022~S1024的步骤可以参考上述实施例中的S810~812。
上述实施例中,通过对医学图像样本进行切片处理,得到样本切片序列,第一图像分类网络中的第一特征提取器提取目标物在该样本切片序列各图像切片中的第一训练图像特征,从而降低了提取第一训练图像特征的计算量,加快了特征提取的速率。第一图像分类网络中的第一分类器依据提取的第一训练图像特征依次确定目标物在每个样本切片中的第一目标连续概率,并基于相邻样本切片的第一目标连续概率之间差异值的累加和以及样本切片序列的切片总量,确定目标物样本切片序列中的目标连通率,从而使第一图像分类网络学习到不同样本切片之间的关联性,进而使第一图像分类网络可以提取到不同医学图像的图像切片之间的关联性信息,提高了第一图像分类网络的性能,以及有利于提高医学图像分类的准确性。
应该理解的是,虽然图2、5、7、8、10的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、5、7、8、10中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
作为一个示例,以医学图像为OCT图像为例进行说明:首先获取训练集,该训练集可以由不同的OCT图像组成,利用该OCT图像对图像分类网络进行训练,训练方式如图9所示,主要分两个阶段进行模型训练:
1)第一阶段
利用OCT图像的切片(称为OCT切片)对图像分类网络中的特征提取器和分类器进行训练,以确定EZ和EML是否存在断裂的情况。
其中,该特征提取器作为图像分类网络的主干,可以选择ResNet101;分类器可以采用全连接层实现。
2)第二阶段
采用第一阶段中的主干网络,将该主干网络作为第二阶段中图像分类网络的特征提取器,该特征提取器与基于LSTM实现的分类器进行结合,得到新的图像分类网络,然后利用OCT切片对该新的图像分类网络进行训练,来增加OCT切片之间的信息关联度。
需要指出的是,在测试阶段中直接采用第二阶段的图像分类网络进行测试。
接下来,对本实施例中所采用的技术进行说明:
(1)连通率与连通率损失
对于上述两个训练阶段的图像分类网络,第一阶段的图像分类网络中采用交叉熵损失(softmax cross-entropy loss),用于对第一阶段的图像分类网络进行训练。第一阶段的图像分类网络中采用以连通性为评价指标的损失函数,从而可以增加OCT切片之间的信息关联度。
其中,EZ和ELM连通率的定义如下,假定第二阶段中输入连续的图像切片有N片,那么连通率可以通过如下连通率计算式计算得出:
Figure BDA0002885588910000261
其中,Diff1表示相邻OCT切片的连续概率之间的差值,Diff1右上角的1表示的是相邻OCT切片的差值,若为Diff2,则表示在Diff1的基础上再次计算一次Diff1,即为二阶微分。当第二阶段中输入连续的切片数量少于10时,可以使用Diff1就满足要求;当第二阶段中输入连续的切片数量大于10时,可以使用Diff2。然后,把连通性作为评价指标,利用L2损失作为辅助监督损失进行第二阶段的训练,该连通率损失(即连通率的损失值)的计算函数如下:
Figure BDA0002885588910000262
其中,pc为通过第二阶段的图像分类网络预测所得的连通率,yc为根据金标准计算得到的连通率。
(2)最大异常率
在EZ和ELM异常检测的结果之上,也给出了一个异常程度的估计,称为最大异常率。假设OCT图像从左到右被切分为16片,得到16个OCT切片,若网络输出0时,表示EZ和ELM为正常;若网络输出1,表示EZ和ELM为异常,得到如下的估计结果p=[0,0,0,0,0,0,0,1,1,1,0,1,1,1,1,0]。通过统计连续的异常个数,可以得到abn_continous=[3,4],表示连续3个OCT切片异常,以及连续4个OCT切片异常。统计连续的异常个数的方法如下所示:
x=np.array([1,0,0,0,0,1,0,1,0,0,0,0,0])
point_1=np.squeeze(np.array(np.where(x==1)))
if x[-1]==0:
last_point=np.array([len(x)])
point_1=np.concatenate((point_1,last_point),0)
for i in range(len(point_1)-1):
print(point_1[i+1]-point_1[i]-1)
把abn_continous数组中最大的值,也就是4取出来除以向量p的总长度,该总长度即为OCT切片的数量16,即可得到所需的最大异常率,计算式如下所示:
Figure BDA0002885588910000271
通过最大异常率,可以定量化的提示EZ和ELM出现大规模异常区域的风险,避免造成漏诊。
(3)网络训练
2)参数初始化
在两个阶段的不同图像分类网络中,其网络参数均采用ResNet101网络在ImageNet数据集上预训练的参数;此外,所有网络参数均采用方差为0.01、均值为0的高斯分布进行初始化。
2)数据预处理及训练
统一对OCT图像进行标准化处理,其中,标准化处理的过程可以是:将OCT图像的矩阵中的各元素减图像均值,然后将两者之差的绝对值除以图像方差。在进行标准化处理之和,对标准化处理之后的OCT图像做随机水平翻转操作。本实施例中,采用基于Adam的梯度下降法来求解图像分类网络中的卷积层参数w和偏置参数b,采用warm up和cosine学习率衰减的训练策略。通过损失函数来监督网络的训练过程。当该图像分类网络的损失值大于或等于阈值时,调整该图像分类网络的参数,并继续进行训练,直到损失值小于损失阈值。当该图像分类网络的损失值小于损失阈值,或者损失值得到收敛时,停止训练,得到训练好的图像分类网络。
通过实施上述实施例的方案,可以达到以下技术效果:
1)提出了全新的基于深度学习的EM和ELM异常检测方案,可以有效地检测出EM和ELM是否异常。
2)提出了二阶段式训练方式,在第一阶段对网络进行粗训练,第二阶段进行精训练增强切片之间的关联性,提升检测的准确率。
3)首创连通率和最大异常率,提供了定量化nAMD(新生血管性老年性黄斑变性)风险分析,并把连通性作为评价指标,利用L2损失作为损失函数可以进一步提升网络训练的准确率。
在一个实施例中,如图11所示,提供了一种医学图像分类装置,该装置包括:处理模块1102、提取模块1104、确定模块1106和判定模块1108;其中:
处理模块1102,用于对医学图像进行切片处理,得到图像切片序列;
提取模块1104,用于从图像切片序列内的各图像切片中,提取目标物在图像切片中的图像特征;
确定模块1106,用于依据从各图像切片中分别提取的图像特征,依次确定目标物在各图像切片中的连续概率;基于图像切片序列中各相邻图像切片所对应连续概率间差异值的累加和,以及图像切片序列中图像切片的切片总量,确定目标物在图像切片序列中的连通率;
判定模块1108,用于根据连通率判定医学图像所属的分类类别。
在其中的一个实施例中,处理模块1102,还用于确定切片宽度和切片处理时逐步移动的步长;在医学图像中按照步长逐步切分出切片宽度的图像切片,得到图像切片序列;或者,在医学图像中确定感兴趣区域,并在感兴趣区域中按照步长逐步切分出切片宽度的图像切片,得到图像切片序列。
在其中的一个实施例中,提取模块1104,还用于对图像切片序列中的图像切片按照切片顺序进行分组,得到至少两个组别的图像切片;通过第一图像分类网络中的第一特征提取器,分别对每个组别的图像切片进行特征提取,得到目标物在每个组别的图像切片中的图像特征。
在其中的一个实施例中,确定模块1106,还用于通过第一图像分类网络中的第一分类器,对从各中分别提取的图像特征进行异常识别,得到表示目标物在各图像切片中是否断裂的识别结果;基于识别结果确定目标物在各图像切片中的连续概率;或者,依据识别结果确定目标物在各图像切片中的断裂概率,并根据断裂概率得到连续概率。
上述实施例中,通过对医学图像进行切片处理,得到图像切片序列,并提取目标物在该图像切片序列各图像切片中的图像特征,从而降低了提取图像特征的计算量,加快了特征提取的速率。依据提取的图像特征依次确定目标物在每个图像切片中的连续概率,并基于相邻图像切片的连续概率之间差异值的累加和以及切片总量,确定目标物图像切片序列中的连通率,从而得到不同图像切片之间的信息,考虑到了不同图像切片之间的关联性,因此根据连通率判定医学图像所属的分类类别,可以使医学图像分类更加准确。此外,由于无需对目标物在每个图像切片中进行目标物分割,即便目标物较小,也可以基于目标物在图像切片序列中的连通性来判定医学图像的分类类别,有利于提高医学图像分类的准确性。
在其中的一个实施例中,如图12所示,该装置还包括:标记模块1110和显示模块1112;其中:
确定模块1106,还用于当根据识别结果确定目标物在图像切片序列的目标图像切片中断裂时,则确定目标物在目标图像切片中的断裂位置;
标记模块1110,用于对医学图像中的与断裂位置匹配的位置区域进行标记;
显示模块1112,用于在判定出医学图像所属的分类类别后,将标记后的医学图像和分类类别进行显示。
上述实施例中,当目标物在目标图像切片中出现断裂的情况时,找到断裂位置,然后在医学图像中对该断裂位置进行标记,然后将医学图像的分类类别以及标记后的医学图像进行显示,从而能够确保能够获得具体类别的同时,还可以在视觉上清楚地看出出现异常的位置,避免工作者在较大的医学图像中来回不断地去查找出现异常的位置,有利于快速定位到出现异常的位置。
在其中的一个实施例中,如图12所示,该装置还包括:提示模块1114,其中:
提示模块1114,用于当根据识别结果确定目标物在图像切片序列的多个目标图像切片中存在断裂时,则检测多个目标图像切片之间序号的连续性;根据连续性确定多个目标图像切片中连续切片的切片数量;确定切片数量与切片总量的比值;在判定医学图像所属的分类类别后,将比值作为异常率进行风险提示。
在其中的一个实施例中,提示模块1114,还用于根据连续性确定多个目标图像切片中的连续切片组;获取每个连续切片组的组内切片个数;切片数量包括组内切片个数;在获取的组内切片个数中选取最大的组内切片个数;将基于最大的组内切片个数与切片总量之间的比值,作为异常率进行风险提示。
上述实施例中,当目标物在目标图像切片中出现断裂时,计算连续切片的切片数量与图像切片序列的切片数量之间的比值,将该比值作为目标物的异常率,可以得知目标物的异常程度,根据该异常率进行风险提示,可以避免出现异常程度的误判或漏判的问题。
在其中的一个实施例中,切片顺序包括对医学图像进行切片处理时的顺序;
提取模块1104,还用于按照切片顺序对图像切片序列中的图像切片进行排序;确定组内切片数量;依据组内切片数量,对排序后的图像切片序列中的图像切片按照切片进行分组。
在其中的一个实施例中,如图12所示,该装置还包括:输入模块1116、计算模块1118和调整模块1120,其中:
处理模块1102,还用于对医学图像样本进行切片处理,得到样本切片序列;
输入模块1116,用于将样本切片序列中的样本切片分组输入第一图像分类网络中;
提取模块1104,还用于通过第一图像分类网络中的第一特征提取器,提取目标物在每个组别的各样本切片中的第一训练图像特征;
确定模块1106,还用于通过第一图像分类网络中的第一分类器,对提取的第一训练图像特征进行目标物连续性计算,得到第一目标连续概率;以及,基于第一目标连续概率间差异值的累加和与样本切片序列的切片总量,确定目标物在样本切片序列中的目标连通率;
计算模块1118,用于计算目标连通率与参考连通率之间的第一损失值;
调整模块1120,用于根据第一损失值对第一特征提取器的参数和第一分类器的参数进行调整。
在其中的一个实施例中,如图12所示,该装置还包括:翻转模块1122;其中:
处理模块1102,还用于在获得医学图像样本时,基于医学图像样本的均值和方差对医学图像样本进行标准化处理;
翻转模块1122,用于对处理后的医学图像样本进行图像翻转,得到翻转后的医学图像样本;
处理模块1102,还用于对翻转后的医学图像样本进行切片处理,得到样本切片序列。
在其中的一个实施例中,输入模块1116,还用于将样本切片序列中的样本切片依次输入第二图像分类网络中;
提取模块1104,还用于通过第二图像分类网络中的第二特征提取器,提取目标物在输入的样本切片中的第二训练图像特征;
确定模块1106,还用于通过第二图像分类网络中的第二分类器,对提取的第二训练图像特征进行目标物连续性计算,得到第二目标连续概率;
计算模块1118,还用于计算第二目标连续概率与参考连续率之间的第二损失值;
调整模块1120,还用于根据第二损失值对第二特征提取器的参数和第二分类器的参数进行调整;将调整后的第二特征提取器作为第一图像分类网络中的第一特征提取器。
在其中的一个实施例中,连通率为一阶连通率;确定模块1106,还用于在一阶连通率中,确定相邻连通率之间的差值;对差值的绝对值进行求和,得到累加值;根据累加值和一阶连通率的数量,确定目标物在图像切片序列中的二阶连通率;
判定模块1108,还用于根据二阶连通率判定医学图像所属的分类类别。
在一个实施例中,该装置还包括:
初始化模块,用于基于目标均值和目标方差的正态分布,分别对第一图像分类网络和第二图像分类网络中的参数进行初始化。
上述实施例中,通过对医学图像样本进行切片处理,得到样本切片序列,第一图像分类网络中的第一特征提取器提取目标物在该样本切片序列各图像切片中的第一训练图像特征,从而降低了提取第一训练图像特征的计算量,加快了特征提取的速率。第一图像分类网络中的第一分类器依据提取的第一训练图像特征依次确定目标物在每个样本切片中的第一目标连续概率,并基于相邻样本切片的第一目标连续概率之间差异值的累加和以及样本切片序列的切片总量,确定目标物样本切片序列中的目标连通率,从而使第一图像分类网络学习到不同样本切片之间的关联性,进而使第一图像分类网络可以提取到不同医学图像的图像切片之间的关联性信息,提高了第一图像分类网络的性能,以及有利于提高医学图像分类的准确性。
关于医学图像分类装置的具体限定可以参见上文中对于医学图像分类方法的限定,在此不再赘述。上述医学图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,如图13所示,提供了一种图像分类网络处理装置,该装置包括:处理模块1302、输入模块1304、提取模块1306、确定模块1308、计算模块1310和调整模块1312;其中:
处理模块1302,用于对医学图像样本进行切片处理,得到样本切片序列;
输入模块1304,用于将所述样本切片序列中的样本切片分组输入第一图像分类网络中;
提取模块1306,用于通过第一图像分类网络中的第一特征提取器,提取目标物在每个组别的各样本切片中的第一训练图像特征;
确定模块1308,用于通过所述第一图像分类网络中的第一分类器,对提取的所述第一训练图像特征进行目标物连续性计算,得到第一目标连续概率;以及,基于所述第一目标连续概率间差异值的累加和与所述样本切片序列的切片总量,确定所述目标物在所述样本切片序列中的目标连通率;
计算模块1310,用于计算所述目标连通率与参考连通率之间的第一损失值;
调整模块1312,用于根据所述第一损失值对所述第一特征提取器的参数和所述第一分类器的参数进行调整。
在其中的一个实施例中,如图14所示,该装置还包括:翻转模块1314;其中:
处理模块1302,还用于在获得医学图像样本时,基于医学图像样本的均值和方差对医学图像样本进行标准化处理;
翻转模块1314,用于对处理后的医学图像样本进行图像翻转,得到翻转后的医学图像样本;
处理模块1302,还用于对翻转后的医学图像样本进行切片处理,得到样本切片序列。
在其中的一个实施例中,输入模块1304,还用于将样本切片序列中的样本切片依次输入第二图像分类网络中;
提取模块1306,还用于通过第二图像分类网络中的第二特征提取器,提取目标物在输入的样本切片中的第二训练图像特征;
第三确定模块1308,还用于通过第二图像分类网络中的第二分类器,对提取的第二训练图像特征进行目标物连续性计算,得到第二目标连续概率;
计算模块1310,还用于计算第二目标连续概率与参考连续率之间的第二损失值;
调整模块1312,还用于根据第二损失值对第二特征提取器的参数和第二分类器的参数进行调整;将调整后的第二特征提取器作为第一图像分类网络中的第一特征提取器。
在一个实施例中,该装置还包括:
初始化模块,用于基于目标均值和目标方差的正态分布,分别对第一图像分类网络和第二图像分类网络中的参数进行初始化。
上述实施例中,通过对医学图像样本进行切片处理,得到样本切片序列,第一图像分类网络中的第一特征提取器提取目标物在该样本切片序列各图像切片中的第一训练图像特征,从而降低了提取第一训练图像特征的计算量,加快了特征提取的速率。第一图像分类网络中的第一分类器依据提取的第一训练图像特征依次确定目标物在每个样本切片中的第一目标连续概率,并基于相邻样本切片的第一目标连续概率之间差异值的累加和以及样本切片序列的切片总量,确定目标物样本切片序列中的目标连通率,从而使第一图像分类网络学习到不同样本切片之间的关联性,进而使第一图像分类网络可以提取到不同医学图像的图像切片之间的关联性信息,提高了第一图像分类网络的性能,以及有利于提高医学图像分类的准确性。
关于图像分类网络处理装置的具体限定可以参见上文中对于图像分类网络处理方法的限定,在此不再赘述。上述图像分类网络处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器、终端或医学设备,以计算机设备是服务器为例进行说明,其内部结构图可以如图15所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库可用于存储医学图像。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种医学图像分类方法或图像分类网络处理方法。
本领域技术人员可以理解,图15中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种医学图像分类方法,其特征在于,所述方法包括:
对医学图像进行切片处理,得到图像切片序列;
从所述图像切片序列内的各图像切片中,提取目标物在所述图像切片中的图像特征;
依据从各所述图像切片中分别提取的所述图像特征,依次确定所述目标物在各所述图像切片中连续的概率,得到连续概率;
确定所述图像切片序列中各相邻图像切片所对应连续概率间的差异值的累加和以及所述图像切片序列中图像切片的切片总量之间的比值,基于数值一与所述比值之间的差值确定所述目标物在所述图像切片序列中的连通率;所述差异值为所述相邻图像切片各自对应的连续概率之间差值的绝对值;
根据所述连通率判定所述医学图像所属的分类类别。
2.根据权利要求1所述的方法,其特征在于,所述对医学图像进行切片处理,得到图像切片序列包括:
确定切片宽度和切片处理时逐步移动的步长;
在所述医学图像中按照所述步长逐步切分出所述切片宽度的图像切片,得到图像切片序列;或者,
在所述医学图像中确定感兴趣区域,并在所述感兴趣区域中按照所述步长逐步切分出所述切片宽度的图像切片,得到图像切片序列。
3.根据权利要求1所述的方法,其特征在于,所述从所述图像切片序列内的各图像切片中,提取目标物在所述图像切片中的图像特征包括:
对所述图像切片序列中的图像切片按照切片顺序进行分组,得到至少两个组别的图像切片;
通过第一图像分类网络中的第一特征提取器,分别对每个所述组别的图像切片进行特征提取,得到目标物在每个所述组别的图像切片中的图像特征。
4.根据权利要求3所述的方法,其特征在于,所述依据从各所述图像切片中分别提取的所述图像特征,依次确定所述目标物在各所述图像切片中连续的概率,得到连续概率包括:
通过所述第一图像分类网络中的第一分类器,对从各所述中分别提取的所述图像特征进行异常识别,得到表示所述目标物在各所述图像切片中是否断裂的识别结果;
基于所述识别结果确定所述目标物在各所述图像切片中连续的概率,得到连续概率;或者,
依据所述识别结果确定所述目标物在各所述图像切片中断裂的概率,得到断裂概率,并根据所述断裂概率得到所述连续概率。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当根据所述识别结果确定所述目标物在所述图像切片序列的目标图像切片中断裂时,则确定所述目标物在所述目标图像切片中的断裂位置;
对所述医学图像中的与所述断裂位置匹配的位置区域进行标记;
在判定出所述医学图像所属的分类类别后,将标记后的医学图像和所述分类类别进行显示。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当根据所述识别结果确定所述目标物在所述图像切片序列的多个目标图像切片中存在断裂时,则检测多个目标图像切片之间序号的连续性;
根据所述连续性确定所述多个目标图像切片中连续切片的切片数量;
确定所述切片数量与所述切片总量的比值;
在判定所述医学图像所属的分类类别后,将所述比值作为异常率进行风险提示。
7.根据权利要求6所述的方法,其特征在于,所述根据所述连续性确定所述多个目标图像切片中连续切片的切片数量包括:
根据所述连续性确定所述多个目标图像切片中的连续切片组;
获取每个所述连续切片组的组内切片个数;所述切片数量包括组内切片个数;
在获取的组内切片个数中选取最大的组内切片个数;
所述将所述比值作为异常率进行风险提示包括:
将基于所述最大的组内切片个数与所述切片总量之间的比值,作为异常率进行风险提示。
8.根据权利要求3所述的方法,其特征在于,所述切片顺序包括对所述医学图像进行切片处理时的顺序;
所述对所述图像切片序列中的图像切片按照切片顺序进行分组包括:
按照所述切片顺序对所述图像切片序列中的图像切片进行排序;
确定组内切片数量;
依据所述组内切片数量,对排序后的所述图像切片序列中的图像切片按照切片进行分组。
9.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:
对医学图像样本进行切片处理,得到样本切片序列;
将所述样本切片序列中的样本切片分组输入所述第一图像分类网络中;
通过所述第一图像分类网络中的第一特征提取器,提取目标物在每个组别的各样本切片中的第一训练图像特征;
通过所述第一图像分类网络中的第一分类器,对提取的所述第一训练图像特征进行目标物连续性计算,得到第一目标连续概率;以及,基于所述第一目标连续概率间差异值的累加和与所述样本切片序列的切片总量,确定所述目标物在所述样本切片序列中的目标连通率;
计算所述目标连通率与参考连通率之间的第一损失值;
根据所述第一损失值对所述第一特征提取器的参数和所述第一分类器的参数进行调整。
10.根据权利要求1至8中任一项所述的方法,其特征在于,所述连通率为一阶连通率;所述方法还包括:
在所述一阶连通率中,确定相邻连通率之间的差值;
对所述差值的绝对值进行求和,得到累加值;
根据所述累加值和所述一阶连通率的数量,确定所述目标物在所述图像切片序列中的二阶连通率;
所述根据所述连通率判定所述医学图像所属的分类类别包括:
根据所述二阶连通率判定所述医学图像所属的分类类别。
11.一种图像分类网络处理方法,其特征在于,所述方法包括:
对医学图像样本进行切片处理,得到样本切片序列;
将所述样本切片序列中的样本切片分组输入第一图像分类网络中;
通过第一图像分类网络中的第一特征提取器,提取目标物在每个组别的各样本切片中的第一训练图像特征;
通过所述第一图像分类网络中的第一分类器,对提取的所述第一训练图像特征进行目标物连续性计算,得到第一目标连续概率;以及,确定所述第一目标连续概率间的差异值的累加和与所述样本切片序列的切片总量之间的比值,基于数值一与所述比值之间的差值确定所述目标物在所述样本切片序列中的目标连通率;所述差异值为所述相邻样本切片各自对应的第一目标连续概率之间差值的绝对值;
计算所述目标连通率与参考连通率之间的第一损失值;
根据所述第一损失值对所述第一特征提取器的参数和所述第一分类器的参数进行调整。
12.一种医学图像分类装置,其特征在于,所述装置包括:
处理模块,用于对医学图像进行切片处理,得到图像切片序列;
提取模块,用于从所述图像切片序列内的各图像切片中,提取目标物在所述图像切片中的图像特征;
确定模块,用于依据从各所述图像切片中分别提取的所述图像特征,依次确定所述目标物在各所述图像切片中连续的概率,得到连续概率;确定所述图像切片序列中各相邻图像切片所对应连续概率间的差异值的累加和以及所述图像切片序列中图像切片的切片总量之间的比值,基于数值一与所述比值之间的差值确定所述目标物在所述图像切片序列中的连通率;所述差异值为所述相邻图像切片各自对应的连续概率之间差值的绝对值;
判定模块,用于根据所述连通率判定所述医学图像所属的分类类别。
13.一种图像分类网络处理装置,其特征在于,所述装置包括:
处理模块,用于对医学图像样本进行切片处理,得到样本切片序列;
输入模块,用于将所述样本切片序列中的样本切片分组输入第一图像分类网络中;
提取模块,用于通过第一图像分类网络中的第一特征提取器,提取目标物在每个组别的各样本切片中的第一训练图像特征;
确定模块,用于通过所述第一图像分类网络中的第一分类器,对提取的所述第一训练图像特征进行目标物连续性计算,得到第一目标连续概率;以及,确定所述第一目标连续概率间差异值的累加和与所述样本切片序列的切片总量之间的比值,基于数值一与所述比值之间的差值确定所述目标物在所述样本切片序列中的目标连通率;所述差异值为所述相邻样本切片各自对应的第一目标连续概率之间差值的绝对值;
计算模块,用于计算所述目标连通率与参考连通率之间的第一损失值;
调整模块,用于根据所述第一损失值对所述第一特征提取器的参数和所述第一分类器的参数进行调整。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202110012705.5A 2021-01-06 2021-01-06 医学图像分类方法、图像分类网络处理方法、装置和设备 Active CN112699950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110012705.5A CN112699950B (zh) 2021-01-06 2021-01-06 医学图像分类方法、图像分类网络处理方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110012705.5A CN112699950B (zh) 2021-01-06 2021-01-06 医学图像分类方法、图像分类网络处理方法、装置和设备

Publications (2)

Publication Number Publication Date
CN112699950A CN112699950A (zh) 2021-04-23
CN112699950B true CN112699950B (zh) 2023-03-24

Family

ID=75514863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110012705.5A Active CN112699950B (zh) 2021-01-06 2021-01-06 医学图像分类方法、图像分类网络处理方法、装置和设备

Country Status (1)

Country Link
CN (1) CN112699950B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139627B (zh) * 2021-06-22 2021-11-05 北京小白世纪网络科技有限公司 纵隔肿物识别方法、***及装置
CN113420170B (zh) * 2021-07-15 2023-04-14 宜宾中星技术智能***有限公司 大数据图像的多线程存储方法、装置、设备和介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192285B (zh) * 2018-07-25 2022-11-04 腾讯医疗健康(深圳)有限公司 图像分割方法、装置、存储介质和计算机设备
EP3924931A1 (en) * 2019-02-14 2021-12-22 Carl Zeiss Meditec, Inc. System for oct image translation, ophthalmic image denoising, and neural network therefor
CN110110617B (zh) * 2019-04-22 2021-04-20 腾讯科技(深圳)有限公司 医学影像分割方法、装置、电子设备和存储介质
CN110321920B (zh) * 2019-05-08 2021-10-22 腾讯科技(深圳)有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备

Also Published As

Publication number Publication date
CN112699950A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN110473192B (zh) 消化道内镜图像识别模型训练及识别方法、装置及***
Sevastopolsky Optic disc and cup segmentation methods for glaucoma detection with modification of U-Net convolutional neural network
CN109543526B (zh) 基于深度差异性特征的真假面瘫识别***
Devries et al. Multi-task learning of facial landmarks and expression
Kandhasamy et al. Diagnosis of diabetic retinopathy using multi level set segmentation algorithm with feature extraction using SVM with selective features
EP3101594A1 (en) Saliency information acquisition device and saliency information acquisition method
CN112581438B (zh) 切片图像识别方法、装置和存储介质及电子设备
CN112699950B (zh) 医学图像分类方法、图像分类网络处理方法、装置和设备
CN111126240B (zh) 一种三通道特征融合人脸识别方法
JP2017016593A (ja) 画像処理装置、画像処理方法、及びプログラム
CN110263920A (zh) 卷积神经网络模型及其训练方法和装置、巡检方法和装置
CN113658165B (zh) 杯盘比确定方法、装置、设备及存储介质
Poliyapram et al. Deep learning model for water/ice/land classification using large-scale medium resolution satellite images
CN113705596A (zh) 图像识别方法、装置、计算机设备和存储介质
Bharathi et al. Diabetes diagnostic method based on tongue image classification using machine learning algorithms
Prabhakar et al. Automatic detection of diabetic retinopathy in retinal images: a study of recent advances
CN116168438A (zh) 关键点检测方法、装置及电子设备
CN115497092A (zh) 图像处理方法、装置及设备
Pandey et al. Survey on finger vein recognition using convolutional neural network
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
CN112906680A (zh) 一种行人属性识别方法、装置及电子设备
CN109670470B (zh) 行人关系识别方法、装置、***及电子设备
CN115797990A (zh) 图像分类、图像处理方法、装置和存储介质
CN114519729A (zh) 图像配准质量评估模型训练方法、装置和计算机设备
CN113408356A (zh) 基于深度学习的行人重识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40042447

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant