CN114565582B - 一种医学图像分类和病变区域定位方法、***及存储介质 - Google Patents

一种医学图像分类和病变区域定位方法、***及存储介质 Download PDF

Info

Publication number
CN114565582B
CN114565582B CN202210198514.7A CN202210198514A CN114565582B CN 114565582 B CN114565582 B CN 114565582B CN 202210198514 A CN202210198514 A CN 202210198514A CN 114565582 B CN114565582 B CN 114565582B
Authority
CN
China
Prior art keywords
image
medical image
medical
module
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210198514.7A
Other languages
English (en)
Other versions
CN114565582A (zh
Inventor
陈海欣
杨雪松
邓晓
陈思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Map Reading Technology Co ltd
Original Assignee
Foshan Map Reading Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Map Reading Technology Co ltd filed Critical Foshan Map Reading Technology Co ltd
Priority to CN202210198514.7A priority Critical patent/CN114565582B/zh
Publication of CN114565582A publication Critical patent/CN114565582A/zh
Application granted granted Critical
Publication of CN114565582B publication Critical patent/CN114565582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及医学图像识别和检测技术领域，尤其涉及一种医学图像分类和病变区域定位方法、***及存储介质，该方法包括步骤1：接收医学影像设备实时截取的医学图像；步骤2：对医学图像进行检测分类；步骤3：根据步骤2的检测分类结果，当检测分类结果中包括图像扫描完成度为100％时，调用对应类型图像的检测定位算法，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；步骤4：根据检测信息在医学图像上进行勾画和标注，获得标注后的辅助图像；步骤5：将步骤4获得的辅助图像反馈发送至医学影像设备。本发明能为多个医学影像设备所共用，并且无需对现有医学影像设备进行变更或者要求其控制软件提供接口，便实现医学图像的勾画和标注。

Description

一种医学图像分类和病变区域定位方法、***及存储介质
技术领域
本发明涉及医学图像识别和检测技术领域，尤其涉及一种医学图像分类和病变区域定位方法、***及存储介质。
背景技术
在医学影像设备扫描患者的过程中，有很多中情况需要进行多步扫描，而下一步扫描方案(参数、位置等)通常是基于操作人员对当前扫描结果的分析而确定的。如在CT定位像的基础上判断下一步行断层成像的轴向位置区域以及扫描序列参数，在大范围磁共振扫描的基础上确定下一步行局部扫描的位置、切片角度和扫描序列参数，以及在SPECT全身平片扫描的基础上确定下一步行局部断层扫描的位置和采集参数等。
在采集过程中的图像在线分析从而确定下一步扫描的方案，对设备操作人员来说是非常有挑战和难度的工作。首先，设备操作人员通常不是资深医师，对图像判断缺乏经验；其次，医学影像设备的操作软件通常缺乏辅助图像分析的工具；再次，扫描过程中需要进行快速决策，避免长时间耽搁导致病人的不良体验。
目前已有些医学影像设备厂商，开发了自己的图像在线分析模块，比如针对CT定位像进行器官检测，从而引导断层成像的摆位等。一方面，相关功能的开发，属于对现有设备(软件)的设计变更，需要进行严格的流程审批，上市时间较长；另一方面，目前仅有部分设备厂商愿意或正在实施该类功能，同时愿意以合理的价格提供该类功能给用户——特别是上市时间比较长的设备的用户。
因此，目前临床中具备该功能的产品仍然较少。从而使在一些医学影像扫描中，由于经验不足或时间紧迫，不可避免的导致采集图像的不完全、不准确或者质量降低，从而影响进一步的诊断。
发明内容
目的在于提出一种医学图像分类和病变区域定位方法、***及计算机可读存储介质，以解决上述背景技术中提出的现有医学影像设备的操作软件缺乏通用的辅助图像分析的工具，需匹配经验丰富的资深医师才能对该医学影像设备获取的图像进行勾画和标记的问题。
为达此目的，本发明采用以下技术方案：
一种医学图像分类和病变区域定位方法，包括以下步骤：
步骤1：接收医学影像设备实时截取的医学图像；
步骤2：对医学图像进行检测分类；
步骤3：根据步骤2的检测分类结果，当检测分类结果中包括图像扫描完成度为100％时，调用对应类型图像的检测定位算法，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；
步骤4：根据检测信息在医学图像上进行勾画和标注，获得标注后的辅助图像；
步骤5：将步骤4获得的辅助图像反馈发送至医学影像设备。
优选的，所述医学图像包括定位像、侦察像或全身像；
所述检测分类为检测是否有正在进行扫描的医学图像，同时根据预先设计好的完成度分类标准对医学图像的完成度进行评估，或者根据分析来自同一医学影像设备前后两次获得的医学图像变化对比对后获得的医学图像的完成情况进行评估。
优选的，所述步骤2采用YOLO v5的算法。
优选的，所述检测定位算法包括RetinaNet网络模块和CenterNet网络模块；
当医学图像为定位像或侦察像时，调用RetinaNet网络模块，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；
当医学图像为全身像时，调用RetinaNet网络模块，对潜在感兴趣器官及病灶区域进行检测，获得检测信息。
一种医学图像分类和病变区域定位***，包括医学影像设备和图像分析服务器，所述医学影像设备与所述图像分析服务器通信连接；
所述医学影像设备包括截图模块和发送模块，所述截图模块用于实时截取所述医学影像设备的医学图像，所述发送模块用于发送医学图像至所述图像分析服务器；
所述图像分析服务器包括接收模块、检测分类模块、调用模块、勾画标注模块和反馈发送模块；
所述接收模块用于接收所述医学影像设备实时截取的医学图像；
所述检测分类模块用于对医学图像进行检测分类，输出检测分类结果；
所述调用模块用于当检测分类结果中包括图像扫描完成度为％时，调用对应类型图像的检测定位算法，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；
所述勾画标注模块用于根据检测信息在医学图像进行勾画和标注，获得标注后的辅助图像；
所述反馈发送模块用于反馈发送辅助图像至所述医学影像设备。
优选的，所述医学影像设备还包括定时模块，所述定时模块用于定时驱动所述截图模块，以定时且实时截取正在扫描或者扫描完成的医学图像。
优选的，所述医学图像包括定位像、侦察像或全身像；
所述检测分类为检测是否有正在进行扫描的医学图像，同时根据预先设计好的完成度分类标准对医学图像的完成度进行评估，或者根据分析来自同一所述医学影像设备前后两次获得的医学图像变化对比对医学图像的完成情况进行评估。
优选的，所述检测分类模块22部署有YOLO v5的算法。
优选的，所述检测定位算法包括RetinaNet网络模块和CenterNet网络模块；
当医学图像为定位像或侦察像时，调用RetinaNet网络模块，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；
当医学图像为全身像时，调用RetinaNet网络模块，对潜在感兴趣器官及病灶区域进行检测，获得检测信息。
一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有医学图像分类和病变区域定位程序，所述医学图像分类和病变区域定位程序被处理器执行时实现上述所述的一种医学图像分类和病变区域定位方法的步骤。
与现有技术相比，上述技术方案具有以下有益效果：
(1)本发明的方法流程如下：首先接收医学影像设备实时截取的医学图像进行检测分类分析，当检测分类结果中包括图像完成度扫描评估度为100％时，再调用对应类型图像的检测定位算法，通过检测定位算法的运行，获得检测信息，根据检测信息在医学图像上进行勾画和标注，获得标注后的辅助图像，实际使用过程中，操作人员只需打开医学影像设备，指导病人，启动医学影像设备进行采集截图，等待辅助图像的反馈即可，避免了操作人员不具有资深判断能力而无法发现可疑病灶及其所在部位的问题；同时根据反馈的辅助图像上对器官的标注，还更方便操作人员在进行特定器官部位的扫描时，操作仪器使其对准器官的中心，避免扫描床位未对准导致扫描不完整或增加不必要的扫描床位，辅助操作人员更好的实施下一步扫描诊断。
(2)本发明的***采用分布式架构，由医学影像设备(客户端)和图像分析服务器(服务端)两部分组成，如图所示。简化运行在医学影像设备操作计算机的客户端软件功能和复杂度：通过实时截取医学影像设备的医学图像，上传至图像分析服务器的服务软件端，经过图像分析服务器的检测分类步骤和检测定位步骤后，医学影像设备操作计算机的客户端软件可得到图像分析服务器服务软件端反馈发送的带勾画和标注的辅助图像，由操作人员点击显示，由此避免对医学影像设备操作计算机造成的影响和干扰。
附图说明
图1是本发明医学图像分类和病变区域定位方法的流程示意图；
图2是本发明医学图像分类和病变区域定位***的原理示意图；
图3是本发明YOLO v5算法的网络框架示意图；
图4是本发明在医学影像设备中CT定位像的检测示意图；
图5是本发明在医学影像设备中SPECT全身平面像的检测示意图；
图6是本发明RetinaNet网络模块的结构示意图；
图7是本发明在图像分析服务器中调用RetinaNet网络模块检测CT定位像中不同区域的勾画和标注示意图；
图8是本发明CenterNet网络模块的结构示意图；
图9是本发明在图像分析服务器中调用CenterNet网络模块检测SPECT全身平面像高摄取器官及病灶区域的勾画和标注示意图。
附图中：医学影像设备1、图像分析服务器2、截图模块11、发送模块12、定时模块13、接收模块21、检测分类模块22、调用模块23、勾画标注模块24、反馈发送模块25。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
一种医学图像分类和病变区域定位方法，包括以下步骤：
步骤1：接收医学影像设备实时截取的医学图像；
步骤2：对医学图像进行检测分类；
步骤3：根据步骤2的检测分类结果，当检测分类结果中包括图像扫描完成度为100％时，调用对应类型图像的检测定位算法，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；
步骤4：根据检测信息在医学图像上进行勾画和标注，获得标注后的辅助图像；
步骤5：将步骤4获得的辅助图像反馈发送至医学影像设备。
现有的医学影像设备的操作软件通常缺乏辅助图像分析的工具，本方法可以为多个医学影像设备所共用，并且无需对现有医学影像设备进行变更或者要求现有医学影像设备控制软件提供接口，便能够实现医学图像的勾画和标注，解决现有使用医学影像设备用户需匹配经验丰富的资深医师才能对该医学影像设备获取的图像进行勾画和标记的问题，同时由于医学图像的类型很多，资深医师并不是对每类医学图像都熟悉，因此还解决了同一用户需匹配多名具有不同经验的资深医师的问题。
具体的，本发明提出的方法流程如图1所示，首先接收医学影像设备实时截取的医学图像进行检测分类分析，当检测分类结果中包括图像完成度扫描评估度为100％时，再调用对应类型图像的检测定位算法，通过检测定位算法的运行，获得检测信息，根据检测信息在医学图像上进行勾画和标注，获得标注后的辅助图像，实际使用过程中，操作人员只需打开医学影像设备，指导病人，启动医学影像设备进行采集截图，等待辅助图像的反馈即可，避免了操作人员不具有资深判断能力而无法发现可疑病灶及其所在部位的问题；同时根据反馈的辅助图像上对器官的标注，还更方便操作人员在进行特定器官部位的扫描时，操作仪器使其对准器官的中心，避免扫描床位未对准导致扫描不完整或增加不必要的扫描床位，辅助操作人员更好的实施下一步扫描诊断。
更进一步的说明，所述医学图像包括定位像、侦察像或全身像；
所述检测分类为检测是否有正在进行扫描的医学图像，同时根据预先设计好的完成度分类标准对医学图像的完成度进行评估，或者根据分析来自同一医学影像设备前后两次获得的医学图像变化对比对后获得的医学图像的完成情况进行评估。
定位像是指CT在断层扫描前，对成像目标进行平面扫描得出的二维X光平面像，如图4所示。
侦察像是指CT、磁共振(MRI)、SPECT(单光子发射断层成像)或PET(正电子发射断层成像)在行正式扫描之前，针对某个区域进行快速扫描获得的图像，此类图像通常信噪比和分辨率较正式扫描图像低，用于获得初步信息，供操作人员确定下一步扫描的部位和参数。
全身像主要指核医学在针对肿瘤等临床应用中，行全身扫描，以发现和定位肿瘤原发及转移灶的一种成像方式。包括全身平片成像和全身断层成像两种，如图5所示。根据诊断需要，有可能在全身成像的基础上，对某一个部位行追加的断层显像或延迟显像。
更进一步的说明，所述步骤2采用YOLO v5的算法。YOLO v5算法在检测部分的输出一般包含检测框左上角的起始坐标和长宽、检测框中包含检测物体的置信度，以及检测框在每个分类类别中的置信度。
当前检测的医学图像类别中，定位像、侦察像和全身像属于互斥类别，不同完成度的类别也属于互斥类别，而图像类别和不同完成度的类别同时存在时，如果对图像类别和完成度的类别进行组合会产生更多的组别(图像类别×完成度类别)，如定位像50％完成度，侦察像75％完成度等，一般来说需要更多的数据对YOLO v5算法进行训练。由于每个图像类别都要包含不同完成度类别，所以当前采用对不同组别分别做Softmax函数的方式，并在网络训练过程中对训练图像随机进行不同程度的人为遮蔽并标记完成度分类，在网络训练过程中，该网络主要分为骨干部分、颈部、头部三个部分，其中骨干部分用于提取图像中的特征；颈部用于对骨干网络不同尺寸/层级的特征层进行融合加工，增强网络的表达能力；头部用于预测检测框的位置以及类别信息。
Softmax函数的作用是能使得各分类类型的概率和为1。对不同的互斥组分别使用Softmax函数一方面能得到各自组内的概率最高的类型，另一方面能使得多组类别的数据同时训练，缩短训练时间，如训练数据不一定包含全身像50％完成度，却能依据训练数据其它图像类型50％完成度的数据，预测出全身像50％完成度的分类。
虽然目前存在其它的分类算法，但本方法中YOLO v5算法是该场景下的最优解，原因是YOLO v5算法在保有一定的检测准确率下检测速度相对较快，更便于操作人员实时把握图像完成度的进度。且此分类步骤由于检测的图像类型之间差异较大，不容易出错。
进一步的，YOLO v5算法还使用了马赛克图片增强训练和自适应锚定框等技术，主干网络为跨阶段局部网络，通过Neck-路径聚合网络和Head-YOLO通用检测层实现对不同尺度目标的检测，以适应不同医学图像设备操作软件中监视图像的尺度差异，如图3所示。
更进一步的说明，所述检测定位算法包括RetinaNet网络模块和CenterNet网络模块；
当医学图像为定位像或侦察像时，调用RetinaNet网络模块，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；
当医学图像为全身像时，调用RetinaNet网络模块，对潜在感兴趣器官及病灶区域进行检测，获得检测信息。
实施例1
当检测分类确定医学图像为CT定位像时，调用RetinaNet网络模型对该CT定位像的不同轴向解剖区域进行检测，以辅助引导摆位，如图6所示。该网络模型采用resnet50作为基础网络提取特征，之后用FPN(特征空间金字塔)进行多尺寸地预测，一共输出分别包括大、中和小三种尺寸输出框的特征图，每种输出为两路进行分类和目标框的回归，输出时采用9个锚定框，其包含3种的尺寸大小及3种长宽比的组合，适应医学图像中不同的检测框尺寸。整个结构不同层的头部(图4中的c和d部分)共享参数，有利于减少模型的参数量，使运行更简洁高效，但由于任务的类别不一致，分类和回归分支间的参数不共享，分类分支的最后一级卷积的bias初始化成，其检测结果示例如图7所示。
实施例2
当检测分类确定医学图像为SPECT全身平片图像时，调用CenterNet网络模块对该SPECT全身平片图像进行高摄取器官及病灶检测，如图8所示，骨干部分网络采用Resnet50，输出大小为(b,16,16,2048)，加入丢弃层，随机断开50％。再通过三次上采样，将特征图尺度变成(128，128)，与通过高斯半径得到的热力图(heatmap)一致。输入数据通过仿射变换保证最小边不小于512，防止仿射变换对图像的变形不会太大。在数据增强部分加入：视觉变化如随机的对比度、亮度、锐度变化、直方图均衡化等，以及常规的旋转、剪切、平移、尺度变换等。损失函数：heatmap采用focalloss，输出框的宽和高度使用L1loss，衰减系数0.1.目标框偏置采用L1loss，无衰减。总loss为上述三种之和，其检测结果示例如图9所示。
实施例3
对于SPECT或PET全身断层图像的不同层间图像，也可以应用实施例2中的CenterNet网络模型进行病变区域的检测。
一种医学图像分类和病变区域定位***，包括医学影像设备1和图像分析服务器2，所述医学影像设备1与所述图像分析服务器2通信连接；
所述医学影像设备1包括截图模块11和发送模块12，所述截图模块11用于实时截取所述医学影像设备1的医学图像，所述发送模块12用于发送医学图像至所述图像分析服务器2；
所述图像分析服务器2包括接收模块21、检测分类模块22、调用模块23、勾画标注模块24和反馈发送模块25；
所述接收模块21用于接收所述医学影像设备1实时截取的医学图像；
所述检测分类模块22用于对医学图像进行检测分类，输出检测分类结果；
所述调用模块23用于当检测分类结果中包括图像扫描完成度为100％时，调用对应类型图像的检测定位算法，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；
所述勾画标注模块24用于根据检测信息在医学图像进行勾画和标注，获得标注后的辅助图像；
所述反馈发送模块25用于反馈发送辅助图像至所述医学影像设备1。
本***采用分布式架构，由医学影像设备1(客户端)和图像分析服务器2(服务端)两部分组成，如图2所示。简化运行在医学影像设备1操作计算机的客户端软件功能和复杂度：通过实时截取医学影像设备1的医学图像，上传至图像分析服务器2的服务软件端，经过图像分析服务器2的检测分类步骤和检测定位步骤后，医学影像设备1操作计算机的客户端软件可得到图像分析服务器2服务软件端反馈发送的带勾画和标注的辅助图像，由操作人员点击显示，由此避免对医学影像设备1操作计算机造成的影响和干扰。
更进一步的说明，所述医学影像设备1还包括定时模块13，所述定时模块13用于定时驱动所述截图模块11，以定时且实时截取正在扫描或者扫描完成的医学图像。
在本发明的***中，定时且实时截取任一医学影像设备的医学图像，发送至图像分析服务器2形成训练图像，并在图像分析服务器2中人为地对训练图像的图像类型、位置进行标注，加上人为遮蔽训练图像并标记完成度分类，再输入至检测分类模块22进行检测分类，核对检测分类结果是否正确。由此通过定时模块13不断地对检测分类模块22进行训练图像的学习和训练，从而强化训练检测分类模块22的检测分类性能，达到更加高效准确的检测分类效果。
更进一步的说明，所述医学图像包括定位像、侦察像或全身像；
所述检测分类为检测是否有正在进行扫描的医学图像，同时根据预先设计好的完成度分类标准对医学图像的完成度进行评估，或者根据分析来自同一所述医学影像设备1前后两次获得的医学图像变化对比对医学图像的完成情况进行评估。
更进一步的说明，所述检测分类模块22部署有YOLO v5的算法。
更进一步的说明，所述检测定位算法包括RetinaNet网络模块和CenterNet网络模块；
当医学图像为定位像或侦察像时，调用RetinaNet网络模块，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；
当医学图像为全身像时，调用RetinaNet网络模块，对潜在感兴趣器官及病灶区域进行检测，获得检测信息。
一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有医学图像分类和病变区域定位程序，所述医学图像分类和病变区域定位程序被处理器执行时实现上述所述的一种医学图像分类和病变区域定位方法的步骤。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.一种医学图像分类和病变区域定位方法，其特征在于，包括以下步骤：
步骤1：接收医学影像设备实时截取的医学图像；其中，所述医学图像包括定位像、侦察像或全身像；
步骤2：采用YOLO v5的算法对医学图像进行检测分类；其中，所述检测分类为检测是否有正在进行扫描的医学图像，同时根据预先设计好的完成度分类标准对医学图像的完成度进行评估，或者根据分析来自同一医学影像设备前后两次获得的医学图像变化对比对后获得的医学图像的完成情况进行评估；
步骤3：根据步骤2的检测分类结果，当检测分类结果中包括图像扫描完成度为100％时，调用对应类型图像的检测定位算法，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；
其中，所述检测定位算法包括RetinaNet网络模块和CenterNet网络模块；
当医学图像为定位像或侦察像时，调用RetinaNet网络模块，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；
当医学图像为全身像时，调用CenterNet网络模块，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；
步骤4：根据检测信息在医学图像上进行勾画和标注，获得标注后的辅助图像；
步骤5：将步骤4获得的辅助图像反馈发送至医学影像设备。
2.一种医学图像分类和病变区域定位***，其特征在于：包括医学影像设备和图像分析服务器，所述医学影像设备与所述图像分析服务器通信连接；
所述医学影像设备包括截图模块和发送模块，所述截图模块用于实时截取所述医学影像设备的医学图像，所述发送模块用于发送医学图像至所述图像分析服务器；
所述图像分析服务器包括接收模块、检测分类模块、调用模块、勾画标注模块和反馈发送模块；
所述接收模块用于接收所述医学影像设备实时截取的医学图像；其中，所述医学图像包括定位像、侦察像或全身像；
所述检测分类模块用于采用YOLO v5的算法对医学图像进行检测分类，输出检测分类结果；其中，所述检测分类为检测是否有正在进行扫描的医学图像，同时根据预先设计好的完成度分类标准对医学图像的完成度进行评估，或者根据分析来自同一所述医学影像设备前后两次获得的医学图像变化对比对医学图像的完成情况进行评估；
所述调用模块用于当检测分类结果中包括图像扫描完成度为100％时，调用对应类型图像的检测定位算法，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；
其中，所述检测定位算法包括RetinaNet网络模块和CenterNet网络模块；
当医学图像为定位像或侦察像时，调用RetinaNet网络模块，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；
当医学图像为全身像时，调用CenterNet网络模块，对潜在感兴趣器官及病灶区域进行检测，获得检测信息；
所述勾画标注模块用于根据检测信息在医学图像进行勾画和标注，获得标注后的辅助图像；
所述反馈发送模块用于反馈发送辅助图像至所述医学影像设备。
3.根据权利要求2所述的一种医学图像分类和病变区域定位***，其特征在于：所述医学影像设备还包括定时模块，所述定时模块用于定时驱动所述截图模块，以定时且实时截取正在扫描或者扫描完成的医学图像。
4.一种存储介质，其特征在于：所述存储介质为计算机可读存储介质，所述存储介质上存储有医学图像分类和病变区域定位程序，所述医学图像分类和病变区域定位程序被处理器执行时实现如权利要求1所述的一种医学图像分类和病变区域定位方法的步骤。
CN202210198514.7A 2022-03-01 2022-03-01 一种医学图像分类和病变区域定位方法、***及存储介质 Active CN114565582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210198514.7A CN114565582B (zh) 2022-03-01 2022-03-01 一种医学图像分类和病变区域定位方法、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210198514.7A CN114565582B (zh) 2022-03-01 2022-03-01 一种医学图像分类和病变区域定位方法、***及存储介质

Publications (2)

Publication Number Publication Date
CN114565582A CN114565582A (zh) 2022-05-31
CN114565582B true CN114565582B (zh) 2023-03-10

Family

ID=81715369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210198514.7A Active CN114565582B (zh) 2022-03-01 2022-03-01 一种医学图像分类和病变区域定位方法、***及存储介质

Country Status (1)

Country Link
CN (1) CN114565582B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117116433B (zh) * 2023-10-24 2024-02-09 万里云医疗信息科技（北京）有限公司 一种ct断层扫描切片图像的标注方法、装置以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644419A (zh) * 2017-09-30 2018-01-30 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及***
CN112508941A (zh) * 2020-12-25 2021-03-16 上海深博医疗器械有限公司 三维超声扫描完整性检测方法及装置
JP2022010202A (ja) * 2017-09-15 2022-01-14 富士フイルム株式会社 医療画像処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506262A (zh) * 2021-07-07 2021-10-15 上海商汤智能科技有限公司 图像处理方法、装置及其相关设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022010202A (ja) * 2017-09-15 2022-01-14 富士フイルム株式会社 医療画像処理装置
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及***
CN107644419A (zh) * 2017-09-30 2018-01-30 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
CN112508941A (zh) * 2020-12-25 2021-03-16 上海深博医疗器械有限公司 三维超声扫描完整性检测方法及装置

Also Published As

Publication number Publication date
CN114565582A (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN111557665B (zh) 用于医学成像中的患者定位的根据相机数据的密集身体标记估计
US8369593B2 (en) Systems and methods for robust learning based annotation of medical radiographs
CN104637024B (zh) 医用图像处理装置以及医用图像处理方法
CN111227864B (zh) 使用超声图像利用计算机视觉进行病灶检测的装置
CN107464231B (zh) 用于确定医学成像的最佳操作参数的***和方法
US8724865B2 (en) Method, computer software, and system for tracking, stabilizing, and reporting motion between vertebrae
US20220157047A1 (en) Feature Point Detection
US8160341B2 (en) Systems and methods for automatic robust anatomy detection through local voting and prediction
US7304644B2 (en) System and method for performing a virtual endoscopy
CN101596110B (zh) 心脏mri中视场的自动确定
US20220254023A1 (en) System and Method for Interpretation of Multiple Medical Images Using Deep Learning
GB2554641A (en) Image processing
CN111214255B (zh) 一种医学超声图像计算机辅助方法
EP3148399B1 (en) Reconstruction of images from an in vivo multi-camera capsule with confidence matching
CN100592336C (zh) 医学图像配准的***和方法
CN109919912A (zh) 一种医学影像的质量评价方法和装置
CN114565582B (zh) 一种医学图像分类和病变区域定位方法、***及存储介质
CN111242921A (zh) 一种医学超声图像辅助诊断***自动更新的方法及***
CN113129343A (zh) 用于x射线成像中的解剖结构/视图分类的方法和***
US20210100530A1 (en) Methods and systems for diagnosing tendon damage via ultrasound imaging
CN115249279A (zh) 医学图像处理方法、装置、计算机设备和存储介质
CN111144506B (zh) 基于超声图像的肝包虫识别方法、存储介质及超声设备
CN110197722B (zh) Ai-cpu***平台
JP2019118694A (ja) 医用画像生成装置
CN107256544A (zh) 一种基于vcg16的***癌图像诊断方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant