CN110766701B - 网络模型训练方法及装置、区域划分方法及装置 - Google Patents

网络模型训练方法及装置、区域划分方法及装置 Download PDF

Info

Publication number
CN110766701B
CN110766701B CN201911049879.8A CN201911049879A CN110766701B CN 110766701 B CN110766701 B CN 110766701B CN 201911049879 A CN201911049879 A CN 201911049879A CN 110766701 B CN110766701 B CN 110766701B
Authority
CN
China
Prior art keywords
region
network model
medical image
key points
coordinate information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911049879.8A
Other languages
English (en)
Other versions
CN110766701A (zh
Inventor
邹彤
周越
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Beijing Tuoxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tuoxiang Technology Co ltd filed Critical Beijing Tuoxiang Technology Co ltd
Priority to CN201911049879.8A priority Critical patent/CN110766701B/zh
Publication of CN110766701A publication Critical patent/CN110766701A/zh
Application granted granted Critical
Publication of CN110766701B publication Critical patent/CN110766701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

公开了一种网络模型训练方法及装置、区域划分方法及装置、计算机可读存储介质及电子设备，涉及图像处理技术领域。该网络模型训练方法包括：确定包括标注信息的样本图像，其中，标注信息包括样本图像中的多个第一关键点的坐标信息集合；确定初始网络模型，并基于样本图像训练初始网络模型，以生成关键点网络模型，其中，关键点网络模型用于确定医学图像中的多个第二关键点的坐标信息集合，多个第二关键点用于对医学图像进行区域划分。本公开能够为实现与样本图像同类型的医学图像的更具细粒度地区域划分提供模型基础，进而为提高病灶定位精准度提供了前提条件。

Description

网络模型训练方法及装置、区域划分方法及装置
技术领域
本公开涉及图像处理技术领域，具体涉及网络模型训练方法及装置、区域划分方法及装置、计算机可读存储介质及电子设备。
背景技术
随着医学影像技术和图像处理技术的快速发展，基于医学影像进行的病灶检测、病灶定位以及病灶分类等操作日益成为预防及治疗疾病的重要手段。其中，病灶定位操作能够更好地辅助医生进行疾病诊断操作。然而，在现有技术中，病灶定位操作仍然依赖于医生完成，非常容易受到医生主观意见的影响，很难实现病灶区域的精准定位。
因此，如何更好地辅助医生进行病灶定位操作是亟待解决的问题。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种网络模型训练方法及装置、区域划分方法及装置、计算机可读存储介质及电子设备。
在一方面，本公开实施例提供了一种网络模型训练方法，该网络模型训练方法包括：确定包括标注信息的样本图像，其中，标注信息包括样本图像中的多个第一关键点的坐标信息集合；确定初始网络模型，并基于样本图像训练初始网络模型，以生成关键点网络模型，其中，关键点网络模型用于确定医学图像中的多个第二关键点的坐标信息集合，多个第二关键点用于对医学图像进行区域划分。
在另一方面，本公开实施例提供了一种区域划分方法，该区域划分方法包括：确定需要进行区域划分的医学图像；将医学图像输入至关键点网络模型，以确定医学图像对应的多个关键点的坐标信息集合，其中，关键点网络模型基于上述任一实施例所提及的网络模型训练方法获得；基于坐标信息集合对医学图像进行区域划分操作。
在另一方面，本公开实施例提供了一种网络模型训练装置，该网络模型训练装置包括：样本图像确定模块，用于确定包括标注信息的样本图像，其中，标注信息包括样本图像中的多个第一关键点的坐标信息集合；模型生成模块，用于确定初始网络模型，并基于样本图像训练初始网络模型，以生成关键点网络模型，其中，关键点网络模型用于确定医学图像中的多个第二关键点的坐标信息集合，多个第二关键点用于对医学图像进行区域划分。
在另一方面，本公开实施例提供了一种区域划分装置，该区域划分装置包括：图像确定模块，用于确定需要进行区域划分的医学图像；坐标信息集合确定模块，用于将医学图像输入至关键点网络模型，以确定医学图像对应的多个关键点的坐标信息集合，其中，关键点网络模型基于上述任一实施例所提及的网络模型训练方法获得；区域划分模块，用于基于坐标信息集合对医学图像进行区域划分操作。
在另一方面，本公开实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述实施例所提及的网络模型训练方法，或执行上述实施例所提及的区域划分方法。
在另一方面，本公开实施例提供了一种电子设备，该电子设备包括：处理器和用于存储处理器可执行指令的存储器，其中，处理器用于执行上述实施例所提及的网络模型训练方法，或执行上述实施例所提及的区域划分方法。
本公开实施例提供的网络模型训练方法，通过确定包括标注信息的样本图像，然后确定初始网络模型，并基于样本图像训练初始网络模型以生成关键点网络模型的方式，实现了利用样本图像训练初始网络模型以生成关键点网络模型的目的。由于样本图像为医学图像，样本图像的标注信息包括多个第一关键点的坐标信息集合，因此，基于样本图像训练生成的关键点网络模型能够用于确定任一与样本图像同类型的医学图像中的多个第二关键点的坐标信息集合。又由于样本图像中的第一关键点为能够用于对样本图像进行区域划分的图像特征点，因此，所确定的医学图像中的第二关键点为能够用于对该医学图像进行区域划分的图像特征点。综上，本公开实施例提供的网络模型训练方法训练生成的关键点网络模型，能够为实现与样本图像同类型的医学图像的更具细粒度地区域划分提供模型基础，进而为提高病灶定位精准度提供了前提条件。
本公开实施例提供的区域划分方法，通过将需要进行区域划分的医学图像输入至关键点网络模型，以确定该医学图像对应的多个关键点的坐标信息集合，然后基于坐标信息集合对医学图像进行区域划分操作的方式，实现了对医学图像进行区域划分操作的目的。由于本公开实施例提供的区域划分方法是基于关键点网络模型实现的，因此，与现有方案相比，本公开实施例无需对需要进行区域划分的医学图像进行复杂的图像增强、滤波变换等处理操作，进而避免了因图像质量等因素导致的区域划分失败等情况。又由于本公开实施例将区域划分问题转换为了关键点坐标信息的定位问题，因此，本公开实施例能够极大简化区域划分操作的划分复杂度。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1所示为本公开实施例所适用的一场景示意图。
图2所示为本公开实施例所适用的另一场景示意图。
图3所示为本公开一示例性实施例提供的网络模型训练方法的流程示意图。
图4所示为本公开一示例性实施例提供的关键点网络模型的结构示意图。
图5a所示为本公开另一示例性实施例提供的关键点网络模型的结构示意图。
图5b所示为本公开一示例性实施例提供的关键点网络模型中的ResNext-50网络模型的结构示意图。
图5c所示为本公开一示例性实施例提供的关键点网络模型中的全景特征金字塔网络模型的结构示意图。
图6所示为本公开一示例性实施例提供的确定包括标注信息的样本图像的流程示意图。
图7所示为本公开一示例性实施例提供的基于肺野区域确定肺野区域对应的坐标信息集合的流程示意图。
图8所示为本公开一示例性实施例提供的包括肺野区域的医学图像的关键点位置可视化示意图。
图9所示为本公开另一示例性实施例提供的基于肺野区域确定肺野区域对应的坐标信息集合的流程示意图。
图10所示为本公开另一示例性实施例提供的包括肺野区域的医学图像的关键点位置可视化示意图。
图11所示为本公开一示例性实施例提供的区域划分方法的流程示意图。
图12所示为本公开一示例性实施例提供的基于坐标信息集合对医学图像进行区域划分操作的流程示意图。
图13所示为本公开一示例性实施例提供的包括肺野区域的医学图像的区域划分示意图。
图14所示为本公开另一示例性实施例提供的包括肺野区域的医学图像的区域划分示意图。
图15所示为本公开另一示例性实施例提供的区域划分方法的流程示意图。
图16所示为本公开一示例性实施例提供的确定医学图像的病灶区域的位置信息的流程示意图。
图17所示为基于图14所示区域划分情况对包括肺野区域的医学图像的病灶区域进行定位的定位示意图。
图18a所示为本公开一示例性实施例提供的包括脑部区域的医学图像的区域划分示意图。
图18b所示为本公开另一示例性实施例提供的包括脑部区域的医学图像的区域划分示意图。
图19所示为本公开一示例性实施例提供的网络模型训练装置的结构示意图。
图20所示为本公开一示例性实施例提供的样本图像确定模块的结构示意图。
图21所示为本公开一示例性实施例提供的坐标信息集合确定单元的结构示意图。
图22所示为本公开另一示例性实施例提供的坐标信息集合确定单元的结构示意图。
图23所示为本公开一示例性实施例提供的区域划分装置的结构示意图。
图24所示为本公开一示例性实施例提供的区域划分模块的结构示意图。
图25所示为本公开另一示例性实施例提供的区域划分装置的结构示意图。
图26所示为本公开一示例性实施例提供的病灶区域确定模块的结构示意图。
图27所示为本公开一示例性实施例提供的电子设备的结构示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
医学影像是借助某种介质(如X射线、电磁场、超声波等)与人体或动物体相互作用，把人体或动物体内部组织器官结构、密度等信息以影像方式呈现的图像。其中，医学影像主要分为描述生理形态的解剖结构图像和描述人体或动物体功能或代谢功能的功能图像。在现代医学中，医学影像是疾病预防与治疗的重要工具。
众所周知，描述生理形态的解剖结构图像主要包括X线图像、计算机断层扫描(Computed Tomography,CT)图像和磁共振图像(Magnetic Resonance Imaging,MRI)等。其中，基于X线图像的成像原理，又可分为计算机X线摄影(Computed Radiography,CR)和数字X线摄影(Digital Radiography,DR)。在实际的疾病诊断过程中，描述生理形态的解剖结构图像能够清楚显示组织器官的形态与病变情况，有助于确定组织器官中的病灶位置信息以及病灶类型信息，进而为精准地给出疾病治疗方案提供前提条件。
人体或动物体的组织器官的自身结构较为复杂，且针对不同的组织器官，病灶区域形态与位置等情况均能够直接或间接影响相关疾病的诊断结果。比如，肺结核是由结核分枝杆菌引起的慢性传染病，可侵及许多脏器，其危害性不言而喻。然而，肺结核的结核类型包括原发性肺结核、血行播散型肺结核、继发性肺结核、气管支气管肺结核、结核性胸膜炎和陈旧性肺结核六种，不同类型的结核在图像上的特征也是多种多样，且病灶区域的位置信息对于确定结核类型具有重要意义。应当理解，对医学图像进行区域划分操作，能够有助于病灶区域的位置信息的确定。然而，在现有技术中，仍然需要依赖于人力资源(比如医生)对医学图像进行区域划分操作，因此，效率较低且精准度较差。
基于上述提及的技术问题，本公开的基本构思是提出一种网络模型训练方法及装置、区域划分方法及装置、计算机可读存储介质及电子设备。该网络模型训练方法通过确定包括标注信息的样本图像，然后确定初始网络模型，并基于样本图像训练初始网络模型以生成关键点网络模型的方式，实现了利用样本图像训练初始网络模型以生成关键点网络模型的目的。由于样本图像为医学图像，样本图像的标注信息包括多个第一关键点的坐标信息集合，因此，基于样本图像训练生成的关键点网络模型能够用于确定任一与样本图像同类型的医学图像中的多个第二关键点的坐标信息集合。又由于样本图像中的第一关键点为能够用于对样本图像进行区域划分的图像特征点，因此，所确定的医学图像中的第二关键点为能够用于对该医学图像进行区域划分的图像特征点。综上，本公开实施例提供的网络模型训练方法训练生成的关键点网络模型，能够为实现与样本图像同类型的医学图像的更具细粒度地区域划分提供模型基础，进而为提高疾病诊断精准度、提高疾病诊断效率提供了前提条件。
该区域划分方法通过将需要进行区域划分的医学图像输入至关键点网络模型，以确定该医学图像对应的多个关键点的坐标信息集合，然后基于坐标信息集合对医学图像进行区域划分操作的方式，实现了对医学图像进行区域划分操作的目的。由于本公开实施例提供的区域划分方法是基于关键点网络模型实现的，因此，与现有方案相比，本公开实施例无需对需要进行区域划分的医学图像进行复杂的图像增强、滤波变换等处理操作，进而避免了因图像质量等因素导致的区域划分失败等情况。又由于本公开实施例将区域划分问题转换为了关键点坐标信息的定位问题，因此，本公开实施例能够极大简化区域划分操作的划分复杂度。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图1所示为本公开实施例所适用的一场景示意图。如图1所示，本公开实施例所适用的场景中包括服务器1和图像采集设备2，其中，服务器1和图像采集设备2之间存在通信连接关系。
具体而言，图像采集设备2用于采集能够被处理为样本图像的医学图像，服务器1用于基于图像采集设备2采集的医学图像生成包括标注信息的样本图像，然后确定初始网络模型，并基于样本图像训练该初始网络模型，以生成能够确定医学图像中的关键点的坐标信息集合的关键点网络模型，其中，医学图像中的关键点指的是能够用于对医学图像进行区域划分的关键点。即，该场景实现了一种网络模型训练方法。
或者，图像采集设备2用于采集需要进行区域划分的医学图像，服务器1用于将图像采集设备2采集的医学图像输入至关键点网络模型，以确定医学图像对应的多个关键点的坐标信息集合，最后基于确定的坐标信息集合对医学图像进行区域划分操作。即，该场景实现了一种区域划分方法。其中，关键点网络模型可为上述场景中生成的关键点网络模型。由于图1所示的上述场景利用服务器1实现了网络模型训练方法和/或区域划分方法，因此，不但能够提高场景的适应能力，而且能够有效降低图像采集设备2的计算量。
需要说明的是，本公开还适用于另一场景。图2所示为本公开实施例所适用的另一场景示意图。具体地，该场景中包括图像处理设备3，并且，图像处理设备3中包括图像采集模块31和计算模块32。
具体而言，图像处理设备3中的图像采集模块31用于采集能够被处理为样本图像的医学图像，图像处理设备3中的计算模块32用于基于图像采集模块31采集的医学图像生成包括标注信息的样本图像，然后确定初始网络模型，并基于样本图像训练该初始网络模型，以生成能够确定医学图像中的关键点的坐标信息集合的关键点网络模型，其中，医学图像中的关键点指的是能够用于对医学图像进行区域划分的关键点。即，该场景实现了一种网络模型训练方法。
或者，图像处理设备3中的图像采集模块31采集需要进行区域划分的医学图像，图像处理设备3中的计算模块32用于将图像采集模块31采集的医学图像输入至关键点网络模型，以确定医学图像对应的多个关键点的坐标信息集合，最后基于确定的坐标信息集合对医学图像进行区域划分操作。其中，关键点网络模型可为上述场景中生成的关键点网络模型。即，该场景实现了一种区域划分方法。由于图2所示的上述场景利用图像处理设备3实现了网络模型训练方法和/或区域划分方法，无需与服务器等相关装置进行数据传输操作，因此，上述场景能够保证网络模型训练方法或区域划分方法的实时性。
需要说明的是，上述场景中提及的图像采集设备2和图像采集模块31，包括但不限于为X线机、CT扫描仪、MRI设备等图像采集装置。对应地，上述场景中提及的图像采集设备2和图像采集模块31所采集的医学图像，包括但不限于为X线图像、CT图像、MRI图像等能够将人体或动物体内部组织器官结构、密度等信息以影像方式呈现的医学图像。此外，应当理解，本公开实施例提供的网络模型训练方法和区域划分方法，不局限于上述提及的医学图像的适用场景，只要涉及到基于关键点进行区域划分的应用场景，均属于本公开实施例的适用范围。
图3所示为本公开一示例性实施例提供的网络模型训练方法的流程示意图。如图3所示，本公开实施例提供的网络模型训练方法包括如下步骤。
步骤10，确定包括标注信息的样本图像，其中，标注信息包括样本图像中的多个第一关键点的坐标信息集合。
第一关键点指的是能够用于对样本图像进行区域划分操作的图像特征点。
在本公开实施例中，样本图像的图像类型为医学图像。包括标注信息的样本图像为基于预先采集的医学图像进行相关标注处理后生成的，其中，标注信息包括样本图像中的多个第一关键点的坐标信息集合。可选地，相关标注处理可以借助人工(比如医生)实现。
步骤20，确定初始网络模型，并基于样本图像训练初始网络模型以生成关键点网络模型，其中，关键点网络模型用于确定医学图像中的多个第二关键点的坐标信息集合，多个第二关键点用于对医学图像进行区域划分。
示例性地，初始网络模型为卷积神经网络(Convolutional Neural Networks,CNN)模型。
可选地，初始网络模型和关键点网络模型的模型结构是相同的，初始网络模型和关键点网络模型之间的差异为模型的网络参数差异。即，初始网络模型中的网络参数为初始网络参数，然后利用样本图像对初始网络模型进行训练，训练过程中会调整初始网络参数，以最终生成关键点网络模型中的网络参数。比如，基于梯度下降法不断调节初始网络模型的网络参数，以最终生成关键点网络模型中的网络参数。
步骤20中提及的医学图像中的第二关键点，与步骤10中提及的样本图像中的第一关键点对应。即，第一关键点指的是能够用于对样本图像进行区域划分的图像特征点，第二关键点指的是能够用于对输入的医学图像进行区域划分操作的图像特征点。
在实际应用过程中，首先确定包括标注信息的样本图像，然后确定初始网络模型，并基于样本图像训练初始网络模型以生成关键点网络模型。
本公开实施例提供的网络模型训练方法，通过确定包括标注信息的样本图像，然后确定初始网络模型，并基于样本图像训练初始网络模型以生成关键点网络模型的方式，实现了利用样本图像训练初始网络模型以生成关键点网络模型的目的。由于样本图像为医学图像，样本图像的标注信息包括多个第一关键点的坐标信息集合，因此，基于样本图像训练生成的关键点网络模型能够用于确定任一与样本图像同类型的医学图像中的多个第二关键点的坐标信息集合。又由于样本图像中的第一关键点为能够用于对样本图像进行区域划分的图像特征点，因此，所确定的医学图像中的第二关键点为能够用于对该医学图像进行区域划分操作的图像特征点。综上，本公开实施例提供的网络模型训练方法训练生成的关键点网络模型，能够为实现与样本图像同类型的医学图像的更具细粒度地区域划分提供模型基础，进而为提高病灶定位精准度提供了前提条件。
需要说明的是，上述提及的与样本图像同类型的医学图像，指的是医学图像中包括的组织器官与样本图像中的组织器官属于同种类型。比如，样本图像为包括人体肺野区域的胸片图像，那么，医学图像同样为包括人体肺野区域的胸片图像。又比如，样本图像为包括人体脑部区域的头部图像，那么，医学图像同样为包括人体脑部区域的头部图像。
图4所示为本公开一示例性实施例提供的关键点网络模型的结构示意图。如图4所示，本公开实施例提供的关键点网络模型4包括特征提取网络子模型41、特征融合网络子模型42和关键点坐标预测子模型43。并且，特征提取网络子模型41、特征融合网络子模型42和关键点坐标预测子模型43之间具备数据传输关系。
在本公开实施例的实际应用过程中，特征提取网络子模型41用于提取待确定关键点信息的医学图像的图像特征信息，特征融合网络子模型42用于对特征提取网络子模型41提取的图像特征信息进行特征融合操作，以生成特征融合信息，关键点坐标预测子模型43用于根据特征融合网络子模型42生成的特征融合信息进行关键点的坐标预测操作。
本公开实施例提供的关键点网络模型，借助具备数据传输关系的特征提取网络子模型、特征融合网络子模型和关键点坐标预测子模型，实现了预测待确定关键点信息的医学图像的关键点的坐标信息集合的目的。在本公开实施例中，进行关键点的坐标预测操作的数据基础为特征提取网络子模型提取的图像特征信息，由于提取的图像特征信息能够精准表征医学图像中的图像特征点(即关键点)，因此，本公开实施例能够有效提高关键点网络模型预测关键点坐标信息的精准度。此外，本公开实施例借助特征融合网络子模型实现了融合多分支图像特征信息的目的，进而为进一步提高关键点网络模型预测关键点坐标信息的精准度提供前提条件。
可选地，在上述图4所示实施例中，关键点网络模型4的模型结构与对应的初始网络模型的模型结构是相同的。即，与关键点网络模型4对应的初始网络模型中包括与特征提取网络子模型41对应的初始特征提取网络子模型、与特征融合网络子模型42对应的初始特征融合网络子模型和与关键点坐标预测子模型43对应的初始关键点坐标预测子模型。
图5a所示为本公开另一示例性实施例提供的关键点网络模型的结构示意图。图5b所示为本公开一示例性实施例提供的关键点网络模型中的ResNext-50网络模型的结构示意图。图5c所示为本公开一示例性实施例提供的关键点网络模型中的全景特征金字塔网络模型的结构示意图。在本公开图4所示实施例的基础上延伸出本公开图5所示实施例，下面着重叙述图5所示实施例与图4所示实施例的不同之处，相同之处不再赘述。
如图5a所示，本公开实施例提供的关键点网络模型包括ResNext-50网络模型411、全景特征金字塔(Panoptic Feature Pyramid Networks,Panoptic FPN)网络模型421以及关键点预测及可视化网络模型431。其中，全景特征金字塔网络模型421中包括特征融合模块4312，关键点预测及可视化网络模型431中包括具备数据传输关系的关键点预测模块4312和可视化结果输出模块4311。
应当理解，与图4所示实施例相比，本公开实施例中的ResNext-50网络模型411是图4所示实施例中的特征提取网络子模型41的具体实例，全景特征金字塔网络模型421是图4所示实施例中的特征融合网络子模型42的具体实例，关键点预测及可视化网络模型431是图4所示实施例中的关键点坐标预测子模型43的具体实例。
在基于图5a所示实施例提供的关键点网络模型进行医学图像的关键点坐标预测的实际应用过程中，首先将待确定关键点信息的医学图像输入至ResNext-50网络模型411，然后利用ResNext-50网络模型411对该医学图像进行图像特征提取操作，以生成四个尺度的特征图，然后将该四个尺度的特征图输入至全景特征金字塔网络模型421进行特征融合操作，以生成一融合特征图，最后将该融合特征图输入至关键点预测及可视化网络模型431，以进行关键点的坐标预测及关键点可视化输出操作。
为进一步详细说明图5a所示关键点网络模型的具体结构，下面分别基于图5b和图5c所示的结构示意图进行举例说明。
如图5b所示，G表征分组卷积数，在未标识G数值的模块结构中，默认G＝1。S表征卷积步长，在未标识S数值的模块结构中，默认S＝1。MP表示最大值池化层。图5b中的“×3”、“×4”、“×6”和“×3”分别表示该模块重复叠堆3次、4次、6次和3次。在实际应用过程中，ResNext-50网络模型411输出四个特征图至全景特征金字塔网络模型421。
如图5c所示，conv表示卷积计算。在实际应用过程中，全景特征金字塔网络模型421首先将ResNext-50网络模型411输出的四个特征图输入至1×1，256的卷积层进行卷积计算，四个特征图全部变为256通道，尺寸分别为对应的原特征图的1/32、1/16、1/8和1/4的新的特征图。然后，对于1/32的特征图经过三次卷积和2×双线性上采样，尺寸会扩大8倍；对于1/16的特征图经过两次卷积和2×双线性上采样，尺寸会扩大4倍；对于1/8的特征图经过一次卷积和2×双线性上采样，尺寸会扩大2倍。至此，原本不同尺寸的特征图，全部变为了一组相同的1/4比例的特征图。然后按元素求和，求和后的特征图经过1×1卷积，4×双线性上采样生成与原始图像尺寸相同的特征图，该特征图用于最终的关键点坐标信息预测操作。
示例性地，基于上述步骤生成的特征图进行关键点坐标信息预测操作的实际实现过程可根据实际情况确定。比如，当关键点的数量为16个时，首先将全景特征金字塔网络模型421输出的特征图输入至3×3，滤波器数量为16的卷积层，已生成16层特征图，其中，每层负责预测一个关键点，从而得出关键点坐标信息的预测结果。应当理解，此处提及的16层特征图，实际是16张概率图，特征图上的数值经柔性最大值(softmax)处理后所得出的数值，能够标识相应地关键点落在该位置的概率。
图6所示为本公开一示例性实施例提供的确定包括标注信息的样本图像的流程示意图。在本公开图3所示实施例的基础上延伸出本公开图6所示实施例，下面着重叙述图6所示实施例与图3所示实施例的不同之处，相同之处不再赘述。
如图6所示，在本公开实施例提供的网络模型训练方法中，确定包括标注信息的样本图像步骤包括如下步骤。
步骤11，获取包括肺野区域的医学图像。
充满气体的肺部在胸片上呈现为均匀一致较为透明的区域称为肺野区域。肺野区域对于肺部疾病(比如肺结核)的诊断具有重要意义。其中，胸片指的是包括人体或动物体胸部的组织器官影像的医学图像。
步骤12，基于肺野区域确定肺野区域对应的坐标信息集合。
步骤13，基于坐标信息集合和包括肺野区域的医学图像生成包括标注信息的样本图像。
在实际应用过程中，首先获取包括肺野区域的医学图像，然后基于肺野区域确定肺野区域对应的坐标信息集合，并基于坐标信息集合和包括肺野区域的医学图像生成包括标注信息的样本图像，然后确定初始网络模型，并基于样本图像训练初始网络模型以生成关键点网络模型。
本公开实施例提供的网络模型训练方法，通过获取包括肺野区域的医学图像，然后基于肺野区域确定肺野区域对应的坐标信息集合，并基于坐标信息集合和包括肺野区域的医学图像生成包括标注信息的样本图像的方式，实现了确定包括标注信息的样本图像的目的。由于是基于包括肺野区域的医学图像确定的包括标注信息的样本图像，因此，本公开实施例确定的样本图像能够用于训练需要确定肺野区域的关键点坐标信息的关键点网络模型。该关键点网络模型为实现肺野区域的更具细粒度地区域划分提供了前提条件，进而为提高肺部疾病的诊断精准度以及肺部疾病的诊断效率提供了前提条件。
图7所示为本公开一示例性实施例提供的基于肺野区域确定肺野区域对应的坐标信息集合的流程示意图。在本公开图6所示实施例的基础上延伸出本公开图7所示实施例，下面着重叙述图7所示实施例与图6所示实施例的不同之处，相同之处不再赘述。
如图7所示，在本公开实施例提供的网络模型训练方法中，基于肺野区域确定肺野区域对应的坐标信息集合步骤包括如下步骤。
步骤121，基于肺野区域确定肺野区域对应的多个第一方向关键点的坐标信息，其中，多个第一方向关键点对应的第一连接线集合将肺野区域沿第一方向划分为多个第一区域。
可选地，第一连接线集合中包括多条第一连接线，其中，第一连接线为将至少两个第一方向关键点用线段相连所形成的连接线。
需要说明的是，步骤121中提及的多个第一方向关键点，指的是基于该多个第一方向关键点形成的第一连接线集合能够将肺野区域沿第一方向划分为多个第一区域。比如，包括肺野区域的医学图像为包括肺野区域的正位胸片，第一方向为正位胸片的纵向方向，那么应当理解，第一区域即为将肺野区域沿正位胸片的纵向方向划分形成的区域。
步骤122，多个第一方向关键点的坐标信息组合在一起，形成坐标信息集合。
在实际应用过程中，首先获取包括肺野区域的医学图像，然后基于肺野区域确定肺野区域对应的多个第一方向关键点的坐标信息，将多个第一方向关键点的坐标信息组合在一起形成坐标信息集合，并基于坐标信息集合和包括肺野区域的医学图像生成包括标注信息的样本图像，然后确定初始网络模型，并基于样本图像训练初始网络模型以生成关键点网络模型。
本公开实施例提供的网络模型训练方法，通过基于肺野区域确定肺野区域对应的多个第一方向关键点的坐标信息，并将多个第一方向关键点的坐标信息组合在一起以形成坐标信息集合的方式，实现了基于肺野区域确定肺野区域对应的坐标信息集合的目的。由于多个第一方向关键点对应的第一连接线集合能够将肺野区域沿第一方向划分为多个第一区域，因此，本公开实施例实现了沿单一方向划分肺野区域的目的。与沿多个不同方向对肺野区域进行区域划分操作相比，本公开实施例既实现了肺野区域的区域划分，又极大降低了计算量，保证了计算效率。
下面给出基于图7所示实施例确定包括肺野区域的医学图像的关键点位置的实施例。具体地，图8所示为本公开一示例性实施例提供的包括肺野区域的医学图像的关键点位置可视化示意图。示例性地，图8所示为基于图7所示实施例提供的网络模型训练方法训练的关键点网络模型确定的医学图像的关键点位置可视化示意图。
如图8所示，在本公开实施例中，肺野区域包括八个第一方向关键点，即第一方向关键点1至8。其中，第一方向关键点1、2、5和6为肺尖轮廓关键点。具体地，第一方向关键点1和2分别位于一肺尖轮廓曲线的1/3处和2/3处，同样地，第一方向关键点5和6分别位于另一肺尖轮廓曲线的1/3处和2/3处。第一方向关键点3、4、7和8为膈面轮廓关键点。具体地，第一方向关键点3和4分别位于一膈面轮廓曲线的1/3处和2/3处，同样地，第一方向关键点7和8分别位于另一膈面轮廓曲线的1/3处和2/3处。并且，肺尖轮廓关键点和膈面轮廓关键点之间存在一一对应关系。
可选地，基于图8所示的第一方向关键点进行肺野区域的区域划分操作时，基于肺尖轮廓关键点和膈面轮廓关键点之间的一一对应关系，限定第一方向关键点1和4为一组形成一第一连接线，第一方向关键点2和3为一组形成另一第一连接线，第一方向关键点5和8为一组形成又一第一连接线，第一方向关键点6和7为一组形成再一第一连接线。
图9所示为本公开另一示例性实施例提供的基于肺野区域确定肺野区域对应的坐标信息集合的流程示意图。在本公开图7所示实施例的基础上延伸出本公开图9所示实施例，下面着重叙述图9所示实施例与图7所示实施例的不同之处，相同之处不再赘述。
如图9所示，在本公开实施例提供的网络模型训练方法中，基于肺野区域确定肺野区域对应的坐标信息集合步骤还包括如下步骤。
步骤123，基于肺野区域确定肺野区域对应的多个第二方向关键点的坐标信息，其中，多个第二方向关键点对应的第二连接线集合将肺野区域沿第二方向划分为多个第二区域。
同样地，第二连接线集合中包括多条第二连接线，其中，第二连接线为将至少两个第二方向关键点用线段相连所形成的连接线。
步骤123中提及的第二方向，是与图7所示实施例中提及的第一方向不同的方向。比如，包括肺野区域的医学图像为包括肺野区域的正位胸片，第一方向为正位胸片的纵向方向，第二方向为正位胸片的横向方向。
需要说明的是，当基于肺野区域确定肺野区域对应的坐标信息集合步骤包括上述步骤123时，图7所示实施例中提及的步骤122包括如下步骤。
步骤124，多个第一方向关键点的坐标信息和多个第二方向关键点的坐标信息组合在一起，形成坐标信息集合。
在实际应用过程中，首先获取包括肺野区域的医学图像，然后基于肺野区域确定肺野区域对应的多个第一方向关键点的坐标信息，并基于肺野区域确定肺野区域对应的多个第二方向关键点的坐标信息，然后将多个第一方向关键点的坐标信息和多个第二方向关键点的坐标信息组合在一起以形成坐标信息集合，并基于坐标信息集合和包括肺野区域的医学图像生成包括标注信息的样本图像，然后确定初始网络模型，并基于确定的样本图像训练初始网络模型以生成关键点网络模型。
本公开实施例提供的网络模型训练方法，通过基于肺野区域确定肺野区域对应的多个第一方向关键点的坐标信息和多个第二方向关键点的坐标信息，并将多个第一方向关键点的坐标信息和多个第二方向关键点的坐标信息组合在一起以形成坐标信息集合的方式，实现了基于肺野区域确定肺野区域对应的坐标信息集合的目的。由于多个第一方向关键点对应的第一连接线集合能够将肺野区域沿第一方向划分为多个第一区域，多个第二方向关键点对应的第二连接线集合将肺野区域沿第二方向划分为多个第二区域，因此，本公开实施例实现了沿多个不同方向划分肺野区域的目的。与图7所示实施例相比，本公开实施例进一步提高了区域划分的细粒度，进而为提高疾病的诊断精准度提供了前提条件。
下面给出基于图9所示实施例确定包括肺野区域的医学图像的关键点位置的实施例。具体地，图10所示为本公开另一示例性实施例提供的包括肺野区域的医学图像的关键点位置可视化示意图。即，图10所示为基于图9所示实施例提供的网络模型训练方法训练的关键点网络模型确定的医学图像的关键点位置可视化示意图。
如图10所示，在本公开实施例中，肺野区域包括八个第一方向关键点1至8，以及八个第二方向关键点9至16。其中，关于八个第一方向关键点1至8的相关解释内容详见图8所示实施例，本公开实施例不再赘述。
继续参照图10所示，在八个第二方向关键点9至16中，第二方向关键点9、10、13和14为肺尖至肋膈角轮廓关键点，第二方向关键点11、12、15和16为肺尖至心膈角轮廓关键点。具体地，第二方向关键点9和10分别位于一肺尖至肋膈角轮廓曲线的1/3处和2/3处，同样地，第二方向关键点13和14分别位于另一肺尖至肋膈角轮廓曲线的1/3处和2/3处。第二方向关键点11和12分别位于一肺尖至心膈角轮廓曲线的1/3处和2/3处，同样地，第二方向关键点15和16分别位于另一肺尖至心膈角轮廓曲线的1/3处和2/3处。并且，肺尖至肋膈角轮廓关键点和肺尖至心膈角轮廓关键点之间存在一一对应关系。
可选地，基于图10所示的第一方向关键点和第二方向关键点进行肺野区域的区域划分操作时，首先基于多个第一方向关键点生成多个第一连接线，多个第一连接线的生成方式可参见图8所示实施例。然后基于多个第二方向关键点生成多个第二连接线。具体地，基于肺尖至肋膈角轮廓关键点和肺尖至心膈角轮廓关键点之间的一一对应关系，限定第二方向关键点9和12为一组形成一第二连接线，第二方向关键点10和11为一组形成另一第二连接线，第二方向关键点13和16为一组形成又一第二连接线，第二方向关键点14和15为一组形成再一第二连接线。
图11所示为本公开一示例性实施例提供的区域划分方法的流程示意图。如图11所示，本公开实施例提供的区域划分方法包括如下步骤。
步骤30，确定需要进行区域划分的医学图像。
步骤40，将医学图像输入至关键点网络模型以确定医学图像对应的多个关键点的坐标信息集合。
需要说明的是，步骤40中提及的关键点网络模型，可以基于上述任一实施例提及的网络模型训练方法获得。
步骤50，基于坐标信息集合对医学图像进行区域划分操作，以生成区域划分信息。
在实际应用过程中，首先确定需要进行区域划分的医学图像，然后将医学图像输入至关键点网络模型以确定医学图像对应的多个关键点的坐标信息集合，最后基于坐标信息集合对医学图像进行区域划分操作，以生成区域划分信息。
本公开实施例提供的区域划分方法，通过将需要进行区域划分的医学图像输入至关键点网络模型，以确定该医学图像对应的多个关键点的坐标信息集合，然后基于坐标信息集合对医学图像进行区域划分操作，以生成区域划分信息的方式，实现了对医学图像进行区域划分操作的目的。由于本公开实施例提供的区域划分方法是基于关键点网络模型实现的，因此，与现有方案相比，本公开实施例无需对需要进行区域划分的医学图像进行复杂的图像增强、滤波变换等处理操作，进而避免了因图像质量等因素导致的区域划分失败等情况。又由于本公开实施例将区域划分问题转换为了关键点坐标信息的定位问题，因此，本公开实施例能够极大简化区域划分操作的划分复杂度。
图12所示为本公开一示例性实施例提供的基于坐标信息集合对医学图像进行区域划分操作的流程示意图。在本公开图11所示实施例的基础上延伸出本公开图12所示实施例，下面着重叙述图12所示实施例与图11所示实施例的不同之处，相同之处不再赘述。
如图12所示，在本公开实施例提供的区域划分方法中，基于坐标信息集合对医学图像进行区域划分操作，以生成区域划分信息步骤包括如下步骤。
步骤51，基于坐标信息集合中的多个关键点的坐标信息确定多组关键点对应关系。
步骤52，针对多组关键点对应关系中的每个关键点对应关系，将该关键点对应关系对应的关键点用线条连接起来以生成区域划分线。
应当理解，步骤52中提及的区域划分线可以为上述实施例提及的第一连接线和/或第二连接线。
步骤53，将多组关键点对应关系对应的区域划分线组合在一起形成区域划分线集合。
步骤54，基于区域划分线集合对医学图像进行区域划分操作，以生成区域划分信息。
在实际应用过程中，首先确定需要进行区域划分的医学图像，然后将医学图像输入至关键点网络模型以确定医学图像对应的多个关键点的坐标信息集合，然后基于坐标信息集合中的多个关键点的坐标信息确定多组关键点对应关系，并针对多组关键点对应关系中的每个关键点对应关系，然后将该关键点对应关系对应的关键点用线条连接起来以生成区域划分线，并将多组关键点对应关系对应的区域划分线组合在一起形成区域划分线集合，最后基于区域划分线集合对医学图像进行区域划分操作，以生成区域划分信息。
本公开实施例提供的区域划分方法，通过基于标信息集合中的多个关键点的坐标信息确定多组关键点对应关系，然后针对多组关键点对应关系中的每个关键点对应关系，将该关键点对应关系对应的关键点用线条连接起来以生成区域划分线，并将多组关键点对应关系对应的区域划分线组合在一起形成区域划分线集合，最后区域划分线集合对医学图像进行区域划分操作，以生成区域划分信息的方式，实现了基于坐标信息集合对医学图像进行区域划分操作的目的。由于区域划分线集合中的区域划分线是通过将关键点对应关系所对应的关键点用线条连接起来确定的，因此，本公开实施例能够基于确定的关键点坐标信息快速进行区域划分操作，进而为提高疾病的诊断效率提供前提条件。
图13所示为本公开一示例性实施例提供的包括肺野区域的医学图像的区域划分示意图。应当理解，图13所示的区域划分示意图是基于图8所示的关键点位置确定的。如图13所示，本公开实施例借助第一连接线集合将肺野区域沿纵向方向(如图13所示方位的纵向方向)划分为内带区域、中带区域和外带区域。
图14所示为本公开另一示例性实施例提供的包括肺野区域的医学图像的区域划分示意图。应当理解，图14所示的区域划分示意图是基于图10所示的关键点位置确定的。如图14所示，本公开实施例借助第二连接线集合将肺野区域沿横向方向(如图14所示方位的横向方向)划分为上野区域、中野区域和下野区域。那么，将第一连接线集合和第二连接线集合结合后，即将肺野区域划分为上野内带区域、上野中带区域、上野外带区域、中野内带区域、中野中带区域、中野外带区域、下野内带区域、下野中带区域和下野外带区域。
图15所示为本公开另一示例性实施例提供的区域划分方法的流程示意图。在本公开图11所示实施例的基础上延伸出本公开图15所示实施例，下面着重叙述图15所示实施例与图11所示实施例的不同之处，相同之处不再赘述。
如图15所示，在本公开实施例提供的区域划分方法中，在基于坐标信息集合对医学图像进行区域划分操作，以生成区域划分信息步骤后，还包括如下步骤。
步骤60，确定医学图像的病灶区域的位置信息。
示例性地，病灶区域的位置信息为在医学图像的图像坐标系中的坐标信息。比如，病灶区域的位置信息为有经验的医生人工确定或借助相关设备确定。
步骤70，基于位置信息和区域划分信息确定病灶区域在医学图像中的区域划分位置。
区域划分信息能够将医学图像划分为多个区域，区域划分位置指的是病灶区域在基于区域划分信息所划分的多个区域中，病灶区域所处区域的位置。
在实际应用过程中，首先确定需要进行区域划分的医学图像，然后将医学图像输入至关键点网络模型以确定医学图像对应的多个关键点的坐标信息集合，并基于坐标信息集合对医学图像进行区域划分操作以生成区域划分信息，然后确定医学图像的病灶区域的位置信息，并基于病灶区域的位置信息和区域划分信息确定病灶区域在医学图像中的区域划分位置。
由于区域划分信息能够将医学图像划分为多个区域，而本公开实施例通过基于病灶区域的位置信息和区域划分信息确定病灶区域在医学图像中的区域划分位置的方式，实现了确定病灶区域所处的具体区域的目的。与图11所示实施例相比，本公开实施例能够进一步细化病灶区域的位置信息，进而为辅助医生进行病灶分类等操作提供了数据支持。
图16所示为本公开一示例性实施例提供的确定医学图像的病灶区域的位置信息的流程示意图。在本公开图15所示实施例的基础上延伸出本公开图16所示实施例，下面着重叙述图16所示实施例与图15所示实施例的不同之处，相同之处不再赘述。
如图16所示，在本公开实施例提供的区域划分方法中，确定医学图像的病灶区域的位置信息步骤包括如下步骤。
步骤61，确定病灶区域的重心的位置信息。
步骤62，基于重心的位置信息确定病灶区域的位置信息。
示例性地，限定病灶区域的重心的位置信息即为病灶区域的位置信息。
在实际应用过程中，首先确定需要进行区域划分的医学图像，然后将医学图像输入至关键点网络模型以确定医学图像对应的多个关键点的坐标信息集合，并基于坐标信息集合对医学图像进行区域划分操作以生成区域划分信息，然后确定病灶区域的重心的位置信息，并基于重心的位置信息确定病灶区域的位置信息，最后基于病灶区域的位置信息和区域划分信息确定病灶区域在医学图像中的区域划分位置。
本公开实施例提供的区域划分方法，通过确定病灶区域的重心的位置信息，并基于病灶区域的重心的位置信息确定病灶区域的位置信息的方式，实现了确定医学图像的病灶区域的位置信息的目的。由于病灶区域的形状及体积***，因此，本公开实施例通过基于病灶区域的重心的位置信息确定病灶区域的位置信息的方式，有效保证了病灶区域的定位精准度。
下面结合具体医学图像描述与图16所示实施例提供的区域划分方法对应的具体应用实例。
图17所示为基于图14所示区域划分情况对包括肺野区域的医学图像的病灶区域进行定位的定位示意图。如图17所示，通过将肺野区域的关键点按照预设规则连线后，即可框定出医学图像中的左肺野区域和右肺野区域。具体地，基于第一方向关键点1和2生成第一连接线，基于第一方向关键点3和4生成第二连接线，基于第二方向关键点9和10生成第三连接线，基于第二方向关键点11和12生成第四连接线。那么，基于第一方向关键点1、2、3和4以及第二方向关键点9、10、11和12的位置信息可知，第一连接线至第四连接线能够共同形成框定左肺野区域的轮廓线。同样地，基于第一方向关键点5、6、7和8以及第二方向关键点13、14、15和16所形成的连接线能够形成框定右肺野区域的轮廓线。具体连线方式可参照上述针对左肺野区域的轮廓线的连线方式，本公开实施例不再赘述。
继续参照图17所示，在本公开实施例中，医学图像中的病灶区域包括病灶区域M和病灶区域N，其中，病灶区域M具有规则的边界，病灶区域M的边界在该医学图像中呈现为矩形框，并且病灶区域M的重心为m；病灶区域N具有不规则的边界，病灶区域N的边界在该医学图像中呈现为不规则多边形框，并且病灶区域N的重心为n。
在实际应用过程中，当需要对病灶区域进行定位时，可基于病灶区域的重心的位置信息确定病灶区域的位置信息。比如，由于病灶区域M的重心m位于左肺野区域的中野中带，那么可确定病灶区域M位于左肺野区域的中野中带。示例性地，在辅助医生诊断过程中，则可描述为“左肺野区域中野中带可见病灶区域M”。又比如，由于病灶区域N的重心n位于右肺野区域的上野中带，那么可确定病灶区域N位于右肺野区域的上野中带。示例性地，在辅助医生诊断过程中，则可描述为“右肺野区域上野中带可见病灶区域N”。
需要说明的是，本公开上述实施例提供的网络模型训练方法和区域划分方法不局限应用于包括肺部区域的医学图像。下面基于包括脑部区域的医学图像进行举例说明。
图18a所示为本公开一示例性实施例提供的包括脑部区域的医学图像的区域划分示意图。
图18b所示为本公开另一示例性实施例提供的包括脑部区域的医学图像的区域划分示意图。具体地，图18a和图18b所示的医学图像为包括人体脑部区域的不同扫描层的CT图像。
如图18a和18b所示，包括脑部区域的医学图像中包括脑部区域关键点1和2。其中，脑部区域关键点1位于额骨中间点处，脑部区域关键点2位于枕骨或顶骨中间点处，脑部区域关键点1和2的连接线为脑中线参考线。
需要说明的是，在脑部区域处于正常状态的情况下，脑中线参考线与实际的脑中线是趋近于重叠的；在脑部区域存在水肿区域或者包括肿瘤时，脑中线参考线与实际的脑中线之间存在偏移量。因此，本公开上述实施例提及的网络模型训练方法和区域划分方法能够提高脑部疾病的诊断精准度，降低误诊、漏诊几率。
图19所示为本公开一示例性实施例提供的网络模型训练装置的结构示意图。如图19所示，本公开实施例提供的网络模型训练装置包括：
样本图像确定模块100，用于确定包括标注信息的样本图像，其中，标注信息包括样本图像中的多个第一关键点的坐标信息集合；
模型生成模块200，用于确定初始网络模型，并基于样本图像训练初始网络模型以生成关键点网络模型，其中，关键点网络模型用于确定医学图像中的多个第二关键点的坐标信息集合，多个第二关键点用于对医学图像进行区域划分。
图20所示为本公开一示例性实施例提供的样本图像确定模块的结构示意图。在本公开图19所示实施例的基础上延伸出本公开图20所示实施例，下面着重叙述图20所示实施例与图19所示实施例的不同之处，相同之处不再赘述。
如图20所示，在本公开实施例提供的网络模型训练装置中，样本图像确定模块100包括：
图像获取单元110，用于获取包括肺野区域的医学图像；
坐标信息集合确定单元120，用于基于肺野区域确定肺野区域对应的坐标信息集合；
样本图像生成单元130，用于基于坐标信息集合和包括肺野区域的医学图像生成包括标注信息的样本图像。
图21所示为本公开一示例性实施例提供的坐标信息集合确定单元的结构示意图。在本公开图20所示实施例的基础上延伸出本公开图21所示实施例，下面着重叙述图21所示实施例与图20所示实施例的不同之处，相同之处不再赘述。
如图21所示，在本公开实施例提供的网络模型训练装置中，坐标信息集合确定单元120包括：
第一坐标信息确定子单元1210，用于基于肺野区域确定肺野区域对应的多个第一方向关键点的坐标信息，其中，多个第一方向关键点对应的第一连接线集合将肺野区域沿第一方向划分为多个第一区域；
坐标信息集合形成子单元1220，用于多个第一方向关键点的坐标信息组合在一起，形成坐标信息集合。
图22所示为本公开另一示例性实施例提供的坐标信息集合确定单元的结构示意图。在本公开图21所示实施例的基础上延伸出本公开图22所示实施例，下面着重叙述图22所示实施例与图21所示实施例的不同之处，相同之处不再赘述。
如图22所示，在本公开实施例提供的网络模型训练装置中，坐标信息集合确定单元120还包括：
第二坐标信息确定子单元1230，用于基于肺野区域确定肺野区域对应的多个第二方向关键点的坐标信息，其中，多个第二方向关键点对应的第二连接线集合将肺野区域沿第二方向划分为多个第二区域；
其中，坐标信息集合形成子单元1220包括：
生成子单元1240，用于多个第一方向关键点的坐标信息和多个第二方向关键点的坐标信息组合在一起，形成坐标信息集合。
图23所示为本公开一示例性实施例提供的区域划分装置的结构示意图。如图23所示，本公开实施例提供的区域划分装置包括：
图像确定模块300，用于确定需要进行区域划分的医学图像；
坐标信息集合确定模块400，用于将医学图像输入至关键点网络模型以确定医学图像对应的多个关键点的坐标信息集合；
区域划分模块500，用于基于坐标信息集合对医学图像进行区域划分操作。
图24所示为本公开一示例性实施例提供的区域划分模块的结构示意图。在本公开图23所示实施例的基础上延伸出本公开图24所示实施例，下面着重叙述图24所示实施例与图23所示实施例的不同之处，相同之处不再赘述。
如图24所示，在本公开实施例提供的区域划分装置中，区域划分模块500包括：
关键点对应关系确定单元510，用于基于坐标信息集合中的多个关键点的坐标信息确定多组关键点对应关系；
区域划分线生成单元520，用于针对多组关键点对应关系中的每个关键点对应关系，将该关键点对应关系对应的关键点用线条连接起来以生成区域划分线；
区域划分线集合形成单元530，用于将多组关键点对应关系对应的区域划分线组合在一起形成区域划分线集合；
区域划分单元540，用于基于区域划分线集合对医学图像进行区域划分操作。
图25所示为本公开另一示例性实施例提供的区域划分装置的结构示意图。在本公开图23所示实施例的基础上延伸出本公开图25所示实施例，下面着重叙述图25所示实施例与图23所示实施例的不同之处，相同之处不再赘述。
如图25所示，在本公开实施例提供的区域划分装置中，还包括：
病灶区域确定模块600，用于确定医学图像的病灶区域的位置信息；
区域划分位置确定模块700，用于基于位置信息和区域划分信息确定病灶区域在医学图像中的区域划分位置。
图26所示为本公开一示例性实施例提供的病灶区域确定模块的结构示意图。在本公开图25所示实施例的基础上延伸出本公开图26所示实施例，下面着重叙述图26所示实施例与图25所示实施例的不同之处，相同之处不再赘述。
如图26所示，在本公开实施例提供的区域划分装置中，病灶区域确定模块600包括：
重心位置信息确定单元610，用于确定病灶区域的重心的位置信息；
病灶区域位置信息确定单元620，用于基于重心的位置信息确定病灶区域的位置信息。
应当理解，图19至图22提供的网络模型训练装置中的样本图像确定模块100和模型生成模块200，以及样本图像确定模块100中包括的图像获取单元110、坐标信息集合确定单元120和样本图像生成单元130，以及坐标信息集合确定单元120中包括的第一坐标信息确定子单元1210、坐标信息集合形成子单元1220、第二坐标信息确定子单元1230和生成子单元1240的操作和功能可以参考上述图3至图9提供的网络模型训练方法，为了避免重复，在此不再赘述。
此外，应当理解，图23至图26提供的区域划分装置中的图像确定模块300、坐标信息集合确定模块400、区域划分模块500、病灶区域确定模块600和区域划分位置确定模块700，以及区域划分模块500中包括的关键点对应关系确定单元510、区域划分线生成单元520、区域划分线集合形成单元530和区域划分单元540，以及病灶区域确定模块600中包括的重心位置信息确定单元610和病灶区域位置信息确定单元620的操作和功能可以参考上述图11至图16提供的区域划分方法，为了避免重复，在此不再赘述。
下面，参考图27来描述根据本申请实施例的电子设备。图27所示为本公开一示例性实施例提供的电子设备的结构示意图。
如图27所示，电子设备80包括一个或多个处理器801和存储器802。
处理器801可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备80中的其他组件以执行期望的功能。
存储器802可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器801可以运行所述程序指令，以实现上文所述的本申请的各个实施例的网络模型训练方法、区域划分方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如医学图像等各种内容。
在一个示例中，电子设备80还可以包括：输入装置803和输出装置804，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
该输入装置803可以包括例如键盘、鼠标等等。该输出装置804可以向外部输出各种信息，包括确定出的关键点坐标信息等。该输出装置804可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图27中仅示出了该电子设备80中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备80还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的网络模型训练方法、区域划分方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的网络模型训练方法、区域划分方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (17)

1.一种网络模型训练方法，其特征在于，包括：
确定包括标注信息的样本图像，其中，所述标注信息包括所述样本图像中的多个第一关键点的坐标信息集合，所述多个第一关键点包括多个第一方向关键点，所述多个第一方向关键点包括多个肺尖轮廓关键点和多个膈面轮廓关键点，并且所述多个肺尖轮廓关键点和所述多个膈面轮廓关键点之间存在一一对应关系；
确定初始网络模型，并基于所述样本图像训练所述初始网络模型，以生成关键点网络模型，其中，所述关键点网络模型用于确定医学图像中的多个第二关键点的坐标信息集合，所述多个第二关键点用于对所述医学图像进行区域划分；
其中，所述确定包括标注信息的样本图像，包括：
获取包括肺野区域的医学图像，其中，所述医学图像为正位胸片；
基于所述肺野区域确定所述肺野区域对应的所述坐标信息集合；
基于所述坐标信息集合和所述包括肺野区域的医学图像生成包括标注信息的样本图像；
其中，所述基于所述肺野区域确定所述肺野区域对应的所述坐标信息集合，包括：
基于所述肺野区域确定所述肺野区域对应的所述多个第一方向关键点的坐标信息，其中，所述多个第一方向关键点对应的第一连接线集合将所述肺野区域沿第一方向划分为多个第一区域；
所述多个第一方向关键点的坐标信息组合在一起，形成所述坐标信息集合。
2.根据权利要求1所述的方法，其特征在于，所述基于所述肺野区域确定所述肺野区域对应的所述坐标信息集合，还包括：
基于所述肺野区域确定所述肺野区域对应的多个第二方向关键点的坐标信息，其中，所述多个第二方向关键点对应的第二连接线集合将所述肺野区域沿第二方向划分为多个第二区域；
其中，所述多个第一方向关键点的坐标信息组合在一起，形成所述坐标信息集合，包括：
所述多个第一方向关键点的坐标信息和所述多个第二方向关键点的坐标信息组合在一起，形成所述坐标信息集合。
3.根据权利要求2所述的方法，其特征在于，所述多个第二方向关键点包括多个肺尖至肋膈角轮廓关键点和多个肺尖至心膈角轮廓关键点，并且所述多个肺尖至肋膈角轮廓关键点和所述多个肺尖至心膈角轮廓关键点之间存在一一对应关系。
4.根据权利要求1或2所述的方法，其特征在于，所述关键点网络模型包括特征提取网络子模型、特征融合网络子模型和关键点坐标预测子模型，其中，所述特征提取网络子模型、所述特征融合网络子模型和所述关键点坐标预测子模型之间具备数据传输关系。
5.根据权利要求4所述的方法，其特征在于，所述特征提取网络子模型包括ResNext-50网络模型，和/或所述特征融合网络子模型包括全景特征金字塔网络模型。
6.一种区域划分方法，其特征在于，包括：
确定需要进行区域划分的医学图像；
将所述医学图像输入至关键点网络模型，以确定所述医学图像对应的多个关键点的坐标信息集合，其中，所述关键点网络模型基于上述权利要求1至5任一所述的网络模型训练方法获得；
基于所述坐标信息集合对所述医学图像进行区域划分操作，以生成区域划分信息。
7.根据权利要求6所述的方法，其特征在于，所述基于所述坐标信息集合对所述医学图像进行区域划分操作，以生成区域划分信息，包括：
基于所述坐标信息集合中的所述多个关键点的坐标信息，确定多组关键点对应关系；
针对所述多组关键点对应关系中的每个关键点对应关系，将所述关键点对应关系对应的关键点用线条连接起来，以生成区域划分线；
将所述多组关键点对应关系对应的区域划分线组合在一起，形成区域划分线集合；
基于所述区域划分线集合对所述医学图像进行区域划分操作，以生成区域划分信息。
8.根据权利要求7所述的方法，其特征在于，所述区域划分线集合包括能够将肺野区域划分为内带区域、中带区域和外带区域的区域划分线。
9.根据权利要求7所述的方法，其特征在于，所述区域划分线集合包括能够将肺野区域划分为上野区域、中野区域和下野区域的区域划分线。
10.一种网络模型训练装置，其特征在于，包括：
样本图像确定模块，用于确定包括标注信息的样本图像，其中，所述标注信息包括所述样本图像中的多个第一关键点的坐标信息集合，所述多个第一关键点包括多个第一方向关键点，所述多个第一方向关键点包括多个肺尖轮廓关键点和多个膈面轮廓关键点，并且所述多个肺尖轮廓关键点和所述多个膈面轮廓关键点之间存在一一对应关系；
模型生成模块，用于确定初始网络模型，并基于所述样本图像训练所述初始网络模型，以生成关键点网络模型，其中，所述关键点网络模型用于确定医学图像中的多个第二关键点的坐标信息集合，所述多个第二关键点用于对所述医学图像进行区域划分；
其中，所述样本图像确定模块包括：
图像获取单元，用于获取包括肺野区域的医学图像，其中，所述医学图像为正位胸片；
坐标信息集合确定单元，用于基于所述肺野区域确定所述肺野区域对应的所述坐标信息集合；
样本图像生成单元，用于基于所述坐标信息集合和所述包括肺野区域的医学图像生成包括标注信息的样本图像；
其中，所述坐标信息集合确定单元包括：
第一坐标信息确定子单元，用于基于所述肺野区域确定所述肺野区域对应的所述多个第一方向关键点的坐标信息，其中，所述多个第一方向关键点对应的第一连接线集合将所述肺野区域沿第一方向划分为多个第一区域；
坐标信息集合形成子单元，用于所述多个第一方向关键点的坐标信息组合在一起，形成所述坐标信息集合。
11.一种区域划分装置，其特征在于，包括：
图像确定模块，用于确定需要进行区域划分的医学图像；
坐标信息集合确定模块，用于将所述医学图像输入至关键点网络模型，以确定所述医学图像对应的多个关键点的坐标信息集合，其中，所述关键点网络模型基于上述权利要求1至5任一所述的网络模型训练方法获得；
区域划分模块，用于基于所述坐标信息集合对所述医学图像进行区域划分操作。
12.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至5任一所述的网络模型训练方法，或者执行上述权利要求6至9任一所述的区域划分方法。
13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行区域划分方法，其中，所述区域划分方法包括：
确定需要进行区域划分的医学图像；
将所述医学图像输入至关键点网络模型，以确定所述医学图像对应的多个关键点的坐标信息集合，其中，所述关键点网络模型基于上述权利要求1至5任一所述的网络模型训练方法获得；
基于所述坐标信息集合对所述医学图像进行区域划分操作，以生成区域划分信息；
确定所述医学图像的病灶区域的位置信息；
基于所述位置信息和所述区域划分信息确定所述病灶区域在所述医学图像中的区域划分位置。
14.根据权利要求13所述的计算机可读存储介质，其特征在于，所述确定所述医学图像的病灶区域的位置信息，包括：
确定所述病灶区域的重心的位置信息；
基于所述重心的位置信息确定所述病灶区域的位置信息。
15.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至5任一所述的网络模型训练方法，或者执行上述权利要求6至9任一所述的区域划分方法。
16.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行区域划分方法，其中，所述区域划分方法包括：
确定需要进行区域划分的医学图像；
将所述医学图像输入至关键点网络模型，以确定所述医学图像对应的多个关键点的坐标信息集合，其中，所述关键点网络模型基于上述权利要求1至5任一所述的网络模型训练方法获得；
基于所述坐标信息集合对所述医学图像进行区域划分操作，以生成区域划分信息；
确定所述医学图像的病灶区域的位置信息；
基于所述位置信息和所述区域划分信息确定所述病灶区域在所述医学图像中的区域划分位置。
17.根据权利要求16所述的电子设备，其特征在于，所述确定所述医学图像的病灶区域的位置信息，包括：
确定所述病灶区域的重心的位置信息；
基于所述重心的位置信息确定所述病灶区域的位置信息。
CN201911049879.8A 2019-10-31 2019-10-31 网络模型训练方法及装置、区域划分方法及装置 Active CN110766701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911049879.8A CN110766701B (zh) 2019-10-31 2019-10-31 网络模型训练方法及装置、区域划分方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911049879.8A CN110766701B (zh) 2019-10-31 2019-10-31 网络模型训练方法及装置、区域划分方法及装置

Publications (2)

Publication Number Publication Date
CN110766701A CN110766701A (zh) 2020-02-07
CN110766701B true CN110766701B (zh) 2020-11-06

Family

ID=69334969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911049879.8A Active CN110766701B (zh) 2019-10-31 2019-10-31 网络模型训练方法及装置、区域划分方法及装置

Country Status (1)

Country Link
CN (1) CN110766701B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311672A (zh) * 2020-02-12 2020-06-19 深圳市商汤科技有限公司 检测物体重心的方法及装置、电子设备和存储介质
CN111353975A (zh) * 2020-02-24 2020-06-30 北京推想科技有限公司 网络模型训练方法及装置、病灶定位方法及装置
CN111861989A (zh) * 2020-06-10 2020-10-30 杭州深睿博联科技有限公司 一种脑中线检测方法、***、终端及存储介质
CN111739035B (zh) * 2020-06-30 2022-09-30 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置、设备及存储介质
CN112241961A (zh) * 2020-09-22 2021-01-19 深圳视见医疗科技有限公司 基于深度卷积神经网络的胸部x光片辅助诊断方法及***
CN112967235A (zh) * 2021-02-19 2021-06-15 联影智能医疗科技(北京)有限公司 图像检测方法、装置、计算机设备和存储介质
CN112991363A (zh) * 2021-03-17 2021-06-18 泰康保险集团股份有限公司 脑肿瘤图像分割方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790690A (en) * 1995-04-25 1998-08-04 Arch Development Corporation Computer-aided method for automated image feature analysis and diagnosis of medical images
CN102207991A (zh) * 2010-03-31 2011-10-05 富士胶片株式会社 医学图像诊断辅助技术
CN105957094A (zh) * 2016-06-15 2016-09-21 深圳维影医疗科技有限公司 一种基于轮廓检测的胸片肺野快速自动分割方法及其***
CN108078581A (zh) * 2017-12-12 2018-05-29 北京青燕祥云科技有限公司 基于卷积神经网络的肺癌良恶性判别方法***和实现装置
CN109993733A (zh) * 2019-03-27 2019-07-09 上海宽带技术及应用工程研究中心 肺部病灶的检测方法、***、存储介质、终端及显示***
CN110232383A (zh) * 2019-06-18 2019-09-13 湖南省华芯医疗器械有限公司 一种基于深度学习模型的病灶图像识别方法及病灶图像识别***
CN110321922A (zh) * 2019-05-09 2019-10-11 济南浪潮高新科技投资发展有限公司 一种基于空间相关区分卷积神经网络的ct图像分类方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
CN101727666B (zh) * 2008-11-03 2013-07-10 深圳迈瑞生物医疗电子股份有限公司 图像分割方法及装置、图像倒置判断方法
US10699412B2 (en) * 2017-03-23 2020-06-30 Petuum Inc. Structure correcting adversarial network for chest X-rays organ segmentation
WO2018205922A1 (en) * 2017-05-08 2018-11-15 Suzhou Complexis Medical Inc. Methods and systems for pulmonary function test based on diagnostic medical imaging and machine learning
CN107808377B (zh) * 2017-10-31 2019-02-12 北京青燕祥云科技有限公司 一种肺叶中病灶的定位装置
US10607114B2 (en) * 2018-01-16 2020-03-31 Siemens Healthcare Gmbh Trained generative network for lung segmentation in medical imaging
CN109344833B (zh) * 2018-09-04 2020-12-18 中国科学院深圳先进技术研究院 医学图像分割方法、分割***及计算机可读存储介质
CN109508681B (zh) * 2018-11-20 2021-11-30 北京京东尚科信息技术有限公司 生成人体关键点检测模型的方法和装置
CN109961103B (zh) * 2019-04-02 2020-10-27 北京迈格威科技有限公司 特征提取模型的训练方法、图像特征的提取方法及装置
CN110013264A (zh) * 2019-04-29 2019-07-16 北京青燕祥云科技有限公司 X光图像识别方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790690A (en) * 1995-04-25 1998-08-04 Arch Development Corporation Computer-aided method for automated image feature analysis and diagnosis of medical images
CN102207991A (zh) * 2010-03-31 2011-10-05 富士胶片株式会社 医学图像诊断辅助技术
CN105957094A (zh) * 2016-06-15 2016-09-21 深圳维影医疗科技有限公司 一种基于轮廓检测的胸片肺野快速自动分割方法及其***
CN108078581A (zh) * 2017-12-12 2018-05-29 北京青燕祥云科技有限公司 基于卷积神经网络的肺癌良恶性判别方法***和实现装置
CN109993733A (zh) * 2019-03-27 2019-07-09 上海宽带技术及应用工程研究中心 肺部病灶的检测方法、***、存储介质、终端及显示***
CN110321922A (zh) * 2019-05-09 2019-10-11 济南浪潮高新科技投资发展有限公司 一种基于空间相关区分卷积神经网络的ct图像分类方法
CN110232383A (zh) * 2019-06-18 2019-09-13 湖南省华芯医疗器械有限公司 一种基于深度学习模型的病灶图像识别方法及病灶图像识别***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Spatial Structure Preserving Feature Pyramid Network for Semantic Image Segmentation;Yuan Yuan et al;《ACM Transactions on Multimedia Computing, Communications, and Applications》;20190831;第1-19页 *
基于中层特征的医学图像分割研究进展;魏俊生等;《北京生物医学工程》;20160630;第35卷(第3期);第325-328页 *

Also Published As

Publication number Publication date
CN110766701A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN110766701B (zh) 网络模型训练方法及装置、区域划分方法及装置
EP3444777B1 (en) Automatic change detection in medical images
WO2021082416A1 (zh) 网络模型训练方法及装置、病灶区域确定方法及装置
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
US10147190B2 (en) Generation of a patient-specific anatomical atlas
KR102509659B1 (ko) 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치 및 방법
US20110190626A1 (en) Medical image diagnosis assisting apparatus and method, and computer readable recording medium on which is recorded program for the same
US10248756B2 (en) Anatomically specific movie driven medical image review
CN111166362B (zh) 医学图像的显示方法及装置、存储介质及电子设备
CN110298820A (zh) 影像分析方法、计算机设备和存储介质
CN111354073A (zh) 单侧颞骨空间坐标系的构建方法、空间定位方法及设备
CN111096835A (zh) 一种矫形器设计方法和***
EP3424017A1 (en) Automatic detection of an artifact in patient image data
CN111340209A (zh) 网络模型训练方法、图像分割方法、病灶定位方法
EP3665643B1 (en) X-ray image processing method and system and computer storage medium
US20220301154A1 (en) Medical image analysis using navigation processing
US20220108540A1 (en) Devices, systems and methods for generating and providing image information
US11475568B2 (en) Method for controlling display of abnormality in chest x-ray image, storage medium, abnormality display control apparatus, and server apparatus
CN110993068A (zh) 阅片质控方法及***、阅片质控装置及电子设备
JP7457011B2 (ja) 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法
JP2021019677A (ja) 教師画像生成プログラム、教師画像生成方法、および教師画像生成システム
JP2006181146A (ja) 診断支援装置、診断支援方法およびそのプログラム
CN111429406B (zh) 结合多视图推理的乳腺x射线影像病变检出方法和装置
CN114596275A (zh) 肺血管分割方法、装置、存储介质及电子设备
JP2019111006A (ja) 動態画像処理方法及び動態画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Patentee after: Tuxiang Medical Technology Co., Ltd

Address before: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Patentee before: Beijing Tuoxiang Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder