CN110459319B - 基于人工智能的乳腺钼靶图像的辅助诊断*** - Google Patents
基于人工智能的乳腺钼靶图像的辅助诊断*** Download PDFInfo
- Publication number
- CN110459319B CN110459319B CN201910755719.9A CN201910755719A CN110459319B CN 110459319 B CN110459319 B CN 110459319B CN 201910755719 A CN201910755719 A CN 201910755719A CN 110459319 B CN110459319 B CN 110459319B
- Authority
- CN
- China
- Prior art keywords
- target image
- breast
- molybdenum target
- malignant
- benign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 title claims abstract description 264
- 229910052750 molybdenum Inorganic materials 0.000 title claims abstract description 264
- 239000011733 molybdenum Substances 0.000 title claims abstract description 264
- 210000005075 mammary gland Anatomy 0.000 title claims abstract description 46
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 7
- 238000003745 diagnosis Methods 0.000 title abstract description 27
- 210000000481 breast Anatomy 0.000 claims abstract description 215
- 230000003211 malignant effect Effects 0.000 claims abstract description 146
- 238000001514 detection method Methods 0.000 claims abstract description 131
- 238000005516 engineering process Methods 0.000 claims abstract description 6
- 238000003384 imaging method Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 85
- 210000004907 gland Anatomy 0.000 claims description 83
- 230000003902 lesion Effects 0.000 claims description 77
- 210000003205 muscle Anatomy 0.000 claims description 65
- 210000002445 nipple Anatomy 0.000 claims description 58
- 238000013145 classification model Methods 0.000 claims description 29
- 230000002308 calcification Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 7
- 210000001519 tissue Anatomy 0.000 claims description 7
- 206010028980 Neoplasm Diseases 0.000 abstract description 21
- 201000011510 cancer Diseases 0.000 abstract description 8
- 230000036210 malignancy Effects 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 63
- 239000010410 layer Substances 0.000 description 29
- 230000008569 process Effects 0.000 description 20
- 208000004434 Calcinosis Diseases 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000013526 transfer learning Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000000762 glandular Effects 0.000 description 10
- 238000011176 pooling Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000004807 localization Effects 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 238000000105 evaporative light scattering detection Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 208000006981 Skin Abnormalities Diseases 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请是201910407807.X的分案申请,公开了基于人工智能的乳腺目标图像的辅助诊断***,所述***包括:乳腺DR设备、***良恶性子***和自动化报告生成子***;所述乳腺DR设备,用于基于数字X射线成像技术,采集乳腺钼靶图像;所述***良恶性子***,用于获取所述乳腺DR设备采集的单侧***的乳腺钼靶图像,所述乳腺钼靶图像包括:头尾CC位钼靶图像和内侧斜MLO位钼靶图像;调用***良恶性检测模型对所述CC位钼靶图像和所述MLO位钼靶图像进行良恶性预测,得到所述单侧***的良恶性预测结果;所述自动化报告生成子***,用于生成和输出检测报告,所述检测报告包括所述单侧***的良恶性预测结果。
Description
本申请是申请号为201910407807.X、申请日为2019年05月16日、发明创造名称为“乳腺钼靶图像的辅助诊断方法、装置、***及介质”的分案申请
技术领域
本申请实施例涉及人工智能领域,特别涉及一种基于人工智能的乳腺钼靶图像的辅助诊断***。
背景技术
乳腺钼靶(mammograms)图像被广泛应用于乳腺癌早期筛查,医生通常会诊断钼靶图像中的各种异常信息,包括肿块病灶、钙化病灶、***肿大及皮肤异常等,并根据异常信息给出表征风险程度的乳腺影像报告和数据***(BI-RADS)分级。
相关技术中,采用神经网络模型对乳腺钼靶图像中的病灶进行识别,从而定位出乳腺钼靶图像中的可疑病灶以及良恶性预测结果,并根据乳腺钼靶图像中的所有异常信息推断出该乳腺钼靶图像整体的BI-RADS评分。
但是上述神经网络模型的预测过程仅是简单的二维图像层面的预测过程,与医生实际的看片过程并不吻合,导致对良恶性预测结果的准确程度较低。
发明内容
本申请实施例提供了一种基于人工智能的乳腺钼靶图像的辅助诊断***,可以解决相关技术中的神经网络模型对乳腺钼靶图像中的良恶性预测结果的准确程序较低的问题。所述技术方案如下:
根据本申请的一个方面,提供了一种乳腺钼靶图像的辅助诊断方法,所述方法包括:
获取单侧***的乳腺钼靶图像,所述乳腺钼靶图像包括:头尾(Cranial-Caudal,CC)位钼靶图像和内侧斜视(MedioLateral-Oblique,MLO)位钼靶图像;
调用***良恶性检测模型对所述CC位钼靶图像和所述MLO位钼靶图像进行良恶性预测,得到所述单侧***的良恶性预测结果;
生成和输出检测报告,所述检测报告包括所述单侧***的良恶性预测结果。
根据本申请的一个方面,提供了一种乳腺钼靶图像的辅助诊断装置,所述装置包括:
图像获取模块,用于获取单侧***的乳腺钼靶图像,所述乳腺钼靶图像包括:CC位钼靶图像和MLO位钼靶图像;
***良恶性检测模型模块,用于对所述CC位钼靶图像和所述MLO位钼靶图像进行良恶性预测,得到所述单侧***的良恶性预测结果;
自动化报告输出模块,用于生成和输出检测报告,所述检测报告包括所述单侧***的良恶性预测结果。
根据本申请的另一方面,提供了一种计算机设备,所述计算机设备包括存储器和处理器;所述存储器存储有至少一条程序,所述至少一条程序由所述处理器加载并执行以实现如上所述的乳腺钼靶图像的辅助诊断方法。
根据本申请的另一方面,提供了一种乳腺钼靶图像的辅助诊断***,其特征在于,所述***包括:乳腺DR设备、计算机设备和医生设备;所述乳腺DR设备与所述计算机设备相连,所述计算机设备与所述医生设备相连;所述计算机设备包括存储器和处理器;所述存储器存储有至少一条程序,所述至少一条程序由所述处理器加载并执行以实现如上所述的乳腺钼靶图像的辅助诊断方法。
根据本申请的另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条程序,所述至少一条程序由处理器加载并执行以实现如上所述的乳腺钼靶图像的辅助诊断方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过获取单侧***的CC位钼靶图像和MLO位钼靶图像;调用***良恶性检测模型对CC位钼靶图像和MLO位钼靶图像进行良恶性预测,得到单侧***的良恶性预测结果;生成和输出检测报告,检测报告包括单侧***的良恶性预测结果;由于***良恶性检测模型能够综合对CC位钼靶图像和MLO位钼靶图像进行良恶性预测,也即综合了两个不同视角的钼靶图像进行良恶性预测,较为真实地模拟了医生实际的看片过程,从提高了对单侧***的良恶性预测结果的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示意性实施例提供的乳腺钼靶图像的辅助检测方法的流程图;
图2是本申请另一个示意性实施例提供的乳腺钼靶图像的辅助检测方法的流程图;
图3是本申请一个示意性实施例提供的***良恶性模型的结构框图;
图4是本申请另一个示意性实施例提供的乳腺钼靶图像的辅助检测方法的流程图;
图5是本申请另一个示意性实施例提供的***信息提取子***的流程图;
图6是本申请另一个示意性实施例提供的***和肌肉检测模型的训练方法的流程图;
图7是本申请另一个示意性实施例提供的腺体类型分类模型的训练方法的流程图;
图8是本申请另一个示意性实施例提供的病灶检测子***的工作原理图;
图9是本申请一个示意性实施例提供的病灶描述模型的训练方法的流程图;
图10是本申请一个示意性实施例提供的病灶良恶性模型的训练方法的流程图;
图11是本申请一个示意性实施例提供的病灶象限定位模型的定位示意图;
图12是本申请一个示意性实施例提供的病灶匹配模型的训练方法的流程图;
图13是本申请一个示意性实施例提供的***良恶性模型的工作原理图;
图14是本申请一个示意性实施例提供的单图良恶性模型的训练方法的流程图;
图15是本申请另一个示意性实施例提供的自动化报告子***的工作原理图;
图16是本申请一个示意性实施例提供的结构化报告的报告示意图;
图17是本申请一个示意性实施例提供的乳腺钼靶图像的辅助检测装置的框图;
图18是本申请一个示意性实施例提供的计算机设备的框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
尽管以下描述使用术语第一、第二等来描述各种元素,但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区域分开。例如,在不脱离各种所述示例的范围的情况下,第一图像可以被称为第二图像,并且类似地,第二图像可以被称为第一图像。第一图像和第二图像都可以是图像,并且在某些情况下,可以是单独且不同的图像。
在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示例,而并非旨在进行限制。如在对各种所述示例的描述和所附权利要求书中所使用的那样,单数形式“ 一个(“ a”“, an”)”和“ 该”旨在也包括复数形式,除非上下文另外明确地指示。还将理解的是,本文中所使用的术语“ 和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“ 包括”(“ inCludes”“ inCluding”“ Comprises”和/或“ Comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/ 或其分组。
根据上下文,术语“ 如果”可被解释为意指“ 当 ...时”(“ when”或“ upon”)或“响应于确定”或“ 响应于检测到”。类似地,根据上下文,短语“ 如果确定 ...”或“ 如果检测到[所陈述的条件或事件]”可被解释为意指“ 在确定 ...时”或“ 响应于确定...”或“在检测到[所陈述的条件或事件] 时”或“ 响应于检测到[所陈述的条件或事件]”。
首先对本申请实施例涉及的若干个名词进行简介:
***钼靶图像:是利用X射线的物理性质及人体***组织不同的等密度值,将***的二维图像投影于X光胶片之上得到的图像,简称钼靶图像。
根据钼靶图像的视图位置不同,包括: CC位的钼靶图像和MLO位的钼靶图像。
图1示出了本申请一个示例性实施例提供的计算机***的结构框图。该计算机***包括:乳腺数字放射(Digital Radiography,DR)设备02、乳腺钼靶图像辅助诊断***10和医生设备04。
乳腺DR设备02是用于基于数字X射线成像技术,采集乳腺钼靶图像的设备。乳腺DR设备02可属于乳腺目标图像辅助诊断设备10,也可以独立于乳腺目标图像的辅助诊断设备10之外部署,图1中以独立部署为例来说明。
乳腺钼靶图像的辅助诊断***10是一台或多台计算机设备,比如单台服务器、服务器群组、服务器集群中的至少一种。***10包括:***信息提取子***12、病灶识别子***14、***良恶性子***16和自动化报告生成子***18中的至少一种。
***信息提取子***12用于提取***整体信息。该子***12包括:***位置检测模型、肌肉位置检测模型和腺体类型分类模型。其中,***位置检测模型和肌肉位置检测模型可以实现成为同一个神经网络模型,也即***和肌肉检测模型。
病灶识别子***14用于对乳腺钼靶图像进行肿块检测和钙化检测。检测过程中会考虑***的腺体类型进行阈值的选择。病灶识别子***14对检测到的病灶进行病灶良恶性分析、病灶属性描述、CC位病灶和MLO位病灶匹配。此外,还根据***位置和肌肉位置定位病灶所在的象限。
***良恶性子***16用于以病灶识别子***14作为基础,结合CC位的钼靶图像和MLO位的钼靶图像进行单侧***的良恶性预测。***良恶性子***16包括有***良恶性检测模型。可选地,***良恶性检测模型在预测时根据***的腺体类型进行预测阈值的动态选择。
自动化报告生成子***18用于对上述三个子***的所有预测结果进行融合,生成结构化的检测报告。医生可对生成的检测报告进行校正,并可以选择感兴趣的钼靶图像区域,通过交互式查询方式得到该钼靶图像区域的相关信息。
医生设备04是医生使用的计算机设备,可以是台式电脑、笔记本、触摸显示屏等。医生设备04用于查看自动化报告生成子***18所生成的检测报告以及相应的人机交互。医生设备04可属于乳腺钼靶图像辅助诊断***10,也可以独立于乳腺钼靶图像辅助诊断***10之外部署,图1中以独立部署为例来说明。
图2示出了本申请一个示例性实施例提供的乳腺钼靶图像的辅助诊断方法的流程图。该方法可以应用于图1所示的乳腺钼靶图像的辅助诊断***(以下简称为计算机设备)。该方法包括:
步骤202,获取单侧***的乳腺钼靶图像,乳腺钼靶图像包括:CC位钼靶图像和MLO位钼靶图像;
计算机设备获取单侧***在两个不同视图位上的乳腺钼靶图像。作为本实施例的一个示例,两个不同视图位上的乳腺钼靶图像包括:
CC位的钼靶图像是采用头尾位采集的钼靶图像。CC位钼靶图像的中心线是自上而下,经乳腺上方垂直入射胶片中心。
MLO位的钼靶图像是采用内侧斜位采集的钼靶图像。MLO位钼靶图像的中心线是经乳腺内侧垂直入射胶片中心。
步骤204,调用***良恶性检测模型对CC位钼靶图像和MLO位钼靶图像进行良恶性预测,得到单侧***的良恶性预测结果;
作为本实施例的一个示例,***良恶性检测模型包括:第一单图检测部22、第二单图检测部24、池化层26和全连接层28。
计算机***调用第一单图检测部22对CC位钼靶图像进行处理,得到第一特征(比如第一logits特征);调用第二单图检测部24对MLO位钼靶图像进行处理,得到第二特征(比如第二logits特征);将第一特征和第二特征输入池化层26和全连接层28,得到单侧***的良恶性预测结果。
步骤206,生成和输出检测报告,检测报告包括单侧***的良恶性预测结果。
综上所述,本实施例提供的方法,通过获取单侧***的CC位钼靶图像和MLO位钼靶图像;调用***良恶性检测模型对CC位钼靶图像和MLO位钼靶图像进行良恶性预测,得到单侧***的良恶性预测结果;生成和输出检测报告,检测报告包括单侧***的良恶性预测结果;由于***良恶性检测模型能够综合对CC位钼靶图像和MLO位钼靶图像进行良恶性预测,也即综合了两个不同视角的钼靶图像进行良恶性预测,较为真实地模拟了医生实际的看片过程,从提高了对单侧***的良恶性预测结果的准确性。
在基于图2的可选实施例中,计算机***调用腺体类型分类模型对乳腺钼靶图像中的腺体类型进行识别,得到腺体类型识别结果,根据腺体类型识别结果确定所述***良恶性检测模型对应的预测阈值,调用确定预测阈值后的***良恶性检测模型对CC位钼靶图像和MLO位钼靶图像进行良恶性预测,得到单侧***的良恶性预测结果。
图4示出了本申请一个示例性实施例提供的乳腺钼靶图像的辅助诊断方法的流程图。该方法可以应用于图1所示的乳腺钼靶图像辅助诊断***(以下计算机设备)。该方法包括:
步骤401,获取单侧***的乳腺钼靶图像,乳腺钼靶图像包括:CC位钼靶图像和MLO位钼靶图像;
计算机设备从乳腺DR设备获取单侧***的乳腺钼靶图像。或者,计算机设备接收医生设备上传的单侧***的乳腺钼靶图像。
单侧***是指左侧***或右侧***。当单侧***是左侧***时,获取左侧***的乳腺钼靶图像;当单侧***是右侧***时,获取右侧***的乳腺钼靶图像。
步骤402,调用腺体类型分类模型对CC位钼靶图像的腺体类型进行识别,得到第一腺体类型;
第一腺体类型包括:脂肪型、少量腺体型、多量腺体型和致密型中的任意一种。
步骤403,调用腺体类型分类模型对MLO位钼靶图像的腺体类型进行识别,得到第二腺体类型;
第二腺体类型包括:脂肪型、少量腺体型、多量腺体型和致密型中的任意一种。
步骤404,将第一腺体类型和第二腺体类型中腺体密度较大的一种,确定为单侧***的腺体类型;
可选地,四种腺体类型的腺体密度由大到小排列的顺序为:致密型>多量腺体型>少量腺体型>脂肪型。
在一个示例中,第一腺体类型是腺体型,第二腺体类型是少量腺体型,则将腺体型确定为单侧***的腺体类型;在另一个示例中,第一腺体类型是致密型,第二腺体类型是脂肪型,则将致密型确定为单侧***的腺体类型。
步骤405,根据腺体类型识别结果确定***良恶性检测模型对应的预测阈值;
***良恶性检测模型中存在用于检测良恶性的概率阈值,***根据腺体类型识别结果来确定相应的预测阈值。在一个示例中,脂肪型对应第一阈值,少量腺体型对应第二阈值,多量腺体型对应第三阈值,致密型对应第四阈值。
当单侧***的腺体类型是脂肪型时,确定***良恶性检测模型对应的预测阈值为第一阈值;当单侧***的腺体类型是少量腺体型时,确定***良恶性检测模型对应的预测阈值为第二阈值;当单侧***的腺体类型是多量腺体型时,确定***良恶性检测模型对应的预测阈值为第三阈值;当单侧***的腺体类型是致密型时,确定***良恶性检测模型对应的预测阈值为第四阈值。
步骤406,调用第一单图检测部对CC位钼靶图像进行处理,得到第一特征;
步骤407,调用第二单图检测部对MLO位钼靶图像进行处理,得到第二特征;
步骤408,将第一特征和第二特征输入池化层和全连接层,得到单侧***的良恶性预测结果。
示意性的,以预测阈值为60%为例,当全连接层输出的良恶性预测概率为65%时,由于65%大于60%,则确定良恶性预测结果为恶性;当全连接层输出的良恶性预测概率为40%时,由于40%小于60%,则确定良恶性预测结果为良性。
其中,预测阈值可根据腺体类型而动态改变。
综上所述,本实施例提供的方法,通过获取单侧***的CC位钼靶图像和MLO位钼靶图像;调用***良恶性检测模型对CC位钼靶图像和MLO位钼靶图像进行良恶性预测,得到单侧***的良恶性预测结果;生成和输出检测报告,检测报告包括单侧***的良恶性预测结果;由于***良恶性检测模型能够综合对CC位钼靶图像和MLO位钼靶图像进行良恶性预测,也即综合了两个不同视角的钼靶图像进行良恶性预测,较为真实地模拟了医生实际的看片过程,从提高了对单侧***的良恶性预测结果的准确性。
下文对上述各个神经网络模型以及相应的神经网络模型的训练方法进行介绍。
针对***信息提取子***
***信息提取子***包括:***检测模型、肌肉检测模型和腺体类型分类模型。其中,***检测模型和肌肉检测模型可设计为同一个检测模型:***和肌肉检测模型,如图5所示。
作为本申请的一个示例,***检测模型是基于全卷积网络(Fully ConvolutionalNetworks,FCN)的两分类(***+背景)模型。肌肉检测模型是基于FCN的两分类(肌肉+背景)模型。***和肌肉检测模型是基于FCN的三分类(***+肌肉+背景)。
在基于图2至图4任一所示的可选实施例中,还包括如下步骤:
计算机设备调用***检测模型(或***和肌肉检测模型)对乳腺钼靶图像中的***位置进行识别。***检测模型用于对乳腺钼靶图像中的各个像素点进行标定,每个像素点的类型可以是***和背景中的一种。
计算机设备调用肌肉检测模型(或***和肌肉检测模型)对乳腺钼靶图形象中的肌肉位置进行识别。肌肉检测模型用于对乳腺钼靶图像中的各个像素点进行标定,每个像素点的类型可以是肌肉和背景中的一种。
计算机设备调用***和肌肉检测模型对乳腺钼靶图像中的***位置和肌肉位置进行识别。***和肌肉检测模型用于对乳腺钼靶图像中的各个像素点进行标定,每个像素点的类型可以是***、肌肉和背景中的一种。
对于CC位钼靶图像,***和肌肉检测模型用于检测***区域;对于MLO位钼靶图像,***和肌肉检测模型用于检测***和肌肉区域。
上述***和肌肉检测模型的训练方法可以如下,如图6所示:
步骤601,对***和肌肉检测模型进行权重初始化;
示意性的,采用加州大学伯克利分校(UC Berkeley)发布的FCN模型构建***和肌肉检测模型,采用分割数据集(pattern analysis , statistical modelling andcomputational learning visual object classes,PASCAL VOC)对***和肌肉检测模型的权重进行初始化。PASCAL VOC数据集是一种提供用于对象类识别的标准化图像数据集,也可以为提供用于访问数据集和注释的公共工具集。
步骤602,获取训练样本,训练样本包括样本乳腺钼靶图像、***标定结果和肌肉标定结果;
示意性的,训练样本包括两部分:医学钼靶图像公开数据集(Digital Databasefor Screening Mammography,DDSM)数据库和手工标定数据集。手工标定数据集可以是使用国内医院数据,聘请专家进行像素级标准后的样本乳腺钼靶图像(1000张+)。可选地,对于手工标定的数据集,还可以采用图像翻转和/或图像裁剪技术进行数据增强。
其中,DDSM数据库是医学机构建立的专门存放乳腺癌图像的数据库。DDSM数据库里存放了恶性、常规、良性等数据类型,目前很多对乳腺癌的研究都是依据DDSM数据库进行研究。
第一训练过程可采用公开数据集DDSM中的样本乳腺钼靶图像进行训练,然后再采用手工标定数据集进行迁移学习。迁移学习的参数可以为:样本乳腺钼靶图像的输入尺寸为800*800像素、批处理大小为8,学习率为0.00001,最大迭代次数10000)。
其中,迁移学习是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的,所以通过迁移学习可以将已经学到的模型参数通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。在本申请中,通过参数迁移的方式进行网络模型数据训练,能够将任务A训练出来的模型用来初始化任务B的模型参数,使任务B能够更快的学习训练收敛。
步骤603,使用***和肌肉检测模型对训练样本进行预测,得到预测结果;
步骤604,根据预测结果、***标定结果和肌肉标定结果进行误差计算,得到误差损失;
步骤605,根据误差损失采用误差反向传播算法对***和肌肉检测模型进行训练。
当训练次数达到预设次数,或误差损失小于阈值时,认为满足训练结束条件。训练得到用于提取***区域和肌肉区域的全卷积分割网络。
腺体类型分类模型可以是以谷歌公司发布的Inception V3模型来构建的分类模型。腺体类型包括:脂肪型、少量腺体型、多量腺体型和致密型四种中的一种。其中,Inception V3模型是卷积神经网络中的一种。卷积神经网络是一种前馈神经网络,人工神经元可以响应周围单元,可以进行大型图像处理,卷积神经网络包括卷积层和池化层。Inception V3模型通过增加单层卷积层的宽度,即在单层卷积层上使用不同尺度的卷积核,从而优化网络。Inception V3模型通过密集成分来近似最优的局部稀疏结,从而更高效的利用计算资源,在相同的计算量下能提取到更多的特征,从而提升训练结果。InceptionV3模型的特点有两个:一是使用1x1的卷积来进行升降维;二是在多个尺寸上同时进行卷积再聚合。
其中,卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的。图像卷积运算的目的是提取输入图像的不同特征,第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级,更多层的网络能从低级特征中迭代提取出更复杂的特征。
上述腺体类型分类模型的训练方法可以如下,如图7所示:
步骤701,对腺体类型分类模型进行权重初始化;
示意性的,采用谷歌公司发布的Inception V3模型构建腺体类型分类模型,输出的分类类别设置为4。然后使用ImageNet(计算机视觉标准数据集)数据集进行权重初始化。
步骤702,获取训练样本,训练样本包括样本乳腺钼靶图像和腺体类型标定结果;
示意性的,训练样本包括两部分:谷歌公司发布公开数据集DDSM和手工标定数据集。手工标定数据集可以是使用国内医院数据,聘请专家进行腺体类型进行标定后的样本乳腺钼靶图像(1000张+)。可选地,对于手工标定的数据集,还可以采用图像翻转和/或图像裁剪技术进行数据增强。
第一训练过程可采用公开数据集DDSM中的样本乳腺钼靶图像进行训练,然后再采用手工标定数据集进行迁移学习。迁移学习的参数可以为:误差反向传播算法使用均方根误差(Root Mean Square prop,RMSprop),批处理大小为64,初始学习率为0.00001,最大迭代次数为10000。
步骤703,使用腺体类型分类模型对训练样本进行预测,得到预测结果;
步骤704,根据预测结果和腺体类型标定结果进行误差计算,得到误差损失;
步骤705,根据误差损失采用误差反向传播算法对腺体类型分类模型进行训练。
当训练次数达到预设次数,或误差损失小于阈值时,认为满足训练结束条件。训练得到用于识别腺体类型的属性分类网络。
针对病灶识别子***
病灶识别子***包括:病灶描述模型、病灶良恶性模型、病灶匹配模型和病灶象限定位模型,如图8所示。
在基于图2至图4的可选实施例中,还包括如下四个步骤中的至少一个步骤:
计算机设备调用病灶描述模型对乳腺钼靶图像中的病灶进行检测,得到病灶描述信息;
计算机设备调用病灶良恶性模型对乳腺钼靶图像中的病灶进行良恶性识别,得到病灶良恶性概率;
计算机设备调用病灶匹配模型对CC位钼靶图像和MLO位钼靶图像的病灶进行一致性判断,得到病灶匹配概率;
计算机设备调用病灶象限定位模型对乳腺钼靶图像中的病灶进行象限计算。
病灶描述模型可以是以谷歌公司发布的Inception V3模型来构建的分类模型。上述病灶描述模型的训练方法可以如下,如图9所示:
步骤901,对病灶描述模型进行权重初始化;
示意性的,采用谷歌公司发布的Inception V3模型构建病灶描述模型。示意性的,将Inception V3模型的最后一个全连接层修改为支持多个任务同时训练的多个并列的全连接层,每个任务对应的输出类别设置为2,也即每个任务共享除最后一个全连接层之外的所有参数。然后使用ImageNet数据集进行权重初始化。
步骤902,获取训练样本,训练样本包括样本乳腺钼靶图像和病灶标定结果;
示意性的,训练样本包括两部分:谷歌公司发布公开数据集DDSM和手工标定数据集。手工标定数据集可以是使用国内医院数据,聘请专家对病灶属性进行标定后的样本乳腺钼靶图像(1000张+)。以肿块属性为例,对每一个肿块标注圆形或不规则形、边界清晰或模糊、边界见分页或不见分页、边界见毛刺或不见毛刺中的至少一项描述信息。可选地,对于手工标定的数据集,还可以采用图像翻转和/或图像裁剪技术进行数据增强。
第一训练过程可采用公开数据集DDSM中的样本乳腺钼靶图像进行训练,然后再采用手工标定数据集进行迁移学习。迁移学习的参数可以为:误差反向传播算法使用Adam,批处理大小为64,初始学习率为0.001,最大迭代次数为10000。
步骤903,使用病灶描述模型对训练样本进行预测,得到预测结果;
步骤904,根据预测结果和病灶标定结果进行误差计算,得到误差损失;
步骤905,根据误差损失采用误差反向传播算法对病灶描述模型进行训练。
当训练次数达到预设次数,或误差损失小于阈值时,认为满足训练结束条件。训练得到用于识别病灶的属性分类网络。
病灶良恶性模型可以是以谷歌公司发布的Inception V3模型来构建的分类模型。上述病灶良恶性模型的训练方法可以如下,如图10所述:
步骤1001,对病灶良恶性模型进行权重初始化;
示意性的,采用谷歌公司发布的Inception V3模型构建病灶良恶性模型。示意性的,将Inception V3模型的最后一个池化层修改为最大池化层(max pooling),输出类别数设置为2。然后使用ImageNet数据集进行权重初始化。
步骤1002,获取训练样本,训练样本包括样本乳腺钼靶图像和良恶性标定结果;
示意性的,训练样本包括两部分:谷歌公司发布公开数据集DDSM和手工标定数据集。手工标定数据集可以是使用国内医院数据,聘请专家对病灶的良恶性进行标定后的样本乳腺钼靶图像(16000张+)。其中,良恶性标定结果包括:恶性钙化病灶和恶性肿块病灶为正样本,良性钙化病灶、良性肿块病灶和正常区域为负样本。可选地,对于手工标定的数据集,还可以采用图像翻转和/或图像裁剪技术进行数据增强。
第一训练过程可采用公开数据集DDSM中的样本乳腺钼靶图像进行训练,然后再采用手工标定数据集进行迁移学习。迁移学习的参数可以为:误差反向传播算法使用Adam,批处理大小为64,初始学习率为0.001,最大迭代次数为10000。
步骤1003,使用病灶良恶性模型对训练样本进行预测,得到预测结果;
步骤1004,根据预测结果和病灶标定结果进行误差计算,得到误差损失;
步骤1005,根据误差损失采用误差反向传播算法对病灶良恶性模型进行训练。
当训练次数达到预设次数(比如10000),或误差损失小于阈值时,认为满足训练结束条件。训练得到用于识别病灶的属性分类网络。示意性的,概率大于0.5被认为是疑似包含恶性病灶。
病灶象限定位模型是基于肌肉直线拟合方程的模型,通过对乳腺钼靶图像中的肌肉位置的边界进行线性拟合,得到肌肉边界直线方程。然后,根据***位置对乳腺钼靶图像中的病灶进行象限计算。
计算机设备获取病灶象限定位模型,其中病灶象限定位模型是通过多个样本图像训练得到的,样本图像中的每一个像素点都进行了标注,标注类型包括:背景、***和肌肉,换句话说,病灶象限定位模型可以识别出一张图像中每个像素点要么是属于背景的,要么是属于***的要么是属于肌肉的。计算机设备将CC位钼靶图像输入病灶象限定位模型,基于病灶象限定位模型可以确定CC位钼靶图像中的***位置(CC位钼靶图像是没有肌肉信息的,因此没有肌肉区域);计算机设备将MLO位钼靶图像输入病灶象限定位模型,基于病灶象限定位模型可以确定MLO位钼靶图像中的***位置以及肌肉位置。对CC位钼靶图像来说,计算机设备根据***位置以及乳腺边缘分界线,确定第一分割线,根据第一分割线,确定第一病灶区域位于内象限或者外象限。对MLO位钼靶图像来说,计算机设备根据肌肉位置拟合肌肉边界直线方程,进而确定肌肉边界线(即是前述中的对象分界线),再根据***位置以及肌肉边界线,确定第二分割线,根据第二分割线,确定第二病灶区域位于上象限或者下象限。
结合图11所示出的用户界面20a所示,计算机设备10a获取同一个患者的同一侧***的乳腺钼靶图像,并将获取到的乳腺钼靶图像显示在屏幕上,其中乳腺钼靶图像包括:CC位钼靶图像20b,以及MLO位钼靶图像20c,CC位钼靶图像是按照头尾位对乳腺成像,MLO位钼靶图像是按照斜侧位对乳腺成像。
计算机设备10a获取肿块检测模型以及钙化检测模型(也即本申请中的病灶描述模型),肿块检测模型可以识别出图像中肿块病灶所在的位置区域;钙化检测模型可以是识别出图像中钙化病灶所在的位置区域,肿块类别和钙化类别属于病灶类别。
对肿块检测模型来说,计算机设备10a可以将CC位钼靶图像20b输入肿块检测模型,肿块检测模型可以输出CC位钼靶图像20b中的病灶对象位于CC位钼靶图像20b中的病灶区域20d,还可以确定CC位钼靶图像20b中的病灶对象所属的病灶类别为肿块类别。
计算机设备10a可以将MLO位钼靶图像20c输入肿块检测模型,肿块检测模型也可以输出MLO位钼靶图像20c中的病灶对象位于MLO位钼靶图像20c中的病灶区域20h,且还可以确定MLO位钼靶图像20c中的病灶对象所属的病灶类别为肿块类别。
对钙化检测模型来说,计算机设备10a同样将CC位钼靶图像20b输入钙化检测模型,钙化检测模型在CC位钼靶图像20b中没有检测到钙化病灶;计算机设备10a同样将MLO位钼靶图像20c输入钙化检测模型,钙化检测模型在MLO位钼靶图像20c中同样没有检测到钙化病灶。
因此,对CC位钼靶图像20b,以及MLO位钼靶图像20c来说,只存在肿块病灶,且在CC位钼靶图像20b中肿块病灶位于病灶区域20d;在MLO位钼靶图像20c中肿块病灶位于病灶区域20h。
计算机设备10a获取病灶象限定位模型,病灶象限定位模型可以是识别图像中每个像素点所属的组织类别,组织类别包括:***类别、肌肉类别以及背景类别。
计算机设备10a将CC位钼靶图像20b输入病灶象限定位模型,模型可以确定CC位钼靶图像20b的每个像素点所属的组织类别。在CC位钼靶图像20b中,计算机设备10a将属于***类别的像素组合为区域20e,该区域20e即是***所在的区域。计算机设备10a在CC位钼靶图像20b中确定乳腺边缘线20g,将垂直于乳腺边缘线20g且经过区域20e的线条20f作为象限分割线20f。在CC位钼靶图像20b中,位于象限分割线20f以下的为内象限,位于象限分割线20f以上的为外象限。在CC位钼靶图像20b中,由于病灶区域20d位于内象限(病灶区域20d中的大部分位于内象限,那就认为病灶区域20d位于内象限),因此计算机设备10a可以确定CC位钼靶图像20b中的肿块病灶位于内象限。
计算机设备10a将MLO位钼靶图像20c输入病灶象限定位模型,模型可以确定MLO位钼靶图像20c的每个像素点所属的组织类别。在MLO位钼靶图像20c中,计算机设备10a将属于***类别的像素组合为区域20j,该区域20j即是***所在的区域。计算机设备10a将属于肌肉类别的象限组合为肌肉区域,并确定肌肉区域与非肌肉区域的区域分界线20m,将垂直于区域分界线20m且经过区域20j的线条20k作为象限分割线20k。在MLO位钼靶图像20c中,位于象限分割线20k以下的为下象限,位于象限分割线20k以上的为上象限。在MLO位钼靶图像20c中,由于病灶区域20h位于下象限,因此计算机设备10a可以确定MLO位钼靶图像20c中的肿块病灶位于下象限。
计算机设备10a将由CC位钼靶图像20b确定的内象限,以及由MLO位钼靶图像20c确定的下象限,组合为象限位置信息20n“内下象限”。
计算机设备10a可以将象限位置信息20n“内下象限”以及与CC位钼靶图像20b、MLO位钼靶图像20c均对应的病灶类别“肿块”,组合为诊断意见:“内下象限见肿块”。
病灶匹配模型可以是基于牛津大学发布的VGG模型构建的分类模型。病灶匹配模型的训练过程可以如下,如图12所示:
步骤1201,对病灶匹配模型进行权重初始化;
示意性的,采用牛津大学发布的VGG模型构建病灶匹配模型。示意性的,取VGG模型的pool5层结果进行融合,后续与原始VGG一致采用三个全连接层得到分类数为2个结果。然后使用ImageNet数据集进行权重初始化。
步骤1202,获取训练样本,训练样本包括样本乳腺钼靶图像和匹配标定结果;
示意性的,训练样本包括两部分:谷歌公司发布公开数据集DDSM和手工标定数据集。手工标定数据集可以是使用国内医院数据,聘请专家对CC位钼靶图像和MLO位钼靶图像中表示同一个病灶的一对斑块作为正样本,其他任意两个不表示同一个病灶的一对斑块作为负样本,得到样本乳腺钼靶图像(1000张+)。可选地,对于手工标定的数据集,还可以采用图像翻转和/或图像裁剪技术进行数据增强。
第一训练过程可采用公开数据集DDSM中的样本乳腺钼靶图像进行训练,然后再采用手工标定数据集进行迁移学习。迁移学习的参数可以为:误差反向传播算法使用Adam,批处理大小为128,初始学习率为0.001,最大迭代次数为10000。
步骤1203,使用病灶匹配模型对训练样本进行预测,得到预测结果;
步骤1204,根据预测结果和匹配标定结果进行误差计算,得到误差损失;
步骤1205,根据误差损失采用误差反向传播算法对病灶匹配模型进行训练。
当训练次数达到预设次数(比如10000),或误差损失小于阈值时,认为满足训练结束条件。训练得到用于识别病灶匹配程度的属性分类网络。示意性的在预测阶段中,同时输入CC位的钼靶图像中的第一病灶和MLO位的钼靶图像中的第二病灶,得到第一病灶和第二病灶是否属于同一病灶的概率。
针对***良恶性子***
***良恶性子***中包括:***良恶性模型,如图13所示。***良恶性模型用于对单侧***的CC位钼靶图像和MLO位钼靶图像进行良恶性检测,得到单侧***的良恶性概率,***良恶性模型的结构如图3所示。
在基于图2至图4的可选实施例中,上述***良恶性模型的训练过程包括:单图良恶性模型的训练,以及***良恶性模型的训练。单图良恶性模型用于构建图3中的第一单图检测部22和第二单图检测部24。
单图良恶性模型的训练方法包括如下:
步骤1401,获取训练好的病灶良恶性模型作为初始的单图良恶性模型;
步骤1402,获取训练样本,训练样本包括样本乳腺钼靶图像和整图良恶性标定结果;
示意性的,训练样本包括两部分:手工标定数据集。手工标定数据集可以是使用国内医院数据,聘请专家对整张图片的良恶性进行标定后的样本乳腺钼靶图像(16000张+)。其中,整图良恶性标定结果包括:恶性的钼靶图像作为正样本,整图为良性和/或正常的钼靶图像作为负样本。可选地,对于手工标定的数据集,还可以采用图像翻转和/或图像裁剪技术进行数据增强。
采用手工标定数据集对初始的单图良恶性模型进行迁移学习。迁移学习的参数可以为:误差反向传播算法使用Adam,批处理大小为64,初始学习率为0.001,最大迭代次数为10000。
步骤1403,使用单图良恶性模型对训练样本进行预测,得到预测结果;
步骤1404,根据预测结果和整图良恶性标定结果进行误差计算,得到误差损失;
步骤1405,根据误差损失采用误差反向传播算法对单图良恶性模型进行训练。
当训练次数达到预设次数(比如10000),或误差损失小于阈值时,认为满足训练结束条件。训练得到用于识别单图良恶性的属性分类网络。示意性的,概率大于0.5被认为是疑似包含恶性病灶。
根据训练完毕的两个单图良恶性模型分别作为第一单图检测部22和第二单图检测部24,通过增加池化层25和全连接层28,使模型的输出类别保持为2后,形成***良恶性模型。
使用单图良恶性模型的训练样本作为新的训练样本,通过数据增强之后(由于是钼靶图片,主要进行翻转和裁剪的数据增强,无须进行颜色空间的数据增强),通过训练将单图良恶性分类模型扩展为CC和MLO双图良恶性分类模型。训练参数可以为:(下降算法使用RMSprop,批处理大小为32,初始学习率为0.01,最大迭代次数为10000)。
针对自动报告生成子***
图15示出了自动报告生成子***将上述子***的结果进行融合并自动生成结构化报告的原理示意图。自动报告生成子***通过对上述各子***的所有检测与识别结果进行融合,生成结构化报告,医生可以对生成的报告进行修改,并可以通过交互式方式,查询感兴趣区域的相关信息。各步骤的详细说明如下:
自动报告生成子***具有如下功能:
结构化的检测报告生成
计算机设备通过对上述所有子***得到的检测与识别结果进行汇总,自动生成BI-RADS标准中所述的检测报告的报告内容。检测报告的报告内容包括:肿块描述、钙化描述、腺体类型描述以及***良恶性的描述等,示意性的,该检测报告可参考图16所示。检测报告:少量腺体性、恶性肿块、恶性钙化、右侧***恶性概率较大、内下象限肿块以及肿块的描述信息:不规则形、边界不清、带毛刺、浅分页。
检测报告的校正
医生可以通过复核等方式,对本***的检测与识别结果和自动生成的报告进行修正,得到诊断报告。计算机设备接收医生设备发送的报告校正请求,根据报告校正请求对检测报告进行校正。
交互式查询
医生可以通过交互式方式,查询其感兴趣的信息。例如,医生可选择钼靶图像中感兴趣的区域,通过调用本***的病灶良恶性分类模型,得到该区域的良恶性结果。计算机设备还接收局部查询请求,该局部查询请求用于请求查询乳腺钼靶图像中的局部区域,根据局部查询请求输出局部区域对应的检测报告。
图17示出了本申请一个示例性实施例提供的乳腺钼靶图像的辅助诊断装置的框图。该装置可以用于实现上述乳腺钼靶图像的辅助诊断方法的功能。该装置包括:
图像获取模块101,用于获取单侧***的乳腺钼靶图像,所述乳腺钼靶图像包括:CC位钼靶图像和MLO位钼靶图像;
***良恶性检测模型102,用于对所述CC位钼靶图像和所述MLO位钼靶图像进行良恶性预测,得到所述单侧***的良恶性预测结果;
自动化报告生成模块103,用于生成和输出检测报告,所述检测报告包括所述单侧***的良恶性预测结果。
在一个可选的实施例中,所述***良恶性检测模型102包括:第一单图检测部、第二单图检测部、池化层和全连接层;
所述***良恶性检测模型102,用于调用所述第一单图检测部对所述CC位钼靶图像进行处理,得到第一logits特征;
所述***良恶性检测模型102,用于调用所述第二单图检测部对所述MLO位钼靶图像进行处理,得到第二logits特征;
所述***良恶性检测模型102,用于将所述第一logits特征和所述第二logits特征输入所述池化层和所述全连接层,得到所述单侧***的良恶性预测结果。
在一个可选的实施例中,所述装置还包括:腺体类型分类模型;
所述腺体类型分类模型,用于对所述乳腺钼靶图像中的腺体类型进行识别,得到腺体类型识别结果;
所述***良恶性检测模型102,用于根据所述腺体类型识别结果确定所述***良恶性检测模型对应的预测阈值;调用确定所述预测阈值后的***良恶性检测模型对所述CC位钼靶图像和所述MLO位钼靶图像进行良恶性预测,得到所述单侧***的良恶性预测结果。
在一个可选的实施例中,所述腺体类型分类模型,用于调用所述腺体类型分类模型对所述CC位钼靶图像的腺体类型进行识别,得到第一腺体类型;调用所述腺体类型分类模型对所述MLO位钼靶图像的腺体类型进行识别,得到第二腺体类型;将所述第一腺体类型和所述第二腺体类型中腺体密度较大的一种,确定为所述单侧***的腺体类型。
在一个可选的实施例中,所述装置还包括:病灶识别模型;
所述病灶识别模型,用于对所述乳腺钼靶图像进行病灶检测,得到病灶检测结果,所述病灶检测包括肿块检测和/或钙化检测。
在一个可选的实施例中,所述病灶识别模型包括:病灶描述模型、病灶良恶性模型、病灶匹配模型和病灶象限定位模型中的至少一种;
所述病灶描述模型,用于对所述乳腺钼靶图像中的病灶进行检测,得到病灶描述信息;
所述病灶良恶性模型,用于对所述乳腺钼靶图像中的病灶进行良恶性识别,得到病灶良恶性概率;
所述病灶匹配模型,用于对所述CC位钼靶图像和所述MLO位钼靶图像的病灶进行一致性判断,得到病灶匹配概率;
所述病灶象限定位模型,用于对所述乳腺钼靶图像中的病灶进行象限计算。
在一个可选的实施例中,所述装置还包括:***检测模型;
所述***检测模型,用于对所述乳腺钼靶图像中的***位置进行识别;
所述病灶象限定位模型,用于根据所述***位置对所述乳腺钼靶图像中的病灶进行象限计算。
在一个可选的实施例中,所述装置还包括:肌肉检测模型;
所述肌肉检测模型,用于当所述乳腺目标图像是MLO位钼靶图像时,对所述乳腺钼靶图像中的肌肉位置进行识别。
在一个可选的实施例中,所述自动化报告生成模块103,用于接收报告校正请求;根据所述报告校正请求对所述检测报告进行校正。
在一个可选的实施例中,所述自动化报告生成模块103,用于接收局部查询请求,所述局部查询请求用于请求查询所述乳腺钼靶图像中的局部区域;根据所述局部查询请求输出所述局部区域对应的检测报告。
图18示出了本申请一个示例性实施例提供的计算机设备的结构示意图。示意性的,计算机设备1800包括中央处理单元(Central Processing Unit,简称:CPU)1801、包括随机存取存储器(random access memory,简称:RAM)1802和只读存储器(read-onlymemory,简称:ROM)1803的***存储器1804,以及连接***存储器1804和中央处理单元1801的***总线1805。所述计算机设备1800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(I/O***)1806,和用于存储操作***1813、应用程序1814和其他程序模块1815的大容量存储设备1807。
所述基本输入/输出***1806包括有用于显示信息的显示器1808和用于用户输入信息的诸如鼠标、键盘之类的输入设备1809。其中所述显示器1808和输入设备1809都通过连接到***总线1805的输入/输出控制器1810连接到中央处理单元1801。所述基本输入/输出***1806还可以包括输入/输出控制器1810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入/输出控制器1810还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1807通过连接到***总线1805的大容量存储控制器(未示出)连接到中央处理单元1801。所述大容量存储设备1807及其相关联的计算机可读介质为计算机设备1800提供非易失性存储。也就是说,所述大容量存储设备1807可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory,简称:CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(erasable programmable read-only memory,简称:EPROM)、电可擦除可编程只读存储器(electrically erasable programmable read-onlymemory,简称:EEPROM)、闪存或其他固态存储其技术,CD-ROM、数字通用光盘(DigitalVersatile Disc,简称:DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的***存储器1804和大容量存储设备1807可以统称为存储器。
根据本申请的各种实施例,所述计算机设备1800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1800可以通过连接在所述***总线1805上的网络接口单元1811连接到网络1812,或者说,也可以使用网络接口单元1811来连接到其他类型的网络或远程计算机***(未示出)。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方法实施例提供的乳腺钼靶图像的辅助诊断方法。
可选地,本申请还提供了一种包含指令的计算机程序产品,当其在计算机设备上运行时,使得计算机设备执行上述各个方法实施例所提供的乳腺钼靶图像的辅助诊断方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于人工智能的乳腺钼靶图像的辅助诊断***,其特征在于,所述***包括:乳腺DR设备、***良恶性子***、***信息提取子***、病灶识别子***和自动化报告生成子***;
所述乳腺DR设备,用于基于数字X射线成像技术,采集乳腺钼靶图像;
所述***良恶性子***,用于获取所述乳腺DR设备采集的单侧***的乳腺钼靶图像,所述乳腺钼靶图像包括:头尾CC位钼靶图像和内侧斜MLO位钼靶图像;
所述***信息提取子***,用于调用腺体类型分类模型对所述CC位钼靶图像和所述MLO位钼靶图像的腺体类型进行识别;所述腺体类型分类模型是基于InceptionV3模型构建的分类模型,所述腺体类型分类模型是根据标定有腺体类型标定结果的样本乳腺钼靶图像训练得到的;
所述***良恶性子***,用于根据所述CC位钼靶图像和所述MLO位钼靶图像的腺体类型识别结果确定***良恶性检测模型对应的预测阈值;调用所述***良恶性检测模型对所述CC位钼靶图像和所述MLO位钼靶图像进行良恶性预测;当所述***良恶性检测模型的全连接层输出的良恶性预测概率大于所述预测阈值时,确定良恶性预测结果为恶性;当所述***良恶性检测模型的全连接层输出的良恶性预测概率小于所述预测阈值时,确定所述良恶性预测结果为良性;
所述病灶识别子***,用于调用病灶象限定位模型识别所述CC位钼靶图像和所述MLO位钼靶图像中的每个像素点所属的组织类别,所述组织类别包括:***类别、肌肉类别以及背景类别;所述病灶识别子***包括病灶良恶性模型,所述病灶良恶性模型是基于InceptionV3模型构建的模型,所述病灶良恶性模型是根据标定有良恶性标定结果的样本乳腺钼靶图像训练得到的;
所述病灶识别子***,用于调用病灶象限定位模型对所述CC位钼靶图像中的第一病灶区域进行识别,得到所述CC位钼靶图像中的第一***位置以及乳腺边缘分界线;调用所述病灶象限定位模型对所述MLO位钼靶图像中的第二病灶区域进行识别,得到所述MLO位钼靶图像中的第二***位置以及肌肉位置;根据所述肌肉位置拟合肌肉边界直线方程得到肌肉边界线;根据所述第一***位置以及所述乳腺边缘分界线确定第一分割线;根据所述第二***位置和所述肌肉边界线确定第二分割线;根据所述第一分割线确定所述第一病灶区域所在的第一象限,根据所述第二分割线确定所述第二病灶区域所在的第二象限;根据所述第一象限和所述第二象限得到所述病灶区域的位置信息;所述病灶象限定位模型是基于所述肌肉边界直线方程的模型,通过对所述乳腺钼靶图像中的所述肌肉位置的边界进行线性拟合,得到所述肌肉边界直线方程;
所述自动化报告生成子***,用于生成和输出检测报告,所述检测报告包括所述单侧***的所述良恶性预测结果以及所述病灶区域的位置信息。
2.根据权利要求1所述的***,其特征在于,
所述***信息提取子***,用于调用***和肌肉检测模型对乳腺钼靶图像中的***位置和肌肉位置进行识别。
3.根据权利要求1所述的***,其特征在于,
所述***信息提取子***,用于调用所述腺体类型分类模型对CC位钼靶图像的腺体类型进行识别,得到第一腺体类型;调用所述腺体类型分类模型对MLO位钼靶图像的腺体类型进行识别,得到第二腺体类型;将所述第一腺体类型和所述第二腺体类型中腺体密度较大的一种,确定为所述单侧***的腺体类型。
4.根据权利要求1至3任一所述的***,其特征在于,
所述病灶识别子***,用于调用病灶描述模型对所述乳腺钼靶图像中的病灶进行检测,得到病灶描述信息。
5.根据权利要求1至3任一所述的***,其特征在于,
所述病灶识别子***,用于调用所述病灶良恶性模型对所述乳腺钼靶图像中的病灶进行良恶性识别,得到病灶良恶性概率。
6.根据权利要求1至3任一所述的***,其特征在于,
所述病灶识别子***,用于调用病灶匹配模型对所述CC位钼靶图像和所述MLO位钼靶图像的病灶进行一致性判断,得到病灶匹配概率。
7.根据权利要求1至3任一所述的***,其特征在于,
所述***良恶性子***,用于对所述单侧***的所述CC位钼靶图像和所述MLO位钼靶图像进行良恶性检测,得到所述单侧***的良恶性概率。
8.根据权利要求1至3任一所述的***,其特征在于,
所述自动化 报告生成子***,还用于自动生成BI-RADS标准中的检测报告的报告内容,所述检测报告的报告内容包括:肿块描述、钙化描述、腺体类型描述以及***良恶性的描述中的至少一种。
9.根据权利要求1至3任一所述的***,其特征在于,
所述自动化 报告生成子***,还用于接收局部查询请求,所述局部查询请求用于请求查询所述乳腺钼靶图像中的局部区域;根据所述局部查询请求输出所述局部区域对应的检测报告。
10.根据权利要求1至3任一所述的***,其特征在于,所述***还包括:医生设备;
所述自动化 报告生成子***,还用于接收所述医生设备发送的报告校正请求,根据所述报告校正请求对所述检测报告进行校正。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910755719.9A CN110459319B (zh) | 2019-05-16 | 2019-05-16 | 基于人工智能的乳腺钼靶图像的辅助诊断*** |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910407807.XA CN110136829A (zh) | 2019-05-16 | 2019-05-16 | 乳腺钼靶图像的辅助诊断方法、装置、***及介质 |
CN201910755719.9A CN110459319B (zh) | 2019-05-16 | 2019-05-16 | 基于人工智能的乳腺钼靶图像的辅助诊断*** |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910407807.XA Division CN110136829A (zh) | 2019-05-16 | 2019-05-16 | 乳腺钼靶图像的辅助诊断方法、装置、***及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110459319A CN110459319A (zh) | 2019-11-15 |
CN110459319B true CN110459319B (zh) | 2021-05-25 |
Family
ID=67574623
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910407807.XA Pending CN110136829A (zh) | 2019-05-16 | 2019-05-16 | 乳腺钼靶图像的辅助诊断方法、装置、***及介质 |
CN201910755719.9A Active CN110459319B (zh) | 2019-05-16 | 2019-05-16 | 基于人工智能的乳腺钼靶图像的辅助诊断*** |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910407807.XA Pending CN110136829A (zh) | 2019-05-16 | 2019-05-16 | 乳腺钼靶图像的辅助诊断方法、装置、***及介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11922654B2 (zh) |
CN (2) | CN110136829A (zh) |
WO (1) | WO2020228570A1 (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110136829A (zh) | 2019-05-16 | 2019-08-16 | 腾讯科技(深圳)有限公司 | 乳腺钼靶图像的辅助诊断方法、装置、***及介质 |
CN110689038B (zh) * | 2019-06-25 | 2024-02-02 | 深圳市腾讯计算机***有限公司 | 神经网络模型的训练方法、装置和医学图像处理*** |
CN110738655B (zh) * | 2019-10-23 | 2024-04-26 | 腾讯科技(深圳)有限公司 | 影像报告生成方法、装置、终端及存储介质 |
CN111353975A (zh) * | 2020-02-24 | 2020-06-30 | 北京推想科技有限公司 | 网络模型训练方法及装置、病灶定位方法及装置 |
CN111489318B (zh) * | 2020-03-20 | 2023-10-27 | 上海联影智能医疗科技有限公司 | 医学图像增强方法和计算机可读存储介质 |
CN111524106B (zh) * | 2020-04-13 | 2021-05-28 | 推想医疗科技股份有限公司 | 颅骨骨折检测和模型训练方法、装置、设备和存储介质 |
US20220058794A1 (en) * | 2020-08-19 | 2022-02-24 | International Business Machines Corporation | Performing diagnostic assessments |
CN111709950B (zh) * | 2020-08-20 | 2020-11-06 | 成都金盘电子科大多媒体技术有限公司 | 一种乳腺钼靶ai辅助筛查方法 |
US11710231B2 (en) * | 2020-08-31 | 2023-07-25 | Ping An Technology (Shenzhen) Co., Ltd. | Method and apparatus for mammographic multi-view mass identification |
CN112233198B (zh) * | 2020-09-02 | 2023-04-07 | 山东师范大学 | 一种乳腺钼靶图像到能谱重组图像合成方法及*** |
CN113662573B (zh) * | 2021-09-10 | 2023-06-30 | 上海联影医疗科技股份有限公司 | 乳腺病灶定位方法、装置、计算机设备和存储介质 |
CN114068013B (zh) * | 2021-11-16 | 2022-09-23 | 高峰 | 一种脑动脉闭塞人工智能辅助决策*** |
CN114862842A (zh) * | 2022-06-06 | 2022-08-05 | 北京医准智能科技有限公司 | 图像处理装置、电子设备及介质 |
CN114820590B (zh) * | 2022-06-06 | 2023-04-07 | 北京医准智能科技有限公司 | 图像处理方法、装置、电子设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140185750A1 (en) * | 2012-12-28 | 2014-07-03 | Samsung Electronics Co., Ltd. | X-ray imaging apparatus and method of generating stereoscopic image |
CN105125171A (zh) * | 2015-06-23 | 2015-12-09 | 牛兆河 | 一种用于诊断乳腺癌的*** |
CN105957092A (zh) * | 2016-05-31 | 2016-09-21 | 福州大学 | 用于计算机辅助诊断的乳腺钼靶图像特征自学习提取方法 |
CN106339591A (zh) * | 2016-08-25 | 2017-01-18 | 汤平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务*** |
CN108416360A (zh) * | 2018-01-16 | 2018-08-17 | 华南理工大学 | 基于乳腺钼靶钙化特征的癌症诊断***及方法 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006051198A (ja) * | 2004-08-12 | 2006-02-23 | Fuji Photo Film Co Ltd | 医用画像処理システム |
US7809175B2 (en) * | 2005-07-01 | 2010-10-05 | Hologic, Inc. | Displaying and navigating computer-aided detection results on a review workstation |
JP2009078033A (ja) * | 2007-09-27 | 2009-04-16 | Fujifilm Corp | ***画像表示装置およびそのプログラム |
CN101783026B (zh) * | 2010-02-03 | 2011-12-07 | 北京航空航天大学 | 三维人脸肌肉模型的自动构造方法 |
KR20120072961A (ko) * | 2010-12-24 | 2012-07-04 | 삼성전자주식회사 | 의료 영상을 이용한 영상진단을 보조하는 방법 및 장치, 이를 수행하는 영상진단 시스템 |
US8759783B1 (en) * | 2012-12-27 | 2014-06-24 | Ge Medical Systems Israel, Ltd. | Apparatus and method for reducing examination time in molecular breast imaging |
CN105339983B (zh) * | 2013-06-28 | 2019-07-26 | 皇家飞利浦有限公司 | 链接跨成像研究的乳腺病变位置 |
US10238354B2 (en) * | 2014-02-04 | 2019-03-26 | Koninklijke Philips N.V | Generating a breast parameter map |
WO2016130489A1 (en) * | 2015-02-09 | 2016-08-18 | Slingshot Biosciences, Inc. | Hydrogel particles with tunable optical properties and methods for using the same |
EP3292522A1 (en) * | 2015-05-07 | 2018-03-14 | Agfa Healthcare | A workflow management system and related method for multi-author reporting |
CN107103605B (zh) * | 2016-02-22 | 2021-03-16 | 上海联影医疗科技股份有限公司 | 一种***组织的分割方法 |
CN106203488B (zh) * | 2016-07-01 | 2019-09-13 | 福州大学 | 一种基于受限玻尔兹曼机的乳腺图像特征融合方法 |
US10463316B2 (en) * | 2016-09-12 | 2019-11-05 | Canon Medical Systems Corporation | Medical information processing system |
WO2019032558A1 (en) * | 2017-08-07 | 2019-02-14 | Imago Systems, Inc. | SYSTEM AND METHOD FOR VISUALIZATION AND CHARACTERIZATION OF OBJECTS IN IMAGES |
CN107798679B (zh) * | 2017-12-11 | 2021-04-27 | 福建师范大学 | 乳腺钼靶图像***区域分割与钙化点检测方法 |
CN108392215B (zh) * | 2018-02-09 | 2021-07-27 | 南方医科大学 | 一种同侧异位乳腺钼靶图像的点位置关联方法 |
CN108765387A (zh) * | 2018-05-17 | 2018-11-06 | 杭州电子科技大学 | 基于Faster RCNN乳腺DBT影像肿块自动检测方法 |
EP3806744B1 (en) * | 2018-06-14 | 2022-02-16 | Kheiron Medical Technologies Ltd | Immediate workup |
JP6910323B2 (ja) * | 2018-06-26 | 2021-07-28 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2020026028A1 (en) * | 2018-08-02 | 2020-02-06 | Cyrcadia Data Services (CDS) Limited | Systems and methods for tissue assessment |
CN109598702B (zh) * | 2018-10-30 | 2023-04-07 | 南方医科大学南方医院 | 对比增强能谱乳腺x线摄影的病灶特征量化方法及*** |
US10943681B2 (en) * | 2018-11-21 | 2021-03-09 | Enlitic, Inc. | Global multi-label generating system |
CN109493343A (zh) * | 2018-12-29 | 2019-03-19 | 上海鹰瞳医疗科技有限公司 | 医疗图像异常区域分割方法及设备 |
US11653900B2 (en) * | 2019-04-04 | 2023-05-23 | Koninklijke Philips N.V. | Data augmentation for training deep learning models with ultrasound images |
CN109993170A (zh) * | 2019-05-10 | 2019-07-09 | 图兮深维医疗科技(苏州)有限公司 | 一种乳腺病灶钟形图展示装置及设备 |
CN110136829A (zh) * | 2019-05-16 | 2019-08-16 | 腾讯科技(深圳)有限公司 | 乳腺钼靶图像的辅助诊断方法、装置、***及介质 |
US20230287370A1 (en) * | 2020-03-11 | 2023-09-14 | The Broad Institute, Inc. | Novel cas enzymes and methods of profiling specificity and activity |
-
2019
- 2019-05-16 CN CN201910407807.XA patent/CN110136829A/zh active Pending
- 2019-05-16 CN CN201910755719.9A patent/CN110459319B/zh active Active
-
2020
- 2020-05-06 WO PCT/CN2020/088759 patent/WO2020228570A1/zh active Application Filing
-
2021
- 2021-07-02 US US17/367,266 patent/US11922654B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140185750A1 (en) * | 2012-12-28 | 2014-07-03 | Samsung Electronics Co., Ltd. | X-ray imaging apparatus and method of generating stereoscopic image |
CN105125171A (zh) * | 2015-06-23 | 2015-12-09 | 牛兆河 | 一种用于诊断乳腺癌的*** |
CN105957092A (zh) * | 2016-05-31 | 2016-09-21 | 福州大学 | 用于计算机辅助诊断的乳腺钼靶图像特征自学习提取方法 |
CN106339591A (zh) * | 2016-08-25 | 2017-01-18 | 汤平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务*** |
CN108416360A (zh) * | 2018-01-16 | 2018-08-17 | 华南理工大学 | 基于乳腺钼靶钙化特征的癌症诊断***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110459319A (zh) | 2019-11-15 |
CN110136829A (zh) | 2019-08-16 |
US20210338179A1 (en) | 2021-11-04 |
WO2020228570A1 (zh) | 2020-11-19 |
US11922654B2 (en) | 2024-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110459319B (zh) | 基于人工智能的乳腺钼靶图像的辅助诊断*** | |
CN110111313B (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
US20190220978A1 (en) | Method for integrating image analysis, longitudinal tracking of a region of interest and updating of a knowledge representation | |
CN111210897B (zh) | 处理医学图像 | |
US7865002B2 (en) | Methods and apparatus for computer automated diagnosis of mammogram images | |
US9014485B2 (en) | Image reporting method | |
EP3796210A1 (en) | Spatial distribution of pathological image patterns in 3d image data | |
JP2008520317A (ja) | 医療画像データ内の腫瘍境界を自動的に検出及び区分するシステム及び方法 | |
JP7346553B2 (ja) | 深層学習を使用する3dデータセット内のオブジェクトの成長率の決定 | |
WO2022221712A1 (en) | Detecting, scoring and predicting disease risk using multiple medical-imaging modalities | |
JP2020171687A (ja) | 3d解剖学的ボリュームをその2dスライスの位置特定に基づいて処理するシステムおよび方法 | |
Kaliyugarasan et al. | Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI | |
Hu et al. | A multi-instance networks with multiple views for classification of mammograms | |
Zhou et al. | Computerized image analysis: texture‐field orientation method for pectoral muscle identification on MLO‐view mammograms | |
JP7457011B2 (ja) | 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法 | |
Mousavi Moghaddam et al. | Lung parenchyma segmentation from CT images with a fully automatic method | |
Kovalev et al. | Automatic detection of pathological changes in chest X-ray screening images using deep learning methods | |
Park et al. | Separation of left and right lungs using 3-dimensional information of sequential computed tomography images and a guided dynamic programming algorithm | |
WO2022138277A1 (ja) | 学習装置、方法及びプログラム並びに医用画像処理装置 | |
Al-Rubaye | Automatic quality assessment in mammography screening: a deep learning based segmentation method | |
JP7395668B2 (ja) | 高速マンモグラフィ・データ・ハンドリングのためのシステム及び方法 | |
Ramos | Analysis of medical images to support decision-making in the musculoskeletal field | |
Mwadulo | Alocal directional ternary pattern texture descriptor for mammographic breast cancer classification | |
Richardson | Image enhancement of cancerous tissue in mammography images | |
Jena et al. | An Investigation on Pre-processing Techniques and Image Datasets for Lung Cancer Classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |