CN111243730B - 一种基于乳腺超声影像的乳腺病灶智能分析方法及*** - Google Patents
一种基于乳腺超声影像的乳腺病灶智能分析方法及*** Download PDFInfo
- Publication number
- CN111243730B CN111243730B CN202010055201.7A CN202010055201A CN111243730B CN 111243730 B CN111243730 B CN 111243730B CN 202010055201 A CN202010055201 A CN 202010055201A CN 111243730 B CN111243730 B CN 111243730B
- Authority
- CN
- China
- Prior art keywords
- breast
- focus
- image
- ultrasonic
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Computation (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种基于乳腺超声影像的乳腺病灶智能分析方法及***，该方法主要包括动态识别、辅助分析、生成报告/病例三部分，三部分既可以单独使用，分阶段输出对应的结果，也可以联合在一起使用，贯穿乳腺超声检查的整个流程，该方法使用裁剪优化过的深度学习算法完成识别和分析工作，分析结果可靠性高且时效性强，且该方法得到的分析结果主要用于辅助医生高效处理日常乳腺超声检查工作，辅助分析、生成报告/病例两个环节均是应用户请求完成的，相对于传统的乳腺病灶分析方法更加人性化，误诊漏诊率大大降低。
Description
技术领域
本发明涉及人工智能与超声医学影像处理技术领域，更具体的说是涉及一种基于乳腺超声影像的乳腺病灶智能分析方法及***。
背景技术
目前，随着女性乳腺疾病相关知识的不断普及，定期进行乳腺检查成为乳腺疾病诊断和防护的首要工作。乳腺超声技术具有无创、快捷、重复性强、无放射等优点，能清楚地显示乳腺各层软组织及其中肿块的形态、内部结构及相邻组织的改变，给乳腺疾病的排查工作带来很大的便利，但是，乳腺超声检查在医院的临床引用过程中还存在以下几个方面的问题：
1.乳腺超声检查对医生的医学知识和技术经验等有着较高的要求，如需要根据患者不同情况，正确的操控探头的角度、位置等，也需要根据超声图像正确理解各组织及病灶类型、性质等，而超声科面对日益增长的乳腺检查的需求，均已出现医生不足的情况；
2.超声科医生每天面对日益繁重的工作，受情绪、体力等影响，难免会出现漏诊、误诊的情况；
3.医生在使用超声设备检查完后，仍需对病灶进行测量、分析，并投入一定的时间和精力输入文字，形成病例、超声报告等。
为简化医生工作流程、减轻工作负担、提高诊断正确率，基于深度学习技术的智能化诊断***应运而生，由于该***智能化程度高于传统的超声检查***，检查工作效率得到一定程度的提升，但是，基于深度学习的智能化分析、诊断技术在临床应用上仍存在以下方面问题：
1.实时性差，深度学习是一种计算密集型技术，对CPU、GPU等有着较高的要求。所以很多智能化***都是依赖云计算或远程服务器进行，受制与网络和网速等，即使是部署到设备端的离线模型，也有存在响应缓慢、延迟较大等问题，医生对***的体验和使用效率都并不是很好。
2.完成度低，很多***基于深度学习技术可以完成医生工作流程中的一部分，如病灶检测识别、性状分析等，但并未完全契合或完成医生日常工作的流程。医生为使用类似***还需支出额外精力或时间，改变工作流程、习惯等。
3.误诊漏诊，基于深度学习的智能化诊断***，虽然在一定程度上提高了某些方面的识别率，但仍不可避免的存在误诊、漏诊的情况。
因此，如何提供一种时效性强、准确可靠、功能更加齐全的乳腺病灶智能分析方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于乳腺超声影像的乳腺病灶智能分析方法及***，该方法从动态识别、辅助分析、生成报告/病例三方面辅助医生对乳腺病灶进行分析，解决了现有的乳腺病灶智能分析方法实时性差、完成度低且误诊漏诊率高的问题。
为了实现上述目的，本发明采用如下技术方案：
一种基于乳腺超声影像的乳腺病灶智能分析方法，该方法包括：
识别病灶：获取病人相关的乳腺超声影像数据，对获取到的乳腺超声影像进行动态识别，在乳腺超声影像中标记出乳腺病灶的位置及区域，并输出乳腺病灶标记图像；
辅助分析：根据用户请求，对乳腺病灶标记图像做进一步分析，推算出病灶各维度的分类信息，并将信息整理汇总后进行显示，输出辅助分析结果；
生成病例/报告：根据用户请求，对辅助分析结果做进一步整合处理，生成病例或超声报告。
进一步地，识别病灶的过程，具体包括：
获取数据：获取病人相关的乳腺超声影像数据，并输入病人的个人信息，将病人的个人信息和对应的乳腺超声影像数据一并存储；
数据预处理：对乳腺超声影像数据进行预处理；
构建模型：构建基于深度学习的乳腺病灶动态识别神经网络，并使用乳腺超声检查临床实践中的真实影像数据对乳腺病灶动态识别神经网络进行训练，并优化训练后的模型，得到深度学习网络模型；
结果推断：将预处理后的乳腺超声影像数据输入深度学习网络模型，输出乳腺病灶推算结果；
病灶解析：根据乳腺病灶推算结果，计算解析出乳腺病灶的实际位置或边缘；
输出结果：将乳腺病灶的实际位置或边缘进行标注，输出乳腺病灶标记图像。
进一步地，对乳腺超声影像数据进行预处理的过程，具体包括：
提取乳腺超声影像数据中的图像信息；
对图像进行缩放、灰度化及归一化处理。
进一步地，构建模型的过程，具体包括：
构建基于深度学习的乳腺病灶动态识别神经网络；
对乳腺超声检查临床实践中的真实影像数据进行脱敏处理；
对脱敏后的真实影像数据进行标注，得到标注图像；
将标注图像转交医院超声科医生进行二次标注或确认；
将二次标注或确认后的标注图像进行数据增强处理，得到样本数据；
将样本数据输入乳腺病灶动态识别神经网络进行训练，进一步压缩并优化网络模型，得到深度学习网络模型。
进一步地，辅助分析的过程，具体包括：
数据预处理：根据用户请求，对乳腺病灶标记图像进行预处理；
构建模型：构建基于深度学习的乳腺超声影像辅助分析网络，使用乳腺超声检查临床实践中的真实影像对乳腺超声影像辅助分析网络进行训练，并优化训练后的模型，得到辅助分析网络模型；
病灶分析：将预处理后的乳腺病灶标记图像输入辅助分析网络模型，输出乳腺病灶辅助分析结果。
进一步地，构建模型的过程，具体包括：
构建基于深度学习的乳腺超声影像辅助分析网络；
对乳腺超声检查临床实践中的真实影像数据进行脱敏处理；
对脱敏后的真实影像数据进行分类标注，得到分类标注图像；
将分类标注图像转交医院超声科医生进行二次分类标注或确认；
将二次分类标注或确认后的分类标注图像进行数据增强处理，得到样本数据；
将样本数据输入乳腺超声影像辅助分析网络进行训练，进一步压缩并优化网络模型，得到深度学习网络模型。
进一步地，病灶分析的过程，具体包括：
对预处理后的乳腺病灶标记图像进行深度网络计算，推理出乳腺病灶各维度的分类信息，并解析出病灶的实际分类信息；
对乳腺病灶各个维度的实际分类信息进行整理和汇总后，进行显示。
进一步地，生成病例/报告的过程，具体包括：
根据预先输入的病人的个人信息，对乳腺病灶辅助分析结果做进一步的编辑和同步病例处理，自动生成病灶描述和超声表现信息，形成初步病例或超声报告；
接收用户的修订请求，对生成的病例或超声报告进行修改或补充，得到最终的病例或超声报告。
此外，本发明还提供了一种基于乳腺超声影像的乳腺病灶智能分析***，该***基于上述的一种基于乳腺超声影像的乳腺病灶智能分析方法。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于乳腺超声影像的乳腺病灶智能分析方法及***，该方法主要包括动态识别、辅助分析、生成报告/病例三部分，三部分既可以单独使用，分阶段输出对应的结果，也可以联合在一起使用，贯穿乳腺超声检查的整个流程，该方法使用裁剪优化过的深度学习算法完成识别和分析工作，分析结果可靠性高且时效性强，且该方法得到的分析结果主要用于辅助医生高效处理日常乳腺超声检查工作，辅助分析、生成报告/病例两个环节均是应用户请求完成的，相对于传统的乳腺病灶分析方法更加人性化，误诊漏诊率大大降低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的一种基于乳腺超声影像的乳腺病灶智能分析方法的流程示意图；
图2附图为本发明实施例中深度网络1的一种结构参量表；
图3附图为本发明实施例中深度网络1的另一种结构参量表；
图4附图为本发明实施例中矩形框标注方式的标识图像示意图；
图5附图为本发明实施例中图像分割边沿标注方式的标识图像示意图；
图6附图为本发明实施例中深度网络2的一种结构参量表；
图7附图为本发明实施例中深度网络2的另一种结构参量表；
图8附图为本发明实施例中ResBlock结构示意图；
图9附图为本发明实施例中Batch_Normal结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见附图1，本发明实施例公开了一种基于乳腺超声影像的乳腺病灶智能分析方法，该方法包括：
识别病灶：获取病人相关的乳腺超声影像数据，对获取到的乳腺超声影像进行动态识别，在乳腺超声影像中标记出乳腺病灶的位置及区域，并输出乳腺病灶标记图像；
辅助分析：根据用户请求，对乳腺病灶标记图像做进一步分析，推算出病灶各维度的分类信息，并将信息整理汇总后进行显示，输出辅助分析结果；
生成病例/报告：根据用户请求，对辅助分析结果做进一步整合处理，生成病例或超声报告。
在本实施例中，动态识别、辅助分析和生成报告/病例三个部分既可单独使用，分阶段输出对应的功能和结果；又可以串联使用，贯穿乳腺超声检查的整个流程。
在一个具体的实施例中，识别病灶的过程，具体包括：
获取数据的过程，包括S11和S12两步，具体如下：
S11：输入病人的个人信息，此过程需要医生录入病人的姓名等个人信息，以便后续保存影像、识别结果、生成报告和病例。其方式有但不限于手动输入、语音输入、RFID或摄像头识别读取身份证或医保卡等方式。
S12：首先需要从超声设备获取病人相关超声视频或图像，其方式主要是通过超声设备的视频同步输出端口，如HDMI、DVI、S端子等。也可以通过网口、USB等其他方式同步或异步地传输超声影像。
S13:数据预处理：对乳腺超声影像数据进行预处理；具体包含图像的缩放、灰度化、归一化等。
S14:构建模型(即深度网络1)：构建基于深度学习的乳腺病灶动态识别神经网络，并使用乳腺超声检查临床实践中的真实影像数据对乳腺病灶动态识别神经网络进行训练，并优化训练后的模型，得到深度学习网络模型；
具体地，该网络主要采用深度学***台及算力的不同，可分别采用不同的网络结构。
该网络训练使用的是乳腺超声检查临床实践中积累的大量真实影像，经过脱敏处理后，采用矩形框框选、图像分割的多边形边沿标注两种标注方式(如图4所示为矩形框标注方式、如图5所示为图像分割边沿标注方式)。且所有标注图像均经过医院超声科医生二次标注或确认，保证了数据标注的正确性。
在使用大量标注数据同时，还采用了缩放、平移、旋转、弹性拉伸、高斯模糊、调节亮度对比度等数据增强的方式对网络进行训练。
根据深度网络的深度和不同层的宽度，分别建立不同的网络版本。使用大量真实且经过数据增强处理后样本数据，对不同版本的网络分别进行训练，选择满足识别精度的下，网络规模最小的深度网络版本。
在经过网络裁剪后，还可以根据硬件平台的不同，使用TensorRT、SNPE、RKNN等工具，进一步压缩、优化网络模型，使其模型尺寸和所需计算量进一步减少。此部分模型的压缩转换主要是根据不同平台的硬件特性对深度网络对应的图进行了合并、优化，并不改变深度网络的计算结果。
将训练好的网络模型部署到嵌入式***或服务器后，深度网络即可接收S13阶段输入的图像，并将图像信息经过深度网络计算，推理出病灶的位置或边缘信息。
S15:此过程为乳腺病灶动态识别的后处理阶段，主要是根据S14的输出结果，程序将自动计算解析出乳腺病灶的实际位置或边沿。
S16:输出结果：将乳腺病灶的实际位置或边缘进行标注，输出乳腺病灶标记图像。根据***需要，其输出可以转化为动态超声影像上的矩形框，或是边沿。也可以是文字、声音等信息。以上信息可根据S11输入的病人信息进行分类暂存，或永久存储。
以上为乳腺病灶动态识别过程，该阶段主要是辅助医生识别相关病灶，输出图形、文字或声音进行提示，但不作为诊断结果。至于是否需要对某影像或病灶等信息进行存储或做进一步分析，还需根据医生的选择进行。
在一个具体的实施例中，辅助分析的过程，具体包括：
S21：判断是否对乳腺病灶标记图像做进一步分析，在判断结果为是时，进行下述操作；
S22：数据预处理：根据用户请求，对乳腺病灶标记图像进行预处理；具体包含图像的缩放、灰度化、归一化等。
S23:构建模型(即深度网络2)：构建基于深度学习的乳腺超声影像辅助分析网络，使用乳腺超声检查临床实践中的真实影像对乳腺超声影像辅助分析网络进行训练，并优化训练后的模型，得到辅助分析网络模型；
该网络训练同样使用的是乳腺超声检查临床实践中积累的大量真实影像，经过脱敏处理后，对病灶进行分类标注，包含但不限于：形状(规则、欠规则、不规则)、方向(长轴与皮肤平行、长轴与皮肤不平行)、边界(清晰、尚清晰、欠清晰、不清晰)、边缘(光整、模糊、有毛刺、有分叶、有成角、未识别边缘)、回声(高回声、等回声、低回声、弱回声、无回声)、回声分布(均匀、欠均匀、不均匀)、强回声(粗大、细小、混合、不能识别)、后方回声(衰减、增强、未识别)、BI_RADS分级(1、2、3、4a、4b、4c、5、6)等维度。且所有标注图像均经过医院超声科医生标注或二次确认，保证了数据标注的正确性。
该网络主要采用深度学***台及算力的不同，可分别采用不同的网络结构。
下面对本实施例中深度网络1和深度网络2的A、B两种结构做简要介绍：
首先A结构具有较大的输入tensor尺寸，整体较宽的深度网络，可以接收检测分辨率较大的图像；而B结构的输入尺寸相对较小，深度网络结构相对略窄。
其次A结构具有较多的residual_block,具有较深的网络结构，可以提取更深层次的特征；而B结构其网络结构则相对较浅
另外，A结构使用的卷积kernel多是3x3尺寸；而B结构则多采用3x3和1x1交替使用的kernel。
总之，以上内容都是为了A结构能充分利用算力较为丰富的平台，实现更准确特征检测；B结构则需要在兼顾嵌入式有限的算力的同时，保证检测的正确性。
在使用大量标注数据同时，还采用了缩放、平移、旋转、弹性拉伸、高斯模糊、调节亮度对比度等数据增强的方式对网络进行训练。
通过图8和图9可以清楚的了解深度网络的结构，如图8所示，残差结构就是在原先的多个“卷积、Batch Normal、leaky Relu”重复块层的常规层次连接的基础上，引入跳跃连接。这样在梯度反向传递的过程中，不仅可以使当前网络层收敛较好，也可以使更靠近输入端的网络层获得更准确的梯度约束，从而极大的避免了梯度消失的问题。不仅使网络变得更深，获取更准确的特征，也使网络变得更加稳定。
参见附图9，bn就是在网络的每一层输入之前，通过尺度缩放和偏移，对当前层的输入做一个归一化处理，且在训练过程中需通过控制衰减系数来管理尺度缩放的系数和偏移量。不仅可以采用更高的学习率，降低初始化参数的敏感度，并且可以有效规避梯度的消失和***。
根据深度网络的深度和不同层的宽度，分别建立不同的网络版本。使用大量真实且经过数据增强处理后样本数据，对不同版本的网络分别进行训练，选择满足识别精度的下，网络规模最小的深度网络版本。
在经过网络裁剪后，还可以根据硬件平台的不同，使用TensorRT、SNPE、RKNN等工具，进一步压缩、优化网络模型，使其模型尺寸和所需计算量进一步减少。
将以上深度学习网络模型部署到嵌入式或服务器后，深度网络即可接收S22阶段输入的图像，并将图像信息经过深度网络计算，推理出病灶各维度的的分类信息。如对于边界这一维度，则可以从清晰、尚清晰、欠清晰、不清晰四个可能性中选择推理概率最高的一个作为边界的描述。
S24:乳腺病影像分析的后处理阶段，主要是根据S23的输出的分类信息，程序自动解析出乳腺病灶的形状、方向、边缘等分类信息。
S25:根据S24的输出，对各个维度的分类信息进行整理、汇总后，呈现给医生查看、分析。同时医生也可以根据自己的判断对各维度分类信息进行修改或补充。
以上为乳腺影像辅助分析的过程，该阶段主要是辅助医生分析乳腺影像或病灶的性状、量化、分级等，但在医生进行确认或修改前，不作为诊断结果。至于是否需要对某影像或病灶性状等分类信息进行存储建档或自动生成超声检查报告，还需根据医生的选择进行。
在一个具体的实施例中，生成病例/报告的过程，具体包括：
S31:判断是否生成病例或超声报告，如用户选择是，进行下一步操作；
S32:根据预先输入的病人的个人信息，对乳腺病灶辅助分析结果做进一步的编辑和同步病例等处理工作，自动生成病灶描述和超声表现等信息，形成初步病例或超声报告；
S33:判断用户是否修改或补充，如选择是，进行下一步操作；
S34:接收用户的修订请求，对生成的病例或超声报告进行修改或补充，得到最终的病例或超声报告，此阶段进行的方式包含但不限于鼠键输入、语音输入等。
在一些实施例中，生成病例/报告的过程，还可以包括：
S35:同步医院病历***，打印上传检查报告。此步骤可以在用户确认不做修改或补充后进行，也可以在用户补充或修改后进行。
此外，本发明还提供了一种基于乳腺超声影像的乳腺病灶智能分析***，该***基于上述的一种基于乳腺超声影像的乳腺病灶智能分析方法。该***可以与超声检测设备配合实现动态识别、辅助分析及生成病例/报告三个大功能。
综上所述，本发明实施例公开的基于乳腺超声影像的乳腺病灶智能分析方法及***，与现有技术相比，具有如下优点：
1.该方法使用的是乳腺超声检查实践中经过脱敏的真实数据进行的深度学习网络的训练。
2.该方法动态识别、辅助分析及病例报告三部分贯穿了医生超声检查的整个流程，符合医生日常操作习惯，结合医院病例管理***，简单易用，大大减少了医生的工作量。
3.该方法在使用大量真实数据的基础上，经过数据增强，神经网络的优化、裁剪、压缩等，无论是深度学习网络算法，还是其他部分算法即可以在PC及服务器上部署，也易于在小型便携式的嵌入式设备中部署，高效灵活，整体***轻量便携。
4.该方法基于的模型和算法所需硬件算力相对较少，可实现较高的处理帧率下实时动态的识别处理，超声影像与识别结果无延时感地叠加在一起，医生可同步观察当前影像和识别结构。
5.该方法本着以人为本的原则，辅助医生进行个部分操作，并不替代医生做决策，贴合乳腺超声检查的日常实践流程，医生便于接受和使用。此方面则实现了机器与医生的优势互补，减少了医生的误诊、漏诊情况。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种基于乳腺超声影像的乳腺病灶智能分析方法，其特征在于，包括：
识别病灶：获取病人相关的乳腺超声影像数据，对获取到的乳腺超声影像进行动态识别，在乳腺超声影像中标记出乳腺病灶的位置及区域，并输出乳腺病灶标记图像；
辅助分析：根据用户请求，对乳腺病灶标记图像做进一步分析，推算出病灶各维度的分类信息，并将信息整理汇总后进行显示，输出辅助分析结果；具体包括：数据预处理：根据用户请求，对乳腺病灶标记图像进行预处理；构建模型：构建基于深度学习的乳腺超声影像辅助分析网络，使用乳腺超声检查临床实践中的真实影像对乳腺超声影像辅助分析网络进行训练，并优化训练后的模型，得到辅助分析网络模型；病灶分析：将预处理后的乳腺病灶标记图像输入辅助分析网络模型，输出乳腺病灶辅助分析结果；
构建模型的过程，具体包括：构建基于深度学***移、旋转、弹性拉伸、高斯模糊、调节亮度对比度方式进行数据增强处理，得到样本数据；将样本数据输入乳腺超声影像辅助分析网络进行训练，进一步压缩并优化网络模型，得到深度学习网络模型；
所述深度学习网络模型还包括残差结构和bn层；所述残差结构在原先的多个重复块层的常规层次连接的基础上，引入跳跃连接；所述bn层在网络的每一层输入之前，通过尺度缩放和偏移，对当前层的输入做一个归一化处理，且在训练过程中需通过控制衰减系数来管理尺度缩放的系数和偏移量；
生成病例/报告：根据用户请求，对辅助分析结果做进一步整合处理，生成病例或超声报告。
2.根据权利要求1所述的一种基于乳腺超声影像的乳腺病灶智能分析方法，其特征在于，识别病灶的过程，具体包括：
获取数据：获取病人相关的乳腺超声影像数据，并输入病人的个人信息，将病人的个人信息和对应的乳腺超声影像数据一并存储；
数据预处理：对乳腺超声影像数据进行预处理；
构建模型：构建基于深度学习的乳腺病灶动态识别神经网络，并使用乳腺超声检查临床实践中的真实影像数据对乳腺病灶动态识别神经网络进行训练，并优化训练后的模型，得到深度学习网络模型；
结果推断：将预处理后的乳腺超声影像数据输入深度学习网络模型，输出乳腺病灶推算结果；
病灶解析：根据乳腺病灶推算结果，计算解析出乳腺病灶的实际位置或边缘；
输出结果：将乳腺病灶的实际位置或边缘进行标注，输出乳腺病灶标记图像。
3.根据权利要求2所述的一种基于乳腺超声影像的乳腺病灶智能分析方法，其特征在于，对乳腺超声影像数据进行预处理的过程，具体包括：
提取乳腺超声影像数据中的图像信息；
对图像进行缩放、灰度化及归一化处理。
4.根据权利要求2所述的一种基于乳腺超声影像的乳腺病灶智能分析方法，其特征在于，构建模型的过程，具体包括：
构建基于深度学习的乳腺病灶动态识别神经网络；
对乳腺超声检查临床实践中的真实影像数据进行脱敏处理；
对脱敏后的真实影像数据进行标注，得到标注图像，所述标注采用矩形框框选、图像分割的多边形边沿标注两种标注方式；
将标注图像转交医院超声科医生进行二次标注或确认；
将二次标注或确认后的标注图像采用缩放、平移、旋转、弹性拉伸、高斯模糊、调节亮度对比度等方式进行数据增强处理，得到样本数据；
将样本数据输入乳腺病灶动态识别神经网络进行训练，进一步压缩并优化网络模型，得到深度学习网络模型。
5.根据权利要求1所述的一种基于乳腺超声影像的乳腺病灶智能分析方法，其特征在于，病灶分析的过程，具体包括：
对预处理后的乳腺病灶标记图像进行深度网络计算，推理出乳腺病灶各维度的分类信息；
根据推理得到的乳腺病灶各维度的分类信息，解析出病灶的实际分类信息；
对乳腺病灶各个维度的实际分类信息进行整理和汇总后，进行显示。
6.根据权利要求2所述的一种基于乳腺超声影像的乳腺病灶智能分析方法，其特征在于，生成病例/报告的过程，具体包括：
根据预先输入的病人的个人信息，对乳腺病灶辅助分析结果做进一步的编辑和同步病例处理，自动生成病灶描述和超声表现信息，形成初步病例或超声报告；
接收用户的修订请求，对生成的病例或超声报告进行修改或补充，得到最终的病例或超声报告。
7.一种基于乳腺超声影像的乳腺病灶智能分析***，其特征在于，所述***基于如权利要求1-6任一项所述的一种基于乳腺超声影像的乳腺病灶智能分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010055201.7A CN111243730B (zh) | 2020-01-17 | 2020-01-17 | 一种基于乳腺超声影像的乳腺病灶智能分析方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010055201.7A CN111243730B (zh) | 2020-01-17 | 2020-01-17 | 一种基于乳腺超声影像的乳腺病灶智能分析方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111243730A CN111243730A (zh) | 2020-06-05 |
| CN111243730B true CN111243730B (zh) | 2023-09-22 |
Family
ID=70865794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010055201.7A Active CN111243730B (zh) | 2020-01-17 | 2020-01-17 | 一种基于乳腺超声影像的乳腺病灶智能分析方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111243730B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112349407A (zh) * | 2020-06-23 | 2021-02-09 | 上海贮译智能科技有限公司 | 一种基于深度学习的浅表超声影像病灶辅助诊断方法 |
| CN112086197B (zh) * | 2020-09-04 | 2022-05-10 | 厦门大学附属翔安医院 | 基于超声医学的乳腺结节检测方法及*** |
| CN112270974A (zh) * | 2020-09-22 | 2021-01-26 | 视隼智能科技(上海)有限公司 | 一种基于人工智能的智能辅助医学影像工作站 |
| CN113539471A (zh) * | 2021-03-26 | 2021-10-22 | 内蒙古卫数数据科技有限公司 | 一种基于常规检验数据的乳腺增生辅助诊断方法及*** |
| CN113130067B (zh) * | 2021-04-01 | 2022-11-08 | 上海市第一人民医院 | 基于人工智能的超声检查的智能提醒方法 |
| CN113178254A (zh) * | 2021-04-14 | 2021-07-27 | 中通服咨询设计研究院有限公司 | 基于5g的智慧医疗数据分析方法、装置及计算机设备 |
| CN113724827A (zh) * | 2021-09-03 | 2021-11-30 | 上海深至信息科技有限公司 | 一种超声报告中病灶区域自动标注的方法和*** |
| CN114974579B (zh) * | 2022-04-20 | 2024-02-27 | 山东大学齐鲁医院 | 消化道粘膜下肿瘤内镜治疗预后的辅助判定***及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106339591A (zh) * | 2016-08-25 | 2017-01-18 | 汤平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务*** |
| CN109616195A (zh) * | 2018-11-28 | 2019-04-12 | 武汉大学人民医院（湖北省人民医院） | 基于深度学习的纵隔超声内镜图像实时辅助诊断***及方法 |
| CN109727243A (zh) * | 2018-12-29 | 2019-05-07 | 无锡祥生医疗科技股份有限公司 | 乳腺超声图像识别分析方法及*** |
| CN109872814A (zh) * | 2019-03-04 | 2019-06-11 | 中国石油大学(华东) | 一种基于深度学习的胆石病智能辅助诊断*** |
| CN110379509A (zh) * | 2019-07-23 | 2019-10-25 | 安徽磐众信息科技有限公司 | 一种基于dssd的乳腺结节辅助诊断方法及*** |
-
2020
- 2020-01-17 CN CN202010055201.7A patent/CN111243730B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106339591A (zh) * | 2016-08-25 | 2017-01-18 | 汤平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务*** |
| CN109616195A (zh) * | 2018-11-28 | 2019-04-12 | 武汉大学人民医院（湖北省人民医院） | 基于深度学习的纵隔超声内镜图像实时辅助诊断***及方法 |
| CN109727243A (zh) * | 2018-12-29 | 2019-05-07 | 无锡祥生医疗科技股份有限公司 | 乳腺超声图像识别分析方法及*** |
| CN109872814A (zh) * | 2019-03-04 | 2019-06-11 | 中国石油大学(华东) | 一种基于深度学习的胆石病智能辅助诊断*** |
| CN110379509A (zh) * | 2019-07-23 | 2019-10-25 | 安徽磐众信息科技有限公司 | 一种基于dssd的乳腺结节辅助诊断方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111243730A (zh) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111243730B (zh) | 一种基于乳腺超声影像的乳腺病灶智能分析方法及*** | |
| US11024066B2 (en) | Presentation generating system for medical images, training method thereof and presentation generating method | |
| US20210406591A1 (en) | Medical image processing method and apparatus, and medical image recognition method and apparatus | |
| CN106846306A (zh) | 一种超声图像自动描述方法和*** | |
| CN115132313A (zh) | 基于注意力机制的医学影像报告自动生成方法 | |
| CN112712906B (zh) | 视频图像处理方法、装置、电子设备及存储介质 | |
| CN111597946A (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
| Yousef et al. | A deep learning approach for quantifying vocal fold dynamics during connected speech using laryngeal high-speed videoendoscopy | |
| Nemani et al. | Deep learning-based holistic speaker independent visual speech recognition | |
| CN116612339B (zh) | 一种核性白内障图像分级模型的构建装置及分级装置 | |
| KR102036052B1 (ko) | 인공지능 기반으로 비규격화 피부 이미지의 의료 영상 적합성을 판별 및 변환하는 장치 | |
| CN116128942A (zh) | 基于深度学习的三维多模块医学影像的配准方法和*** | |
| CN115762721A (zh) | 一种基于计算机视觉技术的医疗影像质控方法和*** | |
| CN116091427A (zh) | 一种皮肤病分类装置、分类方法及存储介质 | |
| CN113469962B (zh) | 一种面向癌症病变检测的特征提取和图文融合方法及*** | |
| US20220277175A1 (en) | Method and system for training and deploying an artificial intelligence model on pre-scan converted ultrasound image data | |
| CN110930394B (zh) | 测量肌肉肌纤维束线斜率和羽状角的方法及终端设备 | |
| US10910098B2 (en) | Automatic summarization of medical imaging studies | |
| US20220409181A1 (en) | Method and system for identifying a tendon in ultrasound imaging data and verifying such identity in live deployment | |
| López-Fernández et al. | Knowledge-Driven Dialogue and Visual Perception for Smart Orofacial Rehabilitation | |
| CN112861849B (zh) | 一种脊柱畸形矫正手术术中组织识别方法 | |
| KR102165487B1 (ko) | 비정형 피부질환 영상데이터를 활용한 피부 질환 판독 시스템 | |
| KR20220023123A (ko) | 딥 러닝을 이용한 세포 이미지 분류 방법 및 장치 | |
| Yang et al. | An Automatic Method for Sublingual Image Segmentation and Color Analysis | |
| Freeman | Combining diffeomorphic matching with image sequence intensity registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210425 Address after: 215300 Room 601, building 008, No. 2001, Yingbin West Road, Baicheng Town, Kunshan City, Suzhou City, Jiangsu Province Applicant after: Shifalcon medical technology (Suzhou) Co.,Ltd. Address before: 200000 7K, No. 8519, Nanfeng Road, Fengxian District, Shanghai Applicant before: Kestrel Intelligent Technology (Shanghai) Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 215300 Room 601, building 008, No. 2001 Yingbin West Road, Bacheng Town, Kunshan City, Suzhou City, Jiangsu Province Applicant after: Suzhou Shishang Medical Technology Co.,Ltd. Address before: 215300 Room 601, building 008, No. 2001 Yingbin West Road, Bacheng Town, Kunshan City, Suzhou City, Jiangsu Province Applicant before: Shifalcon medical technology (Suzhou) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |