CN111445440B - 一种医学图像分析方法、设备和存储介质 - Google Patents
一种医学图像分析方法、设备和存储介质 Download PDFInfo
- Publication number
- CN111445440B CN111445440B CN202010123168.7A CN202010123168A CN111445440B CN 111445440 B CN111445440 B CN 111445440B CN 202010123168 A CN202010123168 A CN 202010123168A CN 111445440 B CN111445440 B CN 111445440B
- Authority
- CN
- China
- Prior art keywords
- image analysis
- network model
- result
- neural network
- manual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003703 image analysis method Methods 0.000 title claims abstract description 34
- 238000010191 image analysis Methods 0.000 claims abstract description 134
- 238000003062 neural network model Methods 0.000 claims abstract description 81
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 36
- 230000011218 segmentation Effects 0.000 claims description 26
- 238000003709 image segmentation Methods 0.000 claims description 21
- 238000002372 labelling Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000002787 reinforcement Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 21
- 208000003174 Brain Neoplasms Diseases 0.000 description 14
- 206010056342 Pulmonary mass Diseases 0.000 description 11
- 238000012937 correction Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 102100024521 Ficolin-2 Human genes 0.000 description 4
- 102100024520 Ficolin-3 Human genes 0.000 description 4
- 101001052753 Homo sapiens Ficolin-2 Proteins 0.000 description 4
- 101001052749 Homo sapiens Ficolin-3 Proteins 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 102100024508 Ficolin-1 Human genes 0.000 description 3
- 101001052785 Homo sapiens Ficolin-1 Proteins 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种医学图像分析方法、设备和存储介质，所述方法包括获取医学图像并输入到图像分析网络模型中，得到对医学图像的图像分析结果。获取所述图像分析结果的人工修订结果，并处理所述人工修订结果生成关注度图，输入到第一神经网络模型中，同时输入医学图像到第一神经网络模型中，得到人工修订增强后的特征信息。将注意力增强后的特征信息和图像分析结果融合输入到第二神经网络模型中，得到最终人工修订后的图像分析结果。所述方法通过增强模型训练人工修订关注度的方式，提高了模型输出的准确程度，并且可以通过融合人工修订和机器学习的方法，提高图像分析的准确程度，也实现了人在回路的图像分析与处理方式。
Description
技术领域
本发明涉及图像分析领域，尤其涉及一种医学图像分析方法、设备和存储介质。
背景技术
医学图像分析就是一个根据区域间的相似或不同把图像分割成若干区域的过程。目前，主要以各种细胞、组织与器官的图像作为处理的对象。
近年来，随着其它新兴学科的发展，产生了一些全新的图像分割技术。如基于统计学的方法、基于模糊理论的方法、基于神经网络的方法、基于小波分析的方法、组合优化模型等方法。虽然不断有新的图像分析方法被提出，但对医学图像进行分析的结果都不是很理想。
对医学图像进行分析时，现有任何一种单独的图像分割算法都难以对一般图像取得比较满意的结果，且由于人体解剖结构的复杂性和功能的***性，虽然已有研究通过医学图像的自动分割区分出所需的器官、组织或检测病变区的方法，但目前在现有技术中由计算机来完成的图像分析任务精确度依然不足。
发明内容
本发明提供了一种医学图像分析方法、设备和存储介质，能够提高医学图像分析的准确度。
一方面，本发明提供了一种医学图像分析方法，所述方法包括：
获取医学图像；
基于图像分析网络模型，对所述医学图像进行处理，得到所述医学图像的图像分析结果；
获取所述图像分析结果的人工修订结果；
根据所述人工修订结果，得到所述人工修订结果相关的关注度图；
基于第一神经网络模型，根据所述关注度图对所述医学图像进行增强学习，得到所述医学图像人工修订增强后的特征信息；
基于第二神经网络模型，对所述图像分析结果和所述人工修订增强后的特征信息进行融合，得到人工修订后的图像分析结果。
另一方面提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序，所述至少一条指令、所述至少一段程序由所述处理器加载并执行以实现上述所述的医学图像处理方法。
另一方面提供了一种计算机存储介质，所述存储介质中存储有至少一条指令、至少一段程序，所述至少一条指令、至少一段程序由处理器加载并执行如上述所述的医学图像处理方法。
本发明提供的一种医学图像分析方法、设备和存储介质，所述方法包括获取医学图像并输入到图像分析网络模型中，得到对医学图像的图像分析结果。获取所述图像分析结果的人工修订结果，并处理所述人工修订结果生成关注度图，输入到第一神经网络模型中，同时输入医学图像到第一神经网络模型中，得到人工修订增强后的特征信息。将注意力增强后的特征信息和图像分析结果融合输入到在第二神经网络模型中，得到最终人工修订后的图像分析结果。所述方法通过增强模型训练人工修订关注度的方式，提高了模型输出的准确程度，并且可以通过融合人工修订和机器学习的方法，提高图像分析的准确程度，也实现了人在回路的图像分析与处理方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种医学图像分析方法的应用场景示意图；
图2为本发明实施例提供的一种医学图像分析方法的流程图；
图3为本发明实施例提供的一种医学图像分析方法中得到医学图像的图像分析结果的方法流程图；
图4为本发明实施例提供的一种医学图像分析方法中获取图像分割结果的人工修订结果的方法流程图；
图5为本发明实施例提供的一种医学图像分析方法中获取图像检测结果的人工修订结果的方法流程图；
图6为本发明实施例提供的一种医学图像分析方法中得到人工修订结果相关的关注度图的方法流程图；
图7为本发明实施例提供的人类知识输入网络模型进行图像分割的方法流程图；
图8为本发明实施例提供的一种医学图像分析方法中肺结节的图像检测的模型示意图；
图9为本发明实施例提供的一种医学图像分析方法中得到人工修订后的图像分析结果的方法流程图；
图10为本发明实施例提供的一种医学图像分析方法中训练图像分析网络模型的方法流程图；
图11为本发明实施例提供的一种医学图像分析方法中训练所述第一神经网络模型和第二神经网络模型的方法流程图；
图12为本发明实施例提供的一种医学图像分析方法中脑肿瘤的图像分割网络模型；
图13为本发明实施例提供的一种医学图像分析方法中多专家进行人工修正的示意图；
图14为本发明实施例提供的一种用于实现本发明实施例所提供的方法的设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。而且，术语“第一”、“第二”等适用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
请参见图1，其显示了本发明实施例提供的一种医学图像分析方法的应用场景示意图，所述应用场景包括用户终端110和服务器120，所述用户终端110用于接收服务器120发送的基于图像分析网络模型得到的图像分析结果，用户通过用户终端110对所述图像分析结果进行人工修订，再发送给服务器120，服务器120将人工修订的结果作为关注度图输入到图像特征增强网络模型中，对医学图像进行特征增强，得到人工修订增强后的特征信息，并在第二神经网络模型中融合图像分析结果和人工修订增强后的特征信息，得到最终的人工修订后的图像分析结果。
在本发明实施例中，所述用户终端110包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本申请实施例中网络节点上运行的操作***可以包括但不限于安卓***、IOS***、linux、Unix、windows等。基于API(Application Programming Interface，应用程序接口)将人工修订的数据发送给服务器120，并接收服务器120发送的人工修订后的图像分析结果。
在本发明实施例中，所述服务器120可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器120可以包括有网络通信单元、处理器和存储器等等。具体的，所述服务器120可以基于多个图像分析网络模型和图像融合模型对输入的医学图像信息进行处理。
请参见图2，其显示了一种医学图像分析方法，可应用于服务器侧，所述方法包括：
S210.获取医学图像；
具体地，所述医学图像是检查设备输出的具有待分析对象的图像信息。针对不同类型的待分析对象，可以训练不同的网络分割模型，对所述待分割对象进行分割。对输入的医学图像进行识别，得到待分析对象，输入到对应的网络分析模型中。例如对脑肿瘤进行图像分割的网络模型，输入的医学图像就为脑部的医学图像，对肺结节进行图像检测的网络模型，输入的医学图像就为肺部的医学图像。具体的一类病症对应训练一个进行图像分析的网络模型。
有针对性地设计进行网络分割的模型，使得模型对同一待分析对象具有专用性，便于进行网络分割模型的训练，且模型与待分析对象的对应也可以提高对待分析对象进行图像分割的准确度。
S220.基于图像分析网络模型，对所述医学图像进行处理，得到所述医学图像的图像分析结果；
进一步地，请参见图3，所述基于图像分析网络模型，对所述医学图像进行处理，得到所述医学图像的图像分析结果包括：
S310.基于图像分析网络模型，对所述医学图像进行目标对象分割，得到所述医学图像的图像分割结果；
S320.或基于图像分析网络模型，对所述医学图像进行目标对象检测，得到所述医学图像的图像检测结果。
具体地，所述图像分析网络模型可以进行图像分割或者图像检测，所述图像分析网络模型可以为通过语义信息进行像素分割的算法构成的网络模型。当需要进行图像分割时，可以先分割出待检测对象，例如从脑部的医学图像中分割出脑肿瘤的区域。当需要进行图像检测时，同样需要先分割出待检测对象，从而根据分割出的待检测对象，判断待检测对象的异常情况，例如在肺部CT图像中检测到肺结节。语义分割的算法结构为编码器-解码器的结构，编码器为一个预先训练的分类网络，将所述医学图像中的像素信息进行区分，并通过解码器将编码器学习到的低分辨率的识别特征语义头引导高分辨率的像素空间上，得到密集的分类。进行语义分割时，可以基于区域进行语义分割、基于全卷积网络进行语义分割或者通过弱监督的方式进行语义分割。
基于区域进行语义分割的方法从医学图像中提取自由形式的区域并对其进行描述，然后进行基于区域的分类。在测试时，基于区域的预测转换为像素预测，通常通过根据包含该预测的最高评分区域标记像素。可以通过R-CNN，Fast R-CNN或者Faster R-CNN等算法进行区域特征提取，得到医学图像的目标分割区域，即图像分析结果。
基于全卷积网络进行语义分割的方法通过全卷积神经网络在医学图像中标记像素信息，并对全卷积层产生的低分辨率的图像进行上采样，最终得到医学图像中的目标分割区域的特征，从而得到图像分析结果。
通过弱监督的方式进行语义分割的方法，在输入信息进行模型训练时，用更容易获得的真值标注替代逐像素的真值标注，更容易获得的真值可以是标签信息或者标注框等，然后进行模型训练。输入医学图像到弱监督语义分割方法构建的模型中进行特征提取，得到图像分析结果。
S230.获取所述图像分析结果的人工修订结果；
进一步地，请参见图4，所述获取图像分析结果的人工修订结果包括：
S410.若所述图像分析结果为图像分割结果；
S420.则获取对所述图像分割结果中目标对象的漏分割区域或误分割区域的人工修订结果。
进一步地，请参见图5，所述获取图像分析结果的人工修订结果包括：
S510.若所述图像分析结果为图像检测结果；
S520.则获取对所述图像分析结果中目标对象的误检测区域或漏检测区域的人工修订结果。
具体地，所述图像分析结果的人工修订结果是通过人机交互的方式实现的，即人工对图像分析结果进行修正，再输入到第一神经网络模型中。所述人机交互的方式包括对关键点或关键区域的交互和对图像分析结果的交互。在关键点或关键区域的人机交互方式中，用户将能够用鼠标点击关键点的位置，并以此为中心调整影像区域的大小。对图像分析结果的人工交互方式则是通过利用界面修改分割边缘或者点击内部/外部的关键点来完成的。
当所述图像分析结果为进行图像分割得到的分析结果时，可以增加未分割的区域，消除多余的分割区域。例如，从图像分析网络模型中得到图像分析结果后，若所述图像分析结果分割的对象是脑肿瘤，则人工寻找未被分割出的脑肿瘤的部分，和在现有的分割区域中多余的部分，进行修正，就可以得到人工修订结果。
当所述图像分析结果为进行图像检测得到的分析结果时，可以对误检测区域进行修正，或对未检测区域进行修正，例如，若图像分析网络模型检测到肺结节，但是实际上人工修订中发现并不存在肺结节，则需要进行修正，去除错误检测的结果。
其中，当所述图像分析结果为进行图像检测得到的分析结果时，那么人工修订也可以是对检测结果的介入，对检测结果的介入方式可以为选择修改对图像检测结果的分类，即人工修订辅助诊断中不准确的信息，对图像检测结果重新进行分类。例如检测到是肺肿瘤，实际上是肺结节，则可以通过人工修订进行修正。
S240.根据所述人工修订结果，得到所述人工修订结果相关的关注度图；
进一步地，请参见图6，所述根据所述人工修订结果，得到人工修订结果相关的关注度图还包括：
S610.若所述人工修订结果为一个，则输出所述人工修订结果为关注度图；
S620.若所述人工修订结果为多个，则获取每个人工修订结果，并根据预设的规则对多个修订结果进行融合，得到融合后的关注度图。
具体地，在进行人工修订之后，可能得到一个人工修订结果，也可能得到多个人工修订结果。请参见图7，图7中的智能体指的是神经网络模型，将人类知识以人工修订的方式输入到神经网络模型中，由于不同的用户进行的修订可能会存在一定的差异，因此基于用户本身的重要程度排序，可以预先设置不同用户修订的人工修订结果进行融合的规则，例如损失函数或者人工赋予的权重。具体可以通过损失函数进行损失函数的设置，对每一位用户的人工修订结果设计一个损失函数，并结合原机器***的策略损失函数，期望通过调参自动赋予不同的损失函数。基于不同的人工修订结果对应的损失函数，对多个人工修订结果进行融合，得到关注度图。例如，检测肺结节的图像检测模型输出的图像检测结果，分别由A，B和C三个用户进行人工修订，其中A用户的损失函数为a，B用户的损失函数为b，C用户的损失函数为c，则根据损失函数值分别对A用户、B用户和C用户的人工修订结果进行加权处理，融合加权后的人工修订结果为关注度图。此外，可以对网络模型的输出设置奖励函数和人工置信，以提高网络模型得到的预测结果的准确程度。
将人工修订输入到网络模型中进行自注意增强，使得网络模型能够基于人工修订的结果得到更为准确的输出，提高了网络模型进行图像分割的准确度。
S250.基于第一神经网络模型，根据所述关注度图对所述医学图像进行增强学习，得到所述医学图像人工修订增强后的特征信息。
具体地，所述关注度图会输入到第一神经网络模型中，作为医学图像的参考，所述第一神经网络模型用于进行医学图像的特征增强。所述第一神经网络模型的输入依然是医学图像，所述关注度图用于提醒第一神经网络模型在进行图像分析时需要注意的部位，并输出将需要关注的部位进行增强后的医学图像，即人工修订增强后的特征信息。
在图像分析网络模型、第一神经网络模型和第二神经网络模型训练完成后，依然可以通过关注度图对第二神经网络模型的最终输出信息的准确度进行增强。
此外，在进行图像检测时，可以采用生成对抗网络对机器自动判断的结果和医生诊断和矫正的结果进行不断的训练，提高网络性能。同时，图像检测的结果也可以直接返回到图像分析网络模型，进行全局的网络优化。例如，在肺结节的检测阶段，可以采用生成对抗网络对机器自动判断的结果和医生检测结果和矫正的结果进行不断的训练，提高网络性能，得到肺结节的检测结果。
对抗网络的优势在于其为半监督学习，即其中只需要部分数据拥有标记信息即可，因此在准备训练数据的过程中节省大量的人力物力，更有效的完成模型训练工作。
在一个具体的实施例中，请参见图8，图8显示了一种肺结节的图像检测模型，其中对初步检测的结果人工进行修订，并将人工修订的结果反馈到模型输入端，得到最终的检测结果。当胸部CT图像输入到一个用于进行图像检测的深度神经网络后，深度神经网络自动对胸部CT图像中肺结节的图像进行检测，得到图像检测结果。然后由医生对图像检测结果进行人工修订，将人工修订的结果融合成关注度图，将关注度图反馈到深度神经网络的输入端。当神经网络再次进行图像检测时，就会将关注度图这种人为修正的知识添加到新规则中，对下一次进行检测的胸部CT图像进行注意力增强，得到更好的检测结果。
S260.基于第二神经网络模型，对所述图像分析结果和所述人工修订增强后的特征信息进行融合，得到人工修订后的图像分析结果。
进一步地，请参见图9，所述基于第二神经网络模型，对所述图像分析结果和所述人工修订增强后的特征信息进行融合，得到人工修订后的图像分析结果包括：
S910.级联所述图像分析结果和所述人工修订增强后的特征信息；
S920.将级联后的图像分析结果和人工修订增强后的特征信息输入到第二神经网络模型中进行融合，得到人工修订后的图像分析结果。
具体地，所述第二神经网络模型是用于进行图像分析结果和人工修订增强后的特征信息的图像融合的，将图像分析结果和人工修订增强后的特征信息在所述第二神经网络模型中进行融合，将图像分析网络模型中的机器学习的输出结果和第一神经网络模型中的人工修订的输出结果进行融合，可以得到较为准确的人工修订后的图像分析结果。其中，对图像分析结果和人工修订增强后的特征信息的级联可以采用Concat函数进行连接，Concat函数为连接两个或多个数组的函数，且不会改变现有的数组，而仅仅会返回被连接数组的一个副本。
进行图像融合时，可以分别提取图像分析结果的特征信息和人工修订增强后的特征信息的特征信息，将图像分析结果的图像分割范围和人工修订增强后的特征信息进行融合，得到人工修订后的图像分析结果。基于图像分析网络模型、第一神经网络模型和第二神经网络模型进行的层次化的多任务学习方法，可以有效增强分割***的稳定性。
进一步地，请参见图10，所述方法还包括训练所述图像分析网络模型的步骤，所述训练所述图像分析网络模型包括：
S1010.获取第一训练样本集，所述第一训练样本集是具有标注信息的医学图像；
S1020.构建初始图像分析网络模型；
S1030.基于所述第一训练样本集，对所述初始图像分析网络模型进行训练，得到已训练的图像分析网络模型；
S1040.其中，模型训练的输入包括所述第一训练样本集中的医学图像，将所述具有标注信息的医学图像标注为模型训练的训练目标。
具体地，在训练图像分析网络模型时，将具有标注信息的医学图像作为第一训练集，对图像分析网络模型进行训练。标注信息为医学图像中的待分割区域，所述待分割区域可以是异常的部位、确定为病灶的部位等。构建初始图像分析网络模型时，可以用卷积网络搭建初始的结构，设置网络的深度、卷积的层数、损失函数等参数信息，得到初始图像分析网络模型。基于第一训练样本集对初始图像分析网络模型进行训练，将医学图像输入到初始图像分析网络模型中，基于损失函数，记录模型输出的结果和第一训练样本集中具有标注信息的医学图像之间差值，并可以基于所述差值对初始图像分析网络模型的参数进行适当的调整，最终得到已训练的图像分析网络模型。
进一步地，请参见图11，所述方法还包括训练所述第一神经网络模型和第二神经网络模型的步骤，所述训练所述第一神经网络模型和第二神经网络模型包括；
S1110.获取所述图像分析网络的输出信息；
S1120.对所述图像分析网络的输出信息进行人工修订，得到关注度图；
S1130.获取第二训练样本集，所述第二训练样本集为具有标注信息的医学图像和所述关注度图；
S1140.构建初始第一神经网络模型和初始第二神经网络模型；
S1150.基于所述第二训练样本集中的关注度图，对所述初始第一神经网络模型进行注意力增强训练，获取所述初始第一神经网络模型的输出信息；
S1160.基于所述图像分析网络的输出信息和所述初始第一神经网络模型的输出信息，对所述初始第二神经网络模型进行人工修订融合训练；
S1170.获取已训练的第一神经网络模型和已训练的第二神经网络模型；
S1180.其中，模型训练的输入包括所述第二训练样本集中的医学图像和关注度图，将所述具有标注信息的医学图像标注为模型训练的训练目标。
具体地，获取已训练的图像分析网络模型的输出信息，所述输出信息可以有多个，对所述图像分析网络模型的输出信息均进行至少一次人工修订，并对人工修订的结果进行融合，得到关注度图。在训练第一神经网络模型和第二神经网络模型时，将具有标注信息的医学图像和关注度图作为第二训练集，对第一神经网络模型和第二神经网络模型进行训练。标注信息为医学图像中的待分割区域，所述待分割区域可以是异常的部位、确定为病灶的部位等。建初始第一神经网络模型时，可以用卷积网络搭建初始的结构，设置网络的深度、卷积的层数、损失函数等参数信息，得到初始第一神经网络模型。基于第二训练样本集，将医学图像输入到初始第一神经网络模型中，所述关注度图作为辅助输入，提醒第一神经网络模型在进行图像分割时需要注意的区域，输出进行特征增强后的医学图像，即第一神经网络模型的输出信息。
将已训练的图像分析网络模型的输出信息和第一神经网络模型的输出信息，输入到第二神经网络模型进行人工修订融合训练。将医学图像输入到图像分析网络模型得到的输出信息和同一个医学图像输入到第一神经网络模型得到的输出信息在第二神经网络模型中进行融合，得到第二神经网络模型的输出信息。
基于损失函数，记录第二神经网络模型输出的结果和第二训练样本集中具有标注信息的医学图像之间差值，并可以基于所述差值对初始第一神经网络模型和初始第二神经网络模型的参数进行适当的调整，最终得到已训练的第一神经网络模型和第二神经网络模型。
在一个具体的实施例中，请参见图12，所述图12为脑肿瘤的图像分割网络模型，其中全卷积神经网络FCN1，即图像分割网络，对应图像分析网络模型，全卷积神经网络FCN2，即人在回路增强网络，对应第一神经网络模型，全卷积神经网络FCN3，即混合增强网络，对应第二神经网络模型，金标准为具有标注信息的医学图像，attention map为关注度图。如图12所示，输入待分割的脑部医学图像分别到FCN1网络和FCN2网络中，FCN1网络输出的脑肿瘤分割结果经过人工修正，由脑肿瘤相关的医生进行消除错分割的部分或增加欠分割的部分，如图13所示。并将多专家修正的脑肿瘤分割结果融合成脑肿瘤关注度图作为FCN2网络的输入，使得FCN2网络能够在应用阶段进行训练，得到脑肿瘤的特征增强图。FCN3的输入为级联后的脑肿瘤分割结果和脑肿瘤的特征增强图，在FCN3中进行图像融合，FCN3的输出为最终的脑肿瘤分割结果。
本发明实施例提出了一种医学图像分析方法，所述方法包括获取医学图像并输入到图像分析网络模型中，得到对医学图像的图像分析结果。获取所述图像分析结果的人工修订结果，并处理所述人工修订结果生成关注度图，输入到第一神经网络模型中，同时输入医学图像到第一神经网络模型中，得到人工修订增强后的特征信息。将注意力增强后的特征信息和图像分析结果融合输入到在第二神经网络模型中，得到最终人工修订后的图像分析结果。所述方法通过增强模型训练人工修订关注度的方式，提高了模型输出的准确程度，并且可以通过融合人工修订和机器学习的方法，提高图像分析的准确程度，也实现了人在回路的图像分析与处理方式。
本实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令由处理器加载并执行本实施例上述的一种医学图像分析方法。
本实施例还提供了一种设备，所述设备包括处理器和存储器，其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行本实施例上述的一种医学图像分析方法。
所述设备可以为计算机终端、移动终端或服务器，所述设备还可以参与构成本发明实施例所提供的装置或***。如图14所示，移动终端14(或计算机终端或服务器)可以包括一个或多个(图中采用1402a，1402b，
......,1402n来示出)处理器1402(处理器1402可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1404、以及用于通信功能的传输装置1406。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图14所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，移动终端14还可包括比图14中所示更多或者更少的组件，或者具有与图14所示不同的配置。
应当注意到的是上述一个或多个处理器1402和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到移动终端14(或计算机终端)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器1404可用于存储应用软件的软件程序以及模块，如本发明实施例中所述的方法对应的程序指令/数据存储装置，处理器1402通过运行存储在存储器1404内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种基于自注意力网络的时序行为捕捉框生成方法。存储器1404可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1404可进一步包括相对于处理器1402远程设置的存储器，这些远程存储器可以通过网络连接至移动终端14。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置1406用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端14的通信供应商提供的无线网络。在一个实例中，传输装置1406包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1406可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与移动终端14(或计算机终端)的用户界面进行交互。
本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤和顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的***或中断产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本实施例中所示出的结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比示出的更多或更少的部件，或者组合某些部件，或者具有不同的部件的布置。应当理解到，本实施例中所揭露的方法、装置等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元模块的间接耦合或通信连接。
基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员还可以进一步意识到，结合本说明书所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但这种实现不应认为超出本发明的范围。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种医学图像分析方法，其特征在于，所述方法包括：
获取医学图像；
基于图像分析网络模型，对所述医学图像进行处理，得到所述医学图像的图像分析结果；所述图像分析结果为图像分割结果或图像检测结果；
获取所述图像分析结果的人工修订结果；
根据所述人工修订结果，得到所述人工修订结果相关的关注度图；
将所述关注度图输入第一神经网络模型，作为所述医学图像的参考，基于第一神经网络模型，根据所述关注度图对所述医学图像进行增强学习，得到所述医学图像人工修订增强后的特征信息；
基于第二神经网络模型，对所述图像分析结果和所述人工修订增强后的特征信息进行融合，得到人工修订后的图像分析结果。
2.根据权利要求1所述的一种医学图像分析方法，其特征在于，所述基于第二神经网络模型，对所述图像分析结果和所述人工修订增强后的特征信息进行融合，得到人工修订后的图像分析结果包括：
级联所述图像分析结果和所述人工修订增强后的特征信息；
将级联后的图像分析结果和人工修订增强后的特征信息输入到第二神经网络模型中进行融合，得到人工修订后的图像分析结果。
3.根据权利要求1所述的一种医学图像分析方法，其特征在于，所述根据所述人工修订结果，得到人工修订结果相关的关注度图还包括：
若所述人工修订结果为一个，则输出所述人工修订结果为关注度图；
若所述人工修订结果为多个，则获取每个人工修订结果，并根据预设的规则对多个修订结果进行融合，得到融合后的关注度图。
4.根据权利要求1所述的一种医学图像分析方法，其特征在于，所述基于图像分析网络模型，对所述医学图像进行处理，得到所述医学图像的图像分析结果包括：
基于图像分析网络模型，对所述医学图像进行目标对象分割，得到所述医学图像的图像分割结果；
或基于图像分析网络模型，对所述医学图像进行目标对象检测，得到所述医学图像的图像检测结果。
5.根据权利要求4所述的一种医学图像分析方法，其特征在于，所述获取所述图像分析结果的人工修订结果包括：
若所述图像分析结果为图像分割结果；
则获取对所述图像分割结果中目标对象的误分割区域或漏分割区域的人工修订结果。
6.根据权利要求4所述的一种医学图像分析方法，其特征在于，所述获取所述图像分析结果的人工修订结果包括：
若所述图像分析结果为图像检测结果；
则获取对所述图像分析结果中目标对象的误检测区域或漏检测区域的人工修订结果。
7.根据权利要求1所述的一种医学图像分析方法，其特征在于，所述方法还包括训练所述图像分析网络模型的步骤，所述训练所述图像分析网络模型包括：
获取第一训练样本集，所述第一训练样本集是具有标注信息的医学图像；
构建初始图像分析网络模型；
基于所述第一训练样本集，对所述初始图像分析网络模型进行训练，得到已训练的图像分析网络模型；
其中，模型训练的输入包括所述第一训练样本集中的医学图像，将所述具有标注信息的医学图像标注为模型训练的训练目标。
8.根据权利要求7所述的一种医学图像分析方法，其特征在于，所述方法还包括对所述第一神经网络模型和所述第二神经网络模型进行联合训练的步骤，所述对所述第一神经网络模型和所述第二神经网络模型进行联合训练包括；获取所述图像分析网络的输出信息；
对所述图像分析网络的输出信息进行人工修订，得到关注度图；
获取第二训练样本集，所述第二训练样本集为具有标注信息的医学图
像和所述关注度图；
构建初始第一神经网络模型和初始第二神经网络模型；
基于所述第二训练样本集中的关注度图，对所述初始第一神经网络模
型进行注意力增强训练，获取所述初始第一神经网络模型的输出信息；
基于所述图像分析网络的输出信息和所述初始第一神经网络模型的输
出信息，对所述初始第二神经网络模型进行人工修订融合训练；
获取已训练的第一神经网络模型和已训练的第二神经网络模型；
其中，模型训练的输入包括所述第二训练样本集中的医学图像和关注
度图，将所述具有标注信息的医学图像标注为模型训练的训练目标。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序，所述至少一条指令、所述至少一段程序由所述处理器加载并执行以实现如权利要求1至8任一所述的医学图像分析方法。
10.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序，所述至少一条指令、至少一段程序由处理器加载并执行如权利要求1至8任一所述的医学图像分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010123168.7A CN111445440B (zh) | 2020-02-20 | 2020-02-20 | 一种医学图像分析方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010123168.7A CN111445440B (zh) | 2020-02-20 | 2020-02-20 | 一种医学图像分析方法、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111445440A CN111445440A (zh) | 2020-07-24 |
| CN111445440B true CN111445440B (zh) | 2023-10-31 |
Family
ID=71653965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010123168.7A Active CN111445440B (zh) | 2020-02-20 | 2020-02-20 | 一种医学图像分析方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111445440B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132232A (zh) * | 2020-10-19 | 2020-12-25 | 武汉千屏影像技术有限责任公司 | 医学图像的分类标注方法和***、服务器 |
| CN112735565B (zh) * | 2020-10-30 | 2024-07-12 | 衡阳市大井医疗器械科技有限公司 | 检测结果获取方法、电子设备及服务器 |
| CN112581092A (zh) * | 2020-12-23 | 2021-03-30 | 上海研鼎信息技术有限公司 | 一种实验室管理方法、设备及存储介质 |
| CN113077445A (zh) * | 2021-04-01 | 2021-07-06 | 中科院成都信息技术股份有限公司 | 数据处理方法及装置、电子设备、可读存储介质 |
| CN113273963A (zh) * | 2021-05-07 | 2021-08-20 | 中国人民解放军西部战区总医院 | 一种用于肝胆胰患者术后伤口止血***及方法 |
| CN113255756B (zh) * | 2021-05-20 | 2024-05-24 | 联仁健康医疗大数据科技股份有限公司 | 图像融合方法、装置、电子设备及存储介质 |
| EP4109463A1 (en) * | 2021-06-24 | 2022-12-28 | Siemens Healthcare GmbH | Providing a second result dataset |
| CN114298979B (zh) * | 2021-12-09 | 2024-05-31 | 北京工业大学 | 一种局灶性病变征象描述指导的肝核磁影像序列生成方法 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201231017A (en) * | 2011-01-25 | 2012-08-01 | Univ Nat Yunlin Sci & Tech | Semi-automatic knee cartilage MRI image segmentation based on cellular automata |
| CN107292887A (zh) * | 2017-06-20 | 2017-10-24 | 电子科技大学 | 一种基于深度学习自适应权重的视网膜血管分割方法 |
| CN107492135A (zh) * | 2017-08-21 | 2017-12-19 | 维沃移动通信有限公司 | 一种图像分割标注方法、装置及计算机可读存储介质 |
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN108111757A (zh) * | 2017-12-21 | 2018-06-01 | 广东欧珀移动通信有限公司 | 拍照方法、装置、存储介质及终端 |
| CN108229490A (zh) * | 2017-02-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 关键点检测方法、神经网络训练方法、装置和电子设备 |
| CN108345890A (zh) * | 2018-03-01 | 2018-07-31 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置和相关设备 |
| WO2018236674A1 (en) * | 2017-06-23 | 2018-12-27 | Bonsai Al, Inc. | HIERARCHICAL DECOMPOSITION DEEPENING REINFORCEMENT LEARNING FOR A MODEL OF ARTIFICIAL INTELLIGENCE |
| CN109543719A (zh) * | 2018-10-30 | 2019-03-29 | 浙江大学 | 基于多模态注意力模型的宫颈非典型病变诊断模型和装置 |
| CN109783062A (zh) * | 2019-01-14 | 2019-05-21 | 中国科学院软件研究所 | 一种人在回路的机器学习应用开发方法和*** |
| CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学图像分割方法、装置和存储介质 |
| CN109993735A (zh) * | 2019-03-29 | 2019-07-09 | 成都信息工程大学 | 基于级联卷积的图像分割方法 |
| CN110111271A (zh) * | 2019-04-24 | 2019-08-09 | 北京理工大学 | 一种基于侧抑制网络的单像素成像方法 |
| CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
| CN110210487A (zh) * | 2019-05-30 | 2019-09-06 | 上海商汤智能科技有限公司 | 一种图像分割方法及装置、电子设备和存储介质 |
| CN110232696A (zh) * | 2019-06-20 | 2019-09-13 | 腾讯科技（深圳）有限公司 | 一种图像区域分割的方法、模型训练的方法及装置 |
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
| CN110502654A (zh) * | 2019-08-26 | 2019-11-26 | 长光卫星技术有限公司 | 一种适用于多源异构遥感数据的目标库生成*** |
| CN110660480A (zh) * | 2019-09-25 | 2020-01-07 | 上海交通大学 | 脊骨脱位辅助诊断方法及*** |
| CN110706207A (zh) * | 2019-09-12 | 2020-01-17 | 上海联影智能医疗科技有限公司 | 图像量化方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10909401B2 (en) * | 2018-05-29 | 2021-02-02 | Sri International | Attention-based explanations for artificial intelligence behavior |
-
2020
- 2020-02-20 CN CN202010123168.7A patent/CN111445440B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201231017A (en) * | 2011-01-25 | 2012-08-01 | Univ Nat Yunlin Sci & Tech | Semi-automatic knee cartilage MRI image segmentation based on cellular automata |
| CN108229490A (zh) * | 2017-02-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 关键点检测方法、神经网络训练方法、装置和电子设备 |
| CN107292887A (zh) * | 2017-06-20 | 2017-10-24 | 电子科技大学 | 一种基于深度学习自适应权重的视网膜血管分割方法 |
| WO2018236674A1 (en) * | 2017-06-23 | 2018-12-27 | Bonsai Al, Inc. | HIERARCHICAL DECOMPOSITION DEEPENING REINFORCEMENT LEARNING FOR A MODEL OF ARTIFICIAL INTELLIGENCE |
| CN107492135A (zh) * | 2017-08-21 | 2017-12-19 | 维沃移动通信有限公司 | 一种图像分割标注方法、装置及计算机可读存储介质 |
| CN108111757A (zh) * | 2017-12-21 | 2018-06-01 | 广东欧珀移动通信有限公司 | 拍照方法、装置、存储介质及终端 |
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN108345890A (zh) * | 2018-03-01 | 2018-07-31 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置和相关设备 |
| CN109543719A (zh) * | 2018-10-30 | 2019-03-29 | 浙江大学 | 基于多模态注意力模型的宫颈非典型病变诊断模型和装置 |
| CN109783062A (zh) * | 2019-01-14 | 2019-05-21 | 中国科学院软件研究所 | 一种人在回路的机器学习应用开发方法和*** |
| CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学图像分割方法、装置和存储介质 |
| CN109993735A (zh) * | 2019-03-29 | 2019-07-09 | 成都信息工程大学 | 基于级联卷积的图像分割方法 |
| CN110111271A (zh) * | 2019-04-24 | 2019-08-09 | 北京理工大学 | 一种基于侧抑制网络的单像素成像方法 |
| CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
| CN110210487A (zh) * | 2019-05-30 | 2019-09-06 | 上海商汤智能科技有限公司 | 一种图像分割方法及装置、电子设备和存储介质 |
| CN110232696A (zh) * | 2019-06-20 | 2019-09-13 | 腾讯科技（深圳）有限公司 | 一种图像区域分割的方法、模型训练的方法及装置 |
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
| CN110502654A (zh) * | 2019-08-26 | 2019-11-26 | 长光卫星技术有限公司 | 一种适用于多源异构遥感数据的目标库生成*** |
| CN110706207A (zh) * | 2019-09-12 | 2020-01-17 | 上海联影智能医疗科技有限公司 | 图像量化方法、装置、计算机设备和存储介质 |
| CN110660480A (zh) * | 2019-09-25 | 2020-01-07 | 上海交通大学 | 脊骨脱位辅助诊断方法及*** |
Non-Patent Citations (7)
| Title |
|---|
| Emanuele Pesce 等.Learning to detect chest radiographs containing pulmonary lesions using visual attention networks.《Medical Image Analysis》.2019,26-38. * |
| FocusNet: An attention-based Fully Convolutional Network for Medical Image Segmentation;Chaitanya Kaul 等;2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019);455-458 * |
| Gaze2Segment: A Pilot Study for Integrating Eye-Tracking Technology into Medical Image Segmentation;Naji Khosravan 等;Medical Computer Vision and Bayesian and Graphical Models for Biomedical Imaging;94-104 * |
| Jo Schlemper 等.Attention gated networks: Learning to leverage salient regions in medical images.《Medical Image Analysis》.2019,197-207. * |
| Nan-ning ZHENG 等.Hybrid-augmented intelligence: collaboration and cognition.《Frontiers of Information Technology & Electronic Engineering》.2017,第18卷(第2期),153-180. * |
| 交互式视频分割技术研究;刘定鸣;中国优秀硕士学位论文全文数据库 信息科技辑;第2013年卷(第3期);I138-1528 * |
| 艾玲梅 等.基于注意力U-Net的脑肿瘤磁共振图像分割.《激光与光电子学进展》.2020,1-13. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111445440A (zh) | 2020-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111445440B (zh) | 一种医学图像分析方法、设备和存储介质 | |
| Nichols et al. | Machine learning: applications of artificial intelligence to imaging and diagnosis | |
| US11423541B2 (en) | Assessment of density in mammography | |
| CN111126574B (zh) | 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质 | |
| US20220222932A1 (en) | Training method and apparatus for image region segmentation model, and image region segmentation method and apparatus | |
| CN111488921B (zh) | 一种全景数字病理图像智能分析***及方法 | |
| Faghani et al. | Mitigating bias in radiology machine learning: 3. Performance metrics | |
| WO2018189541A1 (en) | Recist assessment of tumour progression | |
| US11972571B2 (en) | Method for image segmentation, method for training image segmentation model | |
| US10803586B1 (en) | Image analysis in pathology | |
| CN109461494A (zh) | 一种ris平台与影像辅助诊断***例数据同步方法 | |
| CN112396606B (zh) | 一种基于用户交互的医学图像分割方法、***和装置 | |
| CN112102929A (zh) | 医学图像标注方法、装置、存储介质及电子设备 | |
| CN110889437A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN110910348B (zh) | 一种肺结节的位置分类方法、装置、设备及存储介质 | |
| WO2021097595A1 (zh) | 图像的病变区域分割方法、装置及服务器 | |
| CN113724185B (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
| EP4285321A1 (en) | Systems and methods for classifying biomedical image data using a graph neural network | |
| CN117372416B (zh) | 一种对抗训练的高鲁棒性数字病理切片诊断***及方法 | |
| CN113160199A (zh) | 影像识别方法、装置、计算机设备和存储介质 | |
| CN110427870B (zh) | 眼部图片识别方法、目标识别模型训练方法及装置 | |
| US20100202674A1 (en) | Voting in mammography processing | |
| Sayres et al. | Artificial intelligence, machine learning and deep learning for eye care specialists | |
| CN111784705A (zh) | 感兴趣区域的勾画方法、装置、设备和存储介质 | |
| CN115272374B (zh) | 心脏磁共振影像的心室分割方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |