CN111724371A - 一种数据处理方法、装置及电子设备 - Google Patents
一种数据处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111724371A CN111724371A CN202010565168.2A CN202010565168A CN111724371A CN 111724371 A CN111724371 A CN 111724371A CN 202010565168 A CN202010565168 A CN 202010565168A CN 111724371 A CN111724371 A CN 111724371A
- Authority
- CN
- China
- Prior art keywords
- loss
- labeled
- value
- data set
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种数据处理方法、装置及电子设备,方法包括:在获得到对应于多个标注数据集合的训练图像之后,由于每个标注数据集合均包含对应于所属训练图像的每个像素点的标注值,而且以不同的标注数据集合分别标注背景区域像素点和不同目标对象的像素点,基于此,在将训练图像输入到预先构建的对象分割模型之后,可以得到分别对应于背景区域像素点和不同目标对象的像素点的测试数据集合,而每个集合中包含每个像素点上的测试值,由此,获得标注数据集合和测试数据集合之间的当前损失数据并根据这些损失数据对对象分割模型中的模型参数进行调整。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种数据处理方法、装置及电子设备。
背景技术
基于医学影像(例如电子计算机断层扫描CT(Computed Tomography)、磁共振成像MRI(Magnetic Resonance Imaging)等)的疾病诊断,在临床决策中具有重要意义。能够对医学图像中的各种器官进行精准分割,可以为医生诊断和治疗提供必要的辅助信息。
目前,对医学图像中各器官进行分割,通常采用基于机器学习的医学图像分割算法。
但是,这种方案中通常是针对特定器官,对于每一个器官的分割,均需要训练一个单独的模型,也需要针对每个模型标注大量的训练样本。因此,无法实现一个模型对医学图像中多器官的分割。
发明内容
有鉴于此,本申请提供一种数据处理方法、装置及电子设备,包括:
一种数据处理方法,包括:
获得训练图像,所述训练图像对应有N+1个标注数据集合,N为大于或等于2的正整数,每个所述标注数据集合中包含Q个标注值,每个所述标注值对应于所属的训练图像的一个像素点,第1个所述标注数据集合中的每个所述标注值大于标注阈值的情况下表征其所属像素点属于背景区域像素点,第i个所述标注数据集合中的每个所述标注值大于所述标注阈值的情况下表征其所属像素点属于第i类目标对象,i为大于或等于2且小于或等于N+1的正整数;
将所述训练图像输入到预先构建的对象分割模型中,以得到所述对象分割模型所输出的测试结果,所述测试结果包括N+1个测试数据集合,每个所述测试数据集合中包含Q个测试值,每个所述测试值对应于所属的训练图像的一个像素点,第1个所述测试数据集合中的每个所述测试值表征其所属像素点属于背景区域像素点的概率,第i个所述测试数据集合中的每个所述测试值表征其所属像素点属于第i类目标对象的像素点的概率;
获得所述N+1个标注数据集合与所述N+1个测试数据集合之间的当前损失数据,所述当前损失数据包含第一损失值对应的第一分量和N个第二损失值各自对应的第二分量,所述第一损失值为所述第1个所述标注数据集合和第1个所述测试数据集合之间的损失值,第i个第二损失值为第i个所述标注数据集合和第i个所述测试数据集合之间的损失值;
其中,在所述训练图像中不存在被标注为第i类目标对象的像素点的情况下,第i个所述第二分量为0;在所述训练图像中不存在被标注为任一类目标对象的像素点的情况下,所述第一分量为0;
至少根据所述当前损失数据,对所述对象分割模型中的模型参数进行调整,所述对象分割模型用于对目标图像中的N类目标对象所对应的图像区域进行分割。
上述方法,优选的,获得所述N+1个标注数据集合与所述N+1个测试数据集合之间的当前损失数据,包括:
利用预设的损失函数,获得所述第1个所述标注数据集合和第1个所述测试数据集合之间的第一损失值;
利用所述损失函数,分别获得第i个所述标注数据集合和第i个所述测试数据集合之间的第二损失值;
将所述第一损失值乘以第一系数,得到第一分量;
将每个所述第二损失值乘以第二系数,得到每个所述第二损失值对应的第二分量;
将所述第一分量和所述第二分量进行加和,以得到当前损失数据;
其中,所述第一系数在所述训练图像中不存在被标注为任一类目标对象的像素点的情况下为0,第i个所述第二系数在所述训练图像中不存在被标注为第i类目标对象的像素点的情况下为0。
上述方法,优选的,至少根据所述当前损失数据,对所述对象分割模型中的模型参数进行调整,包括:
将所述当前损失数据与在所述训练图像之前被输入到所述对象分割模型中的前一帧图像对应的前一损失数据进行比对,以得到损失变化量;
在所述损失变化量满足调整条件的情况下,对所述对象分割模型中的模型参数进行调整。
上述方法,优选的,所述调整条件包括:所述损失变化量大于或等于损失阈值。
上述方法,优选的,对所述对象分割模型中的模型参数进行调整,包括:
基于梯度下降算法,对所述对象分割模型中的模型参数进行调整。
一种数据处理装置,包括:
图像获得单元,用于获得训练图像,所述训练图像对应有N+1个标注数据集合,N为大于或等于2的正整数,每个所述标注数据集合中包含Q个标注值,每个所述标注值对应于所属的训练图像的一个像素点,第1个所述标注数据集合中的每个所述标注值大于标注阈值的情况下表征其所属像素点属于背景区域像素点,第i个所述标注数据集合中的每个所述标注值大于所述标注阈值的情况下表征其所属像素点属于第i类目标对象,i为大于或等于2且小于或等于N+1的正整数;
图像测试单元,用于将所述训练图像输入到预先构建的对象分割模型中,以得到所述对象分割模型所输出的测试结果,所述测试结果包括N+1个测试数据集合,每个所述测试数据集合中包含Q个测试值,每个所述测试值对应于所属的训练图像的一个像素点,第1个所述测试数据集合中的每个所述测试值表征其所属像素点属于背景区域像素点的概率,第i个所述测试数据集合中的每个所述测试值表征其所属像素点属于第i类目标对象的像素点的概率;
损失获得单元,用于获得所述N+1个标注数据集合与所述N+1个测试数据集合之间的当前损失数据,所述当前损失数据包含第一损失值对应的第一分量和N个第二损失值各自对应的第二分量,所述第一损失值为所述第1个所述标注数据集合和第1个所述测试数据集合之间的损失值,第i个第二损失值为第i个所述标注数据集合和第i个所述测试数据集合之间的损失值;
其中,在所述训练图像中不存在被标注为第i类目标对象的像素点的情况下,第i个所述第二分量为0;在所述训练图像中不存在被标注为任一类目标对象的像素点的情况下,所述第一分量为0;
参数调整单元,用于至少根据所述当前损失数据,对所述对象分割模型中的模型参数进行调整,所述对象分割模型用于对目标图像中的N类目标对象所对应的图像区域进行分割。
上述装置,优选的,其中:
所述损失获得单元具体用于:利用预设的损失函数,获得所述第1个所述标注数据集合和第1个所述测试数据集合之间的第一损失值;利用所述损失函数,分别获得第i个所述标注数据集合和第i个所述测试数据集合之间的第二损失值;将所述第一损失值乘以第一系数,得到第一分量;将每个所述第二损失值乘以第二系数,得到每个所述第二损失值对应的第二分量;将所述第一分量和所述第二分量进行加和,以得到损失数据;
其中,所述第一系数在所述训练图像中不存在被标注为任一类目标对象的像素点的情况下为0,第i个所述第二系数在所述训练图像中不存在被标注为第i类目标对象的像素点的情况下为0。
上述装置,优选的,其中:
所述参数调整单元具体用于:将所述当前损失数据与在所述训练图像之前被输入到所述对象分割模型中的前一帧图像对应的前一损失数据进行比对,以得到损失变化量;在所述损失变化量满足调整条件的情况下,对所述对象分割模型中的模型参数进行调整。
上述装置,优选的,所述调整条件包括:所述损失变化量大于或等于损失阈值。
一种电子设备,包括:
存储器,用于存储应用程序和所述应用程序运行所产生的数据;
处理器,用于执行所述应用程序,以实现:
获得训练图像,所述训练图像对应有N+1个标注数据集合,N为大于或等于2的正整数,每个所述标注数据集合中包含Q个标注值,每个所述标注值对应于所属的训练图像的一个像素点,第1个所述标注数据集合中的每个所述标注值大于标注阈值的情况下表征其所属像素点属于背景区域像素点,第i个所述标注数据集合中的每个所述标注值大于所述标注阈值的情况下表征其所属像素点属于第i类目标对象,i为大于或等于2且小于或等于N+1的正整数;
将所述训练图像输入到预先构建的对象分割模型中,以得到所述对象分割模型所输出的测试结果,所述测试结果包括N+1个测试数据集合,每个所述测试数据集合中包含Q个测试值,每个所述测试值对应于所属的训练图像的一个像素点,第1个所述测试数据集合中的每个所述测试值表征其所属像素点属于背景区域像素点的概率,第i个所述测试数据集合中的每个所述测试值表征其所属像素点属于第i类目标对象的像素点的概率;
获得所述N+1个标注数据集合与所述N+1个测试数据集合之间的当前损失数据,所述当前损失数据包含第一损失值对应的第一分量和N个第二损失值各自对应的第二分量,所述第一损失值为所述第1个所述标注数据集合和第1个所述测试数据集合之间的损失值,第i个第二损失值为第i个所述标注数据集合和第i个所述测试数据集合之间的损失值;
其中,在所述训练图像中不存在被标注为第i类目标对象的像素点的情况下,第i个所述第二分量为0;在所述训练图像中不存在被标注为任一类目标对象的像素点的情况下,所述第一分量为0;
至少根据所述当前损失数据,对所述对象分割模型中的模型参数进行调整,所述对象分割模型用于对目标图像中的N类目标对象所对应的图像区域进行分割。
从上述技术方案可以看出,本申请公开的一种数据处理方法、装置及电子设备中,在获得到对应于多个标注数据集合的训练图像之后,由于每个标注数据集合均包含对应于所属训练图像的每个像素点的标注值,而且以不同的标注数据集合分别标注背景区域像素点和不同目标对象的像素点,基于此,在将训练图像输入到预先构建的对象分割模型之后,可以得到分别对应于背景区域像素点和不同目标对象的像素点的测试数据集合,而每个集合中包含每个像素点上的测试值,由此,获得标注数据集合和测试数据集合之间的当前损失数据并根据这些损失数据对对象分割模型中的模型参数进行调整,而所获得的当前损失数据中既包含关于背景区域像素点的第一损失值对应的第一分量,也包含关于不同目标对象的第二损失值各自对应的第二分量,而且在训练图像中不存在被标注为某个目标对象的像素点时相应的第二分量为0,在训练图像中不存在被标注为所有目标对象的像素点时相应的第一分量为0。可见,本申请中在计算损失数据时,对属于背景区域的和属于对象区域的标注数据和测试数据之间的损失分开计算,以避免训练图像中缺少某些类的目标对象的标注数据时被认为是背景而导致损失计算错误的情况,从而能够使用缺少部分类目标对象的标注数据的训练图像对对象分割模型进行准确训练,从而最终训练出的模型能够对多种类的目标对象进行分割,也就是说,即使训练图像中缺少部分类的目标对象的标注数据,也不会因为缺少标注而存在训练错误的情况,从而使得所训练出的模型能够准确对多种目标对象进行分割。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种数据处理方法的流程图;
图2及图3分别为本申请实施例的示例图;
图4为本申请实施例一提供的一种数据处理方法的部分流程图;
图5为本申请实施例二提供的一种数据处理装置的结构示意图;
图6为本申请实施例三提供的一种电子设备的结构示意图;
图7为本申请中对CT图像的分割模型进行训练的示意图。
具体实施方式
目前,基于机器学习的医学图像分割算法取得了非常好的效果。本申请的发明人经过研究发现:大多数算法往往针对特定器官,每一个器官一个单独的模型,大大增加了计算开销。除此之外,基于机器学习的算法需要依赖大量的标注数据,现有的数据集中往往也只有特定器官的标注,这样的数据对于多器官分割来讲,是标注不完全的,无法直接用于多器官分割。
本申请的发明人经过进一步研究,提出一种利用部分标注的标注数据实现多对象(器官)分割的技术方案,具体如下:
首先,获得对应于多个标注数据集合的训练图像,之后,由于每个标注数据集合均包含对应于所属训练图像的每个像素点的标注值,而且以不同的标注数据集合分别标注背景区域像素点和不同目标对象的像素点,基于此,在将训练图像输入到预先构建的对象分割模型之后,可以得到分别对应于背景区域像素点和不同目标对象的像素点的测试数据集合,而每个集合中包含每个像素点上的测试值,由此,获得标注数据集合和测试数据集合之间的当前损失数据并根据这些损失数据对对象分割模型中的模型参数进行调整,而所获得的当前损失数据中既包含关于背景区域像素点的第一损失值也包含关于不同目标对象的第二损失值,而且在训练图像中不存在被标注为某个目标对象的像素点时相应的第二损失值为0,在训练图像中不存在被标注为所有目标对象的像素点时相应的第一损失值为0。
可见,以上技术方案在计算损失数据时,对属于背景区域的和属于对象区域的标注数据和测试数据之间的损失分开计算,以避免训练图像中缺少某些类的目标对象的标注数据时被认为是背景而导致损失计算错误的情况,从而能够使用缺少部分类目标对象的标注数据的训练图像对对象分割模型进行准确训练,从而最终训练出的模型能够对多种类的目标对象进行分割,也就是说,即使训练图像中缺少部分类的目标对象的标注数据,也不会因为缺少标注而存在训练错误的情况,从而使得所训练出的模型能够准确对多种目标对象进行分割。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1所示,为本申请实施例一提供的一种数据处理方法的实现流程图。该方法适用于能够进行图像数据处理的电子设备中,如计算机或服务器等。本实施例中的技术方案主要用于利用部分标注的标注数据对对象分割模型进行训练,进而使得训练出的模型能够实现多对象(器官)分割。
具体的,本实施例中的方法可以包括以下步骤:
步骤101:获得训练图像。
其中,训练图像可以为CT或MRI等医学图像,或者可以为其他等需要对多类目标对象分割而具有标注数据的样本图像。对应有N+1个标注数据集合,N为大于或等于2的正整数,这里的N的大小取决于所需要进行分割的目标对象的种类数量。参考图2,一帧训练图像对应有N+1个标注数据集合,第1个标注数据集合对应于背景区域,其余的N个标注数据集合分别对应于一种目标对象。
例如,如果本实施例中需要训练处的对象分割模型实现对6种内脏器官的图像分割,如对一张图像中的心脏、肺、胃、胆囊、肝脏、胰腺进行分割,训练图像中包含有6种器官的标注数据,那么本实施例中可以设置N为6;如果本实施例中只需要训练处的对象分割模型实现对3种器官的图像分割,如对一张图像中的肝脏、胆囊及胰脏进行分割,图像中包含有3种器官的标注数据,那么本实施例中可以设置N为3,等等。
需要说明的是,在每个标注数据集合中均包含有Q个标注值,每个标注值对应于所属训练图像的一个像素点。参考图2,一帧训练图像中具有Q个像素点,针对背景区域和每种目标对象,均有一个标注数据集合,在每个标注数据集合中包含有这Q个像素点对应的标注值。
其中,针对背景区域,其对应的标注数据集合中每个标注值表征该标注值所属的像素点属于背景区域像素点的置信度值,基于此,针对背景区域,N+1个标注数据集合中的第1个标注数据集合中每个标注值大于标注阈值的情况下即可表征该标注值所属的像素点属于背景区域像素点;
针对N种目标对象中的任意一种目标对象,其对应的标注数据集合中每个标注值表征该标注值所属的像素点属于该目标对象像素点的置信度值,基于此,针对该目标对象,N+1个标注数据集合中的第i个标注数据集合中的每个标注值大于标注阈值的情况下即可表征该标注值所属的像素点属于该第i类目标对象的像素点,i为大于或等于2且小于或等于N+1的正整数。
如图2中所示,一帧训练图像具有Q个像素点,每个Q个像素点有N+1个标注值,每个像素点的第1个标注值表征该标注值所属像素点属于背景区域像素点的置信度值,每个像素点的其余的标注值分别表征该标注值所属像素点分别属于相应种类的目标对象像素点的置信度值。
步骤102:将训练图像输入到预先构建的对象分割模型中,以得到所述对象分割模型所输出的测试结果。
其中,测试结果中包括有N+1个测试数据集合,每个测试数据集合分别对应于一个标注数据集合。在每个测试数据集合中分别包含Q个测试值,每个测试值对应于其所属的训练图像的一个像素点,并与该像素点所对应的N+1个标注值相对应。其中,第1个测试数据集合中的每个测试值表征其所属像素点属于背景区域像素点的概率,而其余的测试数据集合中第i个测试数据集合中的每个测试值表征其所属像素点属于第i类目标对象的像素点的概率。
如图3中所示,经过对象分割模型对训练图像的分割处理,得到N+1个测试数据集合,即Q个像素点各自对应的N+1个测试值所形成的N+1个测试数据集合,每个测试数据集合中的每个测试值分别表征其所属像素点属于该测试数据集合对应的背景区域或者目标对象的像素点的概率值。
例如,在训练图像所训练的对象分割模型是需要实现对6种脏器如心脏、肺、胃、胆囊、肝脏、胰腺进行分割,那么,在一帧训练图像中分别对应有7个标注数据集合和7个测试数据集合:
其中,第1个标注数据集合中的每个标注值表征其各自所对应的像素点是否为背景区域像素点,第2个到第7个标注数据集合中的每个标注值表征其各自对应的像素点是否为相应器官的像素点,如第2个标注数据集合中的每个标注值表征其各自对应的像素点是否为心脏的像素点,第3个标注数据集合中的每个标注值表征其各自对应的像素点是否为肺的像素点,第4个标注数据集合中的每个标注值表征其各自对应的像素点是否为胃的像素点,等等;
而第1个测试数据集合中的每个测试值表征其各自所对应的像素点是否为背景区域像素点,第2个到第7个测试数据集合中的每个测试值表征其各自对应的像素点是否为相应器官的像素点,如第2个测试数据集合中的每个测试值表征其各自对应的像素点是否为心脏的像素点,第3个测试数据集合中的每个测试值表征其各自对应的像素点是否为肺的像素点,第4个测试数据集合中的每个测试值表征其各自对应的像素点是否为胃的像素点,等等
步骤103:获得N+1个标注数据集合与N+1个测试数据集合之间的当前损失数据。
其中,当前损失数据中包含有第一损失值对应的第一分量和N个第二损失值各自对应的第二分量,第一损失值为第1个标注数据集合和第1个测试数据集合之间的损失值,而N个第二损失值中第i个第二损失值为第i个标注数据集合和第i个测试数据集合之间的损失值。
例如,在训练图像所训练的对象分割模型是需要实现对6种脏器如心脏、肺、胃、胆囊、肝脏、胰腺进行分割,那么,在一帧训练图像中分别对应有7个标注数据集合和7个测试数据集合,相应的,本实施例中可以:获得第1个标注数据集合和第1个测试数据集合之间的第一损失值,并基于该第一损失值获得第一分量,表征在针对背景区域上的训练损失分量;获得第2个标注数据集合和第2个测试数据集合之间的第二损失值,并基于该第二损失值获得第1类目标对象如心脏对应的第二分量;获得第3个标注数据集合和第3个测试数据集合之间的第二损失值,并基于该第二损失值获得第2类目标对象如肺对应的第二分量;获得第4个标注数据集合和第4个测试数据集合之间的第二损失值,并基于该第二损失值获得第3类目标对象如胃对应的第二分量,等等。
需要说明的是,在训练图像中不存在被标注为第i类目标对象的像素点的情况下,即训练图像中不存在第i类目标对象像素点的标注值,第i个第二分量为0。例如,使用训练图像进行训练的对象分割模型需要对6种目标对象进行分割,但是训练图像中只包含5种目标对象的像素点的标注值,那么此时,对于缺少标注的这一种目标对象对应的第二分量为0。而且,在训练图像中不存在被标注为任一类目标对象的像素点的情况下,即训练图像中缺少任意某一类目标图像像素点的标注值,第一分量为0。例如,使用训练图像进行训练的对象分割模型需要对6种目标对象进行分割,但是训练图像中这6种目标对象有任意一类目标对象的像素点或所有类目标对象的像素点的标注值均没有,那么此时,针对背景区域的第一损失值为0。
基于此,本实施例中分别对背景区域和各类目标对象同时进行损失数据计算,得到相应的损失值,组成当前损失数据。
步骤104:至少根据当前损失数据,对对象分割模型中的模型参数进行调整。
其中,本实施例中对对象分割模型中的模型参数进行调整时,可以基于损失数据降低的原则对模型参数进行增加或者降低的调整,以使得下次对象分割模型的损失数据降低,并随着多帧训练图像的多次训练,对象分割模型的损失数据能够降到最低并不再变化,此时对象分割模型训练完成。
需要说明的是,训练完成的对象分割模型用于对目标图像中的N类目标对象所对应的图像区域进行分割。其中,目标图像可以为CT图像或者MRI图像等需要进行多类目标对象所在图像区域分割的图像。
从上述技术方案可以看出,本申请实施例一提供的一种数据处理方法中,在获得到对应于多个标注数据集合的训练图像之后,由于每个标注数据集合均包含对应于所属训练图像的每个像素点的标注值,而且以不同的标注数据集合分别标注背景区域像素点和不同目标对象的像素点,基于此,在将训练图像输入到预先构建的对象分割模型之后,可以得到分别对应于背景区域像素点和不同目标对象的像素点的测试数据集合,而每个集合中包含每个像素点上的测试值,由此,获得标注数据集合和测试数据集合之间的当前损失数据并根据这些损失数据对对象分割模型中的模型参数进行调整,而所获得的当前损失数据中既包含关于背景区域像素点的第一损失值对应的第一分量,也包含关于不同目标对象的第二损失值各自对应的第二分量,而且在训练图像中不存在被标注为某个目标对象的像素点时相应的第二分量为0,在训练图像中不存在被标注为所有目标对象的像素点时相应的第一分量为0。可见,本申请中在计算损失数据时,对属于背景区域的和属于对象区域的标注数据和测试数据之间的损失分开计算,以避免训练图像中缺少某些类的目标对象的标注数据时被认为是背景而导致损失计算错误的情况,从而能够使用缺少部分类目标对象的标注数据的训练图像对对象分割模型进行准确训练,从而最终训练出的模型能够对多种类的目标对象进行分割,也就是说,即使训练图像中缺少部分类的目标对象的标注数据,也不会因为缺少标注而存在训练错误的情况,从而使得所训练出的模型能够准确对多种目标对象进行分割。
在一种实现方式中,步骤103中在获得N+1个标注数据集合与N+1个测试数据集合之间的当前损失数据时,具体可以通过以下方式获得,如图4中所示:
步骤401:利用预设的损失函数,获得第1个标注数据集合和第1个测试数据集合之间的第一损失值。
其中,损失函数可以为基于回归算法或多分类算法所构建的损失函数。基于该损失函数,本实施例中针对背景区域的像素点对应的标注数据和测试数据进行损失计算,即获得第1个标注数据集合和第1个测试数据集合之间关于标注值和测试值之间的第一损失值,第一损失值表征:对于背景区域的像素点,经过对象分割模型的分割测试之后所得到的测试值与标注之间的差异,第一损失值越大表示对象分割模型对训练图像中关于背景区域的分割测试效果越差,第一损失值越小表示对象分割模型对训练图像中关于背景区域的分割测试效果越好。
步骤402:利用损失函数,分别获得第i个标注数据集合和第i个测试数据集合之间的第二损失值。
也就是说,本实施例中分别针对每一类的目标对象对应的标注数据和测试数据进行损失计算,即:针对所有类的目标对象分别对应的第2个到第N+1个标注数据集合和第2个到第N+1个测试数据集合,分别将每个标注数据集合和对应于同一类目标对象的测试数据集合利用损失函数进行算是计算,得到第二损失值,第二损失值表征对于所对应的类的目标对象(如肝脏或心脏)的像素点,经过对象分割模型的分割测试之后所得到的测试值与标注之间的差异,第二损失值越大表示对象分割模型对训练图像中关于该类目标对象的分割测试效果越差,第二损失值越小表示对象分割模型对训练图像中关于该类目标对象的分割测试效果越小。
步骤403:将第一损失值乘以第一系数,得到第一分量,并将每个第二损失值乘以第二系数,得到每个第二损失值对应的第二分量。
其中,第一系数在训练图像中不存在被标注为任一类目标对象的像素点的情况下为0,由此,在训练图像中不存在被标注为任意某一类目标对象的像素点时,为了避免缺少该类目标对象的标注值而被认为是背景区域像素点导致损失计算不准确的情况,此时通过将第一系数设置为0,使得第一分量为0,而在训练图像中存在所有类的目标对象的标注值时,第一系数为1,相应的第一分量即为第一损失值;而第i个第二系数在训练图像中不存在被标注为第i类目标对象的像素点的情况下为0,由此,在训练图像中不存在被标注为第i类目标对象的像素点时,为了避免缺少该类目标对象的标注值而使得损失计算不准确的情况,此时通过将第二系数设置为0,使得该类目标对象对应的第二分量为0,而在训练图像中存在被标注为第i类目标对象的像素点时,该类目标对象对应的第二系数为1,相应的第二分量即为第i类目标对象对应的第二损失值。
例如,在训练图像所训练的对象分割模型是需要实现对6种脏器如心脏、肺、胃、胆囊、肝脏、胰腺进行分割,那么,在一帧训练图像中经过对象分割模型的测试及损失计算之后,得到1个第一损失值,对应于背景区域,还会得到6个第二损失值,分别对应于心脏、肺、胃、胆囊、肝脏、胰腺各个脏器,如果在训练图像中不存在被标注为心脏的像素点时,此时通过将第一系数设置为0,使得第一分量为0,而在训练图像中存在所有类脏器的标注值时,第一系数为1,相应的第一分量即为第一损失值;而在训练图像中不存在被标注为肺的像素点的情况下,肺对应的第二系数为0,由此,通过将肺对应的第二系数设置为0,使得肺对应的第二分量为0,而如果在训练图像中存在被标注为肝的像素点时,肝对应的第二系数为1,相应的第二分量即为肝对象对应的第二损失值。
步骤404:将第一分量和第二分量进行加和,以得到当前损失数据。
具体实现中,本实施例中的当前损失数据可以参考如下公式(1):
其中,S为N+1个测试数据集合,P为N+1个标注数据集合,s0为第1个测试数据集合,p0为第1个标注数据集合,si为第i个测试数据集合,pi为第i个测试数据集合,C为目标对象的种类数量,m0为第一个测试数据集合对应的第一系数,mi为第i个测试数据集合对应的第二系数,loss(S,P)为当前损失数据,loss(s0,p0)为第一损失值,m0loss(s0,p0)为第一分量,loss(si,pi)为第i类目标对象对应的第二损失值,miloss(si,pi)为第i类目标对象对应的第二分量;在训练图像中存在第i类目标对象的标注值时,mi为1,否则,mi为0;在训练图像中存在所有类的目标对象的标注值时,m0为1,否则,m0为0。基于此,在将两个分量相加之和,得到当前损失数据。
在一种实现方式中,步骤404中在至少根据当前损失数据,对对象分割模型中的模型参数进行调整时,可以通过以下方式实现:
首先,将当前损失数据与在训练图像之前被输入到对象分割模型中的前一帧图像对应的前一损失数据进行比对,以得到损失变化量。具体的,可以将前一损失数据与当前损失数据之间的差值作为损失变化量。
之和,判断损失变化量是否满足调整条件,如果损失变化量满足调整条件,那么对对象分割模型中的模型参数进行调整。
其中,调整条件可以为:损失变化量大于或等于损失阈值,即当前损失数据相对于前一损失数据增加或减小且变化量超过损失阈值的情况下,认为损失变化量满足调整条件,此时,对对象分割模型中的模型参数进行调整;而如果当前损失数据相对于前一损失数据完全不变或者变化量小到低于损失阈值,那么认为损失变化量不满足调整条件,此时认为对象分割模型对训练图像的测试数据与相应的标注数据之间极为相近,即对象分割模型的测试准确率较高。
具体的,本实施例中在对对象分割模型中的模型参数进行调整时,可以基于梯度下降算法,对对象分割模型中的模型参数进行调整。例如,本实施例中基于梯度下降算法,通过反向传播梯度的方式对对象分割模型中的模型参数进行增加或减小,以使得对象分割模型对下一阵训练图像进行测试时所对应的损失数据减小,直到损失数据减小到最小不再变化,即对象分割模型训练完成。
参考图5,为本申请实施例二提供的一种数据处理装置的结构示意图,该装置可以配置在能够进行图像数据处理的电子设备中,如计算机或服务器等。本实施例中的技术方案主要用于利用部分标注的标注数据对对象分割模型进行训练,进而使得训练出的模型能够实现多对象(器官)分割。
具体的,本实施例中的装置可以包括以下结构
图像获得单元501,用于获得训练图像,所述训练图像对应有N+1个标注数据集合,N为大于或等于2的正整数,每个所述标注数据集合中包含Q个标注值,每个所述标注值对应于所属的训练图像的一个像素点,第1个所述标注数据集合中的每个所述标注值大于标注阈值的情况下表征其所属像素点属于背景区域像素点,第i个所述标注数据集合中的每个所述标注值大于所述标注阈值的情况下表征其所属像素点属于第i类目标对象,i为大于或等于2且小于或等于N+1的正整数;
图像测试单元502,用于将所述训练图像输入到预先构建的对象分割模型中,以得到所述对象分割模型所输出的测试结果,所述测试结果包括N+1个测试数据集合,每个所述测试数据集合中包含Q个测试值,每个所述测试值对应于所属的训练图像的一个像素点,第1个所述测试数据集合中的每个所述测试值表征其所属像素点属于背景区域像素点的概率,第i个所述测试数据集合中的每个所述测试值表征其所属像素点属于第i类目标对象的像素点的概率;
损失获得单元503,用于获得所述N+1个标注数据集合与所述N+1个测试数据集合之间的当前损失数据,所述当前损失数据包含第一损失值对应的第一分量和N个第二损失值各自对应的第二分量,所述第一损失值为所述第1个所述标注数据集合和第1个所述测试数据集合之间的损失值,第i个第二损失值为第i个所述标注数据集合和第i个所述测试数据集合之间的损失值;
其中,在所述训练图像中不存在被标注为第i类目标对象的像素点的情况下,第i个所述第二分量为0;在所述训练图像中不存在被标注为任一类目标对象的像素点的情况下,所述第一分量为0;
参数调整单元504,用于至少根据所述当前损失数据,对所述对象分割模型中的模型参数进行调整,所述对象分割模型用于对目标图像中的N类目标对象所对应的图像区域进行分割。
从上述技术方案可以看出,本申请实施例二提供的一种数据处理装置中,在获得到对应于多个标注数据集合的训练图像之后,由于每个标注数据集合均包含对应于所属训练图像的每个像素点的标注值,而且以不同的标注数据集合分别标注背景区域像素点和不同目标对象的像素点,基于此,在将训练图像输入到预先构建的对象分割模型之后,可以得到分别对应于背景区域像素点和不同目标对象的像素点的测试数据集合,而每个集合中包含每个像素点上的测试值,由此,获得标注数据集合和测试数据集合之间的当前损失数据并根据这些损失数据对对象分割模型中的模型参数进行调整,而所获得的当前损失数据中既包含关于背景区域像素点的第一损失值对应的第一分量,也包含关于不同目标对象的第二损失值各自对应的第二分量,而且在训练图像中不存在被标注为某个目标对象的像素点时相应的第二分量为0,在训练图像中不存在被标注为所有目标对象的像素点时相应的第一分量为0。可见,本实施例中在计算损失数据时,对属于背景区域的和属于对象区域的标注数据和测试数据之间的损失分开计算,以避免训练图像中缺少某些类的目标对象的标注数据时被认为是背景而导致损失计算错误的情况,从而能够使用缺少部分类目标对象的标注数据的训练图像对对象分割模型进行准确训练,从而最终训练出的模型能够对多种类的目标对象进行分割,也就是说,即使训练图像中缺少部分类的目标对象的标注数据,也不会因为缺少标注而存在训练错误的情况,从而使得所训练出的模型能够准确对多种目标对象进行分割。
在一种实现方式中,损失获得单元503具体用于:利用预设的损失函数,获得所述第1个所述标注数据集合和第1个所述测试数据集合之间的第一损失值;利用所述损失函数,分别获得第i个所述标注数据集合和第i个所述测试数据集合之间的第二损失值;将所述第一损失值乘以第一系数,得到第一分量;将每个所述第二损失值乘以第二系数,得到每个所述第二损失值对应的第二分量;将所述第一分量和所述第二分量进行加和,以得到损失数据;
其中,所述第一系数在所述训练图像中不存在被标注为任一类目标对象的像素点的情况下为0,第i个所述第二系数在所述训练图像中不存在被标注为第i类目标对象的像素点的情况下为0。
在一种实现方式中,参数调整单元504具体用于:将所述当前损失数据与在所述训练图像之前被输入到所述对象分割模型中的前一帧图像对应的前一损失数据进行比对,以得到损失变化量;在所述损失变化量满足调整条件的情况下,对所述对象分割模型中的模型参数进行调整。
可选的,所述调整条件包括:所述损失变化量大于或等于损失阈值。
需要说明的是,本实施例中各单元的具体实现可以参考前文中相应内容,此处不再详述。
参考图6,为本申请实施例三提供的一种电子设备的结构示意图,该电子设备可以为能够进行图像数据处理的电子设备,如计算机或服务器等。本实施例中的技术方案主要用于利用部分标注的标注数据对对象分割模型进行训练,进而使得训练出的模型能够实现多对象(器官)分割。
具体的,本实施例中的电子设备可以包括以下结构:
存储器601,用于存储应用程序和所述应用程序运行所产生的数据;
处理器602,用于执行所述应用程序,以实现:
获得训练图像,所述训练图像对应有N+1个标注数据集合,N为大于或等于2的正整数,每个所述标注数据集合中包含Q个标注值,每个所述标注值对应于所属的训练图像的一个像素点,第1个所述标注数据集合中的每个所述标注值大于标注阈值的情况下表征其所属像素点属于背景区域像素点,第i个所述标注数据集合中的每个所述标注值大于所述标注阈值的情况下表征其所属像素点属于第i类目标对象,i为大于或等于2且小于或等于N+1的正整数;
将所述训练图像输入到预先构建的对象分割模型中,以得到所述对象分割模型所输出的测试结果,所述测试结果包括N+1个测试数据集合,每个所述测试数据集合中包含Q个测试值,每个所述测试值对应于所属的训练图像的一个像素点,第1个所述测试数据集合中的每个所述测试值表征其所属像素点属于背景区域像素点的概率,第i个所述测试数据集合中的每个所述测试值表征其所属像素点属于第i类目标对象的像素点的概率;
获得所述N+1个标注数据集合与所述N+1个测试数据集合之间的当前损失数据,所述当前损失数据包含第一损失值对应的第一分量和N个第二损失值各自对应的第二分量,所述第一损失值为所述第1个所述标注数据集合和第1个所述测试数据集合之间的损失值,第i个第二损失值为第i个所述标注数据集合和第i个所述测试数据集合之间的损失值;
其中,在所述训练图像中不存在被标注为第i类目标对象的像素点的情况下,第i个所述第二分量为0;在所述训练图像中不存在被标注为任一类目标对象的像素点的情况下,所述第一分量为0;
至少根据所述当前损失数据,对所述对象分割模型中的模型参数进行调整,所述对象分割模型用于对目标图像中的N类目标对象所对应的图像区域进行分割。
从上述技术方案可以看出,本申请实施例三提供的一种电子设备中,在获得到对应于多个标注数据集合的训练图像之后,由于每个标注数据集合均包含对应于所属训练图像的每个像素点的标注值,而且以不同的标注数据集合分别标注背景区域像素点和不同目标对象的像素点,基于此,在将训练图像输入到预先构建的对象分割模型之后,可以得到分别对应于背景区域像素点和不同目标对象的像素点的测试数据集合,而每个集合中包含每个像素点上的测试值,由此,获得标注数据集合和测试数据集合之间的当前损失数据并根据这些损失数据对对象分割模型中的模型参数进行调整,而所获得的当前损失数据中既包含关于背景区域像素点的第一损失值对应的第一分量,也包含关于不同目标对象的第二损失值各自对应的第二分量,而且在训练图像中不存在被标注为某个目标对象的像素点时相应的第二分量为0,在训练图像中不存在被标注为所有目标对象的像素点时相应的第一分量为0。可见,本实施例中在计算损失数据时,对属于背景区域的和属于对象区域的标注数据和测试数据之间的损失分开计算,以避免训练图像中缺少某些类的目标对象的标注数据时被认为是背景而导致损失计算错误的情况,从而能够使用缺少部分类目标对象的标注数据的训练图像对对象分割模型进行准确训练,从而最终训练出的模型能够对多种类的目标对象进行分割,也就是说,即使训练图像中缺少部分类的目标对象的标注数据,也不会因为缺少标注而存在训练错误的情况,从而使得所训练出的模型能够准确对多种目标对象进行分割。
以训练对CT图像进行器官分割的分割模型为例,以下对本申请的技术方案进行举例说明:
本申请的技术方案中是利用部分标注的数据实现多器官分割,如图7中所示,左侧的训练图像中分别只包含肾脏、肝脏和胆囊的标注数据。本申请的技术方案中主要在于:根据当前训练图像中具有已标注的器官类别对分割模型进行自适应的训练。由此,本申请的技术方案中可以根据当前训练图像中已标注的类别自适应地确定训练目标,以训练分割模型中的模型参数,从而利用部分标注的数据实现多目标的分割,基于此,能够只用一个分割模型就可以实现多个目标的分割,从而能够节省计算开销,同时不需要额外繁琐的数据标注,极大提高算法实现效率。具体实现方案参考如下:
(1)首先,定义(创建)分割模型M(D;θ),θ为模型参数,D为输入图像(即训练图像),D对应的标注为L(标注数据集合),待分割类别数量为C;
(2)之后,定义M对D进行测试后所生成的score map S={s0,...,si,...,sc}(即测试数据集合),si表示类别i的score map(s0表示背景),si中每一个元素表示该点属于类别i的概率,如属于心脏或者肺的概率;
(3)同时,定义L的one hot编码形式P={p0,...,pi,...,pc},pi表示类别i的标注(s0表示背景区域的像素点),pi中的元素为1的像素点为属于类别i的区域像素点,pi中元素为1的像素点组成表示该点属于类别i,反之亦然。
(4)定义损失函数loss(A,B),A表示score map(测试数据集合),B表示标注的onehot编码(标注数据集合)。
基于以上定义,本申请中的技术方案具体步骤如下:
1、将D输入分割模型M得到S;
2、计算S与L之间的损失,其中:
对于部分标注数据,可能已经将输入图像中未标注的类别等价于该类别被标注为背景,因此计算损失时,要将loss(s0,p0)和loss(si,pi)(其中i>0)分开考虑,具体如下:
对于loss(si,pi),其中i>0,本申请中引入一个flag向量v={mi|i=1,...,C},当输入图像存在第i类标注时,mi=1;否则,mi=0;
对于loss(s0,p0),本申请中引入一个flag变量m0,当输入图像存在所有C类标注时,m0=1;否则,m0=0;
基于此,总损失(损失数据)如公式(1)中所示。
3、为了最小化损失,本申请中通过求解梯度,通过反向传播梯度,来更新模型参数θ;
4、迭代1-3直到损失不再减少,得到最后的模型M,该模型M用于对待分割的CT图像进行区域分割,如图7中所示,能够将CT图像中的肾脏、肝脏和胆囊的器官图像区域同时进行分割。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据处理方法,包括:
获得训练图像,所述训练图像对应有N+1个标注数据集合,N为大于或等于2的正整数,每个所述标注数据集合中包含Q个标注值,每个所述标注值对应于所属的训练图像的一个像素点,第1个所述标注数据集合中的每个所述标注值大于标注阈值的情况下表征其所属像素点属于背景区域像素点,第i个所述标注数据集合中的每个所述标注值大于所述标注阈值的情况下表征其所属像素点属于第i类目标对象,i为大于或等于2且小于或等于N+1的正整数;
将所述训练图像输入到预先构建的对象分割模型中,以得到所述对象分割模型所输出的测试结果,所述测试结果包括N+1个测试数据集合,每个所述测试数据集合中包含Q个测试值,每个所述测试值对应于所属的训练图像的一个像素点,第1个所述测试数据集合中的每个所述测试值表征其所属像素点属于背景区域像素点的概率,第i个所述测试数据集合中的每个所述测试值表征其所属像素点属于第i类目标对象的像素点的概率;
获得所述N+1个标注数据集合与所述N+1个测试数据集合之间的当前损失数据,所述当前损失数据包含第一损失值对应的第一分量和N个第二损失值各自对应的第二分量,所述第一损失值为所述第1个所述标注数据集合和第1个所述测试数据集合之间的损失值,第i个第二损失值为第i个所述标注数据集合和第i个所述测试数据集合之间的损失值;
其中,在所述训练图像中不存在被标注为第i类目标对象的像素点的情况下,第i个所述第二分量为0;在所述训练图像中不存在被标注为任一类目标对象的像素点的情况下,所述第一分量为0;
至少根据所述当前损失数据,对所述对象分割模型中的模型参数进行调整,所述对象分割模型用于对目标图像中的N类目标对象所对应的图像区域进行分割。
2.根据权利要求1所述的方法,获得所述N+1个标注数据集合与所述N+1个测试数据集合之间的当前损失数据,包括:
利用预设的损失函数,获得所述第1个所述标注数据集合和第1个所述测试数据集合之间的第一损失值;
利用所述损失函数,分别获得第i个所述标注数据集合和第i个所述测试数据集合之间的第二损失值;
将所述第一损失值乘以第一系数,得到第一分量;
将每个所述第二损失值乘以第二系数,得到每个所述第二损失值对应的第二分量;
将所述第一分量和所述第二分量进行加和,以得到当前损失数据;
其中,所述第一系数在所述训练图像中不存在被标注为任一类目标对象的像素点的情况下为0,第i个所述第二系数在所述训练图像中不存在被标注为第i类目标对象的像素点的情况下为0。
3.根据权利要求1所述的方法,至少根据所述当前损失数据,对所述对象分割模型中的模型参数进行调整,包括:
将所述当前损失数据与在所述训练图像之前被输入到所述对象分割模型中的前一帧图像对应的前一损失数据进行比对,以得到损失变化量;
在所述损失变化量满足调整条件的情况下,对所述对象分割模型中的模型参数进行调整。
4.根据权利要求3所述的方法,所述调整条件包括:所述损失变化量大于或等于损失阈值。
5.根据权利要求3所述的方法,对所述对象分割模型中的模型参数进行调整,包括:
基于梯度下降算法,对所述对象分割模型中的模型参数进行调整。
6.一种数据处理装置,包括:
图像获得单元,用于获得训练图像,所述训练图像对应有N+1个标注数据集合,N为大于或等于2的正整数,每个所述标注数据集合中包含Q个标注值,每个所述标注值对应于所属的训练图像的一个像素点,第1个所述标注数据集合中的每个所述标注值大于标注阈值的情况下表征其所属像素点属于背景区域像素点,第i个所述标注数据集合中的每个所述标注值大于所述标注阈值的情况下表征其所属像素点属于第i类目标对象,i为大于或等于2且小于或等于N+1的正整数;
图像测试单元,用于将所述训练图像输入到预先构建的对象分割模型中,以得到所述对象分割模型所输出的测试结果,所述测试结果包括N+1个测试数据集合,每个所述测试数据集合中包含Q个测试值,每个所述测试值对应于所属的训练图像的一个像素点,第1个所述测试数据集合中的每个所述测试值表征其所属像素点属于背景区域像素点的概率,第i个所述测试数据集合中的每个所述测试值表征其所属像素点属于第i类目标对象的像素点的概率;
损失获得单元,用于获得所述N+1个标注数据集合与所述N+1个测试数据集合之间的当前损失数据,所述当前损失数据包含第一损失值对应的第一分量和N个第二损失值各自对应的第二分量,所述第一损失值为所述第1个所述标注数据集合和第1个所述测试数据集合之间的损失值,第i个第二损失值为第i个所述标注数据集合和第i个所述测试数据集合之间的损失值;
其中,在所述训练图像中不存在被标注为第i类目标对象的像素点的情况下,第i个所述第二分量为0;在所述训练图像中不存在被标注为任一类目标对象的像素点的情况下,所述第一分量为0;
参数调整单元,用于至少根据所述当前损失数据,对所述对象分割模型中的模型参数进行调整,所述对象分割模型用于对目标图像中的N类目标对象所对应的图像区域进行分割。
7.根据权利要求6所述的装置,其中:
所述损失获得单元具体用于:利用预设的损失函数,获得所述第1个所述标注数据集合和第1个所述测试数据集合之间的第一损失值;利用所述损失函数,分别获得第i个所述标注数据集合和第i个所述测试数据集合之间的第二损失值;将所述第一损失值乘以第一系数,得到第一分量;将每个所述第二损失值乘以第二系数,得到每个所述第二损失值对应的第二分量;将所述第一分量和所述第二分量进行加和,以得到损失数据;
其中,所述第一系数在所述训练图像中不存在被标注为任一类目标对象的像素点的情况下为0,第i个所述第二系数在所述训练图像中不存在被标注为第i类目标对象的像素点的情况下为0。
8.根据权利要求6所述的装置,其中:
所述参数调整单元具体用于:将所述当前损失数据与在所述训练图像之前被输入到所述对象分割模型中的前一帧图像对应的前一损失数据进行比对,以得到损失变化量;在所述损失变化量满足调整条件的情况下,对所述对象分割模型中的模型参数进行调整。
9.根据权利要求8所述的装置,所述调整条件包括:所述损失变化量大于或等于损失阈值。
10.一种电子设备,包括:
存储器,用于存储应用程序和所述应用程序运行所产生的数据;
处理器,用于执行所述应用程序,以实现:
获得训练图像,所述训练图像对应有N+1个标注数据集合,N为大于或等于2的正整数,每个所述标注数据集合中包含Q个标注值,每个所述标注值对应于所属的训练图像的一个像素点,第1个所述标注数据集合中的每个所述标注值大于标注阈值的情况下表征其所属像素点属于背景区域像素点,第i个所述标注数据集合中的每个所述标注值大于所述标注阈值的情况下表征其所属像素点属于第i类目标对象,i为大于或等于2且小于或等于N+1的正整数;
将所述训练图像输入到预先构建的对象分割模型中,以得到所述对象分割模型所输出的测试结果,所述测试结果包括N+1个测试数据集合,每个所述测试数据集合中包含Q个测试值,每个所述测试值对应于所属的训练图像的一个像素点,第1个所述测试数据集合中的每个所述测试值表征其所属像素点属于背景区域像素点的概率,第i个所述测试数据集合中的每个所述测试值表征其所属像素点属于第i类目标对象的像素点的概率;
获得所述N+1个标注数据集合与所述N+1个测试数据集合之间的当前损失数据,所述当前损失数据包含第一损失值对应的第一分量和N个第二损失值各自对应的第二分量,所述第一损失值为所述第1个所述标注数据集合和第1个所述测试数据集合之间的损失值,第i个第二损失值为第i个所述标注数据集合和第i个所述测试数据集合之间的损失值;
其中,在所述训练图像中不存在被标注为第i类目标对象的像素点的情况下,第i个所述第二分量为0;在所述训练图像中不存在被标注为任一类目标对象的像素点的情况下,所述第一分量为0;
至少根据所述当前损失数据,对所述对象分割模型中的模型参数进行调整,所述对象分割模型用于对目标图像中的N类目标对象所对应的图像区域进行分割。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010565168.2A CN111724371B (zh) | 2020-06-19 | 2020-06-19 | 一种数据处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010565168.2A CN111724371B (zh) | 2020-06-19 | 2020-06-19 | 一种数据处理方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111724371A true CN111724371A (zh) | 2020-09-29 |
CN111724371B CN111724371B (zh) | 2023-05-23 |
Family
ID=72567667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010565168.2A Active CN111724371B (zh) | 2020-06-19 | 2020-06-19 | 一种数据处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111724371B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070777A (zh) * | 2020-11-10 | 2020-12-11 | 中南大学湘雅医院 | 一种基于增量学习的多场景下的危及器官分割方法及设备 |
CN112561921A (zh) * | 2020-11-10 | 2021-03-26 | 联想(北京)有限公司 | 一种图像分割方法及设备 |
CN115018805A (zh) * | 2022-06-21 | 2022-09-06 | 推想医疗科技股份有限公司 | 分割模型训练方法、图像分割方法、装置、设备及介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100266170A1 (en) * | 2009-04-20 | 2010-10-21 | Siemens Corporate Research, Inc. | Methods and Systems for Fully Automatic Segmentation of Medical Images |
CN107967688A (zh) * | 2017-12-21 | 2018-04-27 | 联想(北京)有限公司 | 对图像中的对象进行分割的方法及*** |
US20180276825A1 (en) * | 2017-03-23 | 2018-09-27 | Petuum, Inc. | Structure Correcting Adversarial Network for Chest X-Rays Organ Segmentation |
CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
CN109493346A (zh) * | 2018-10-31 | 2019-03-19 | 浙江大学 | 一种基于多损失的胃癌病理切片图像分割方法和装置 |
CN109614973A (zh) * | 2018-11-22 | 2019-04-12 | 华南农业大学 | 水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质 |
US20190266731A1 (en) * | 2018-02-26 | 2019-08-29 | Abc Fintech Co., Ltd. | Image segmentation method and device |
CN110689548A (zh) * | 2019-09-29 | 2020-01-14 | 浪潮电子信息产业股份有限公司 | 一种医学图像分割方法、装置、设备及可读存储介质 |
CN110930417A (zh) * | 2019-11-26 | 2020-03-27 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法和装置、图像分割方法和装置 |
WO2020088076A1 (zh) * | 2018-10-31 | 2020-05-07 | 阿里巴巴集团控股有限公司 | 一种图像标注方法、装置及*** |
WO2020087974A1 (zh) * | 2018-10-30 | 2020-05-07 | 北京字节跳动网络技术有限公司 | 生成模型的方法和装置 |
-
2020
- 2020-06-19 CN CN202010565168.2A patent/CN111724371B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100266170A1 (en) * | 2009-04-20 | 2010-10-21 | Siemens Corporate Research, Inc. | Methods and Systems for Fully Automatic Segmentation of Medical Images |
US20180276825A1 (en) * | 2017-03-23 | 2018-09-27 | Petuum, Inc. | Structure Correcting Adversarial Network for Chest X-Rays Organ Segmentation |
CN107967688A (zh) * | 2017-12-21 | 2018-04-27 | 联想(北京)有限公司 | 对图像中的对象进行分割的方法及*** |
US20190266731A1 (en) * | 2018-02-26 | 2019-08-29 | Abc Fintech Co., Ltd. | Image segmentation method and device |
CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
WO2020087974A1 (zh) * | 2018-10-30 | 2020-05-07 | 北京字节跳动网络技术有限公司 | 生成模型的方法和装置 |
CN109493346A (zh) * | 2018-10-31 | 2019-03-19 | 浙江大学 | 一种基于多损失的胃癌病理切片图像分割方法和装置 |
WO2020088076A1 (zh) * | 2018-10-31 | 2020-05-07 | 阿里巴巴集团控股有限公司 | 一种图像标注方法、装置及*** |
CN109614973A (zh) * | 2018-11-22 | 2019-04-12 | 华南农业大学 | 水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质 |
CN110689548A (zh) * | 2019-09-29 | 2020-01-14 | 浪潮电子信息产业股份有限公司 | 一种医学图像分割方法、装置、设备及可读存储介质 |
CN110930417A (zh) * | 2019-11-26 | 2020-03-27 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法和装置、图像分割方法和装置 |
Non-Patent Citations (7)
Title |
---|
ALEXANDER KIRILLOV ET AL.: "PointRend: Image Segmentation as Rendering" * |
CHENGJIA WANG ET AL.: "A two-stage 3D Unet framework for multi-class segmentation on full resolution image" * |
YAO ZHANG ET AL.: "SequentialSegNet: Combination with Sequential Feature for Multi-organ Segmentation" * |
YUBING LI ET AL.: "Grab Cut Image Segmentation Based on Image Region" * |
杨兵等: "融合组织特性的磁共振图像自动分割" * |
王小芳等: "一种复杂背景下的电力设备红外图像分割方法" * |
肖宁等: "基于分割对抗网络的肺结节分割" * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070777A (zh) * | 2020-11-10 | 2020-12-11 | 中南大学湘雅医院 | 一种基于增量学习的多场景下的危及器官分割方法及设备 |
CN112561921A (zh) * | 2020-11-10 | 2021-03-26 | 联想(北京)有限公司 | 一种图像分割方法及设备 |
CN115018805A (zh) * | 2022-06-21 | 2022-09-06 | 推想医疗科技股份有限公司 | 分割模型训练方法、图像分割方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111724371B (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lin et al. | Comparison of handcrafted features and convolutional neural networks for liver MR image adequacy assessment | |
US11593943B2 (en) | RECIST assessment of tumour progression | |
US10482600B2 (en) | Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks | |
US20220092789A1 (en) | Automatic pancreas ct segmentation method based on a saliency-aware densely connected dilated convolutional neural network | |
CN111724371B (zh) | 一种数据处理方法、装置及电子设备 | |
Li et al. | Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images | |
CN100566655C (zh) | 用于处理图像以确定图像特性或分析候补的方法 | |
JP2022538137A (ja) | 画像検出方法及び関連モデルの訓練方法並びに関連装置、機器 | |
Aranguren et al. | Improving the segmentation of magnetic resonance brain images using the LSHADE optimization algorithm | |
Li et al. | Superpixel-guided iterative learning from noisy labels for medical image segmentation | |
CN113298830B (zh) | 一种基于自监督的急性颅内ich区域图像分割方法 | |
CN111325750A (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
CN113240661B (zh) | 基于深度学习的腰椎骨分析方法、装置、设备及存储介质 | |
Lou et al. | Automatic fetal brain extraction using multi-stage U-Net with deep supervision | |
Sirjani et al. | Automatic cardiac evaluations using a deep video object segmentation network | |
Yang et al. | A multiorgan segmentation model for CT volumes via full convolution‐deconvolution network | |
Wang et al. | Medical matting: a new perspective on medical segmentation with uncertainty | |
CN115190999A (zh) | 使用对比损失对分布外的数据进行分类 | |
Albuquerque et al. | Object detection for automatic cancer cell counting in zebrafish xenografts | |
Gheorghiță et al. | Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data | |
CN114266896A (zh) | 图像标注方法、模型训练方法及装置、电子设备、介质 | |
CN113724185B (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
CN114596440A (zh) | 语义分割模型的生成方法、装置、电子设备及存储介质 | |
CN112990367A (zh) | 一种图像处理方法、装置、设备以及存储介质 | |
CN115210755A (zh) | 解决训练数据中遗漏注释的类别不同损失函数 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |