CN113920079A - 一种困难样本挖掘方法、***、终端以及存储介质 - Google Patents
一种困难样本挖掘方法、***、终端以及存储介质 Download PDFInfo
- Publication number
- CN113920079A CN113920079A CN202111156861.5A CN202111156861A CN113920079A CN 113920079 A CN113920079 A CN 113920079A CN 202111156861 A CN202111156861 A CN 202111156861A CN 113920079 A CN113920079 A CN 113920079A
- Authority
- CN
- China
- Prior art keywords
- training
- point cloud
- point
- shape
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005065 mining Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 138
- 230000011218 segmentation Effects 0.000 claims abstract description 43
- 210000000056 organ Anatomy 0.000 claims description 43
- 238000005070 sampling Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012423 maintenance Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007493 shaping process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 210000003484 anatomy Anatomy 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 210000004100 adrenal gland Anatomy 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000000496 pancreas Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 210000003240 portal vein Anatomy 0.000 description 2
- 210000000952 spleen Anatomy 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请涉及一种困难样本挖掘方法、***、终端以及存储介质。方法包括：收集包括K种标签类型的医学图像数据；根据医学图像数据的标签构建点云形状模型，并选取一个包含K种标签类型的点云形状模型作为模板形状；从医学图像数据中随机剪裁设定数量的训练样本，将训练样本输入分割模型进行训练，并在一个批次训练结束后，根据当前批次的训练样本的训练损失值更新模板形状的奖励期望值；根据模板形状上的奖励期望值分布从医学图像数据中挖掘困难样本，根据困难样本对分割模型进行训练。本申请通过将训练样本的困难程度抽象为可被估计的奖励值，能够更加科学的评估样本的困难程度，并更充分地挖掘出对分割模型而言更具代表性的困难样本。
Description
技术领域
本申请属于医学影像处理技术领域，特别涉及一种困难样本挖掘方法、***、终端以及存储介质。
背景技术
在基于CT(Computed Tomography，电子计算机断层扫描)或MR(MagneticResonance,磁共振检查)等三维医学图像的器官分割任务中，通常需要从图像中裁剪出3Dpatch(即原始3D医学图像中的3D局部)作为样本来训练分割模型。以3D patch的形式对原始三维医学图像中进行采样时，会面临样本选择的问题。常用的随机采样策略通常会面临以下两个问题：一是不同类别的被采样概率不同，体素占比大的类别被采样概率会更大，使得最终训练得到的模型对背景区域或者大器官(如肝脏)的分割效果较好，而对于小器官(如肾上腺)的分割常存在漏检；二是对于难以识别的解剖区域关注度不够，例如对比度低的器官边界(如胰腺)或是个体间差异较大的解剖结构(如胃)，使得最终训练得到的模型对这些区域的分割存在漏检或者误检。在训练过程中引入困难样本挖掘策略可以有效缓解以上问题，即在训练过程中，从训练集中挖掘出那些对当前模型而言分割存在困难的样本，强迫模型去学习这些困难样本的特征，从而提高模型的整体分割精度。
现有的困难样本挖掘方案包括：
一、在每一个训练批次内，首先随机选取大量的样本进行前向传播计算损失，然后挑选损失较大的那部分样本作为困难样本，使用这些困难样本进行反向传播更新模型参数。该方案中，由于3Dpatch样本内存较大，在每一个训练批次内，只能选取少量的样本，即batchsize较小，在少量的候选样本集中选择损失较大的样本作为困难样本是不够全面的；此外，对3Dpatch进行前向传播计算量较大，而只选择部分样本进行反向传播会导致许多无用的计算，不太适用于医学图像分割领域。
二、为每个样本维护一个采样概率，训练过程中，根据样本的被采样次数以及平均损失值来更新采样概率，被采样次数少或者平均损失值大的样本的采样概率更大。该方案中，由于原始三维医学图像的尺寸通常较大，因此从训练集中可以挖掘的3Dpatch样本非常多，在训练过程中为每个样本维护并更新一个采样概率，对内存与计算资源要求很高，同样不太适用于医学图像分割领域。
发明内容
本申请提供了一种困难样本挖掘方法、***、终端以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种困难样本挖掘方法，包括：
收集包括K种标签类型的医学图像数据；
根据所述医学图像数据的标签构建点云形状模型，并选取一个包含K种标签类型的点云形状模型作为模板形状；
从所述医学图像数据中随机剪裁设定数量的训练样本，将所述训练样本输入分割模型进行训练，并在一个批次训练结束后，根据当前批次的训练样本的训练损失值更新所述模板形状的奖励期望值；
当所述分割模型的训练批次达到设定次数后，根据所述模板形状上的奖励期望值分布从所述医学图像数据中挖掘困难样本，根据所述困难样本对分割模型进行训练。
本申请实施例采取的技术方案还包括：所述根据所述医学图像数据的标签构建点云形状模型包括：
针对所述医学图像数据中的每一个标签Li(i∈[1,N])，N为所述医学图像数据的数量，通过移动立方体算法对每种标签对应的器官进行网格化，得到每种器官的表面网格；
通过抽取算法对所有表面网格进行降采样，将相邻且法向量相似的网格近似合并为一个网格；
提取合并后的表面网格的顶点，根据所述顶点组成多器官点云形状模型。
本申请实施例采取的技术方案还包括：所述选取一个包含K种标签类型的点云形状模型作为模板形状包括：
设基于标签Li所得到的点云形状模型为Si，其中第k个器官的形状模型为
在Si∈[1,N]中任意选取一个包含K种标签类型的形状模型作为模板形状Sm。
本申请实施例采取的技术方案还包括：所述根据所述医学图像数据的标签构建点云形状模型，并选取一个包含K种标签类型的点云形状模型作为模板形状还包括：
对于所述点云形状模型Si中的每个点，分别维护坐标
和法向量；
对于所述模板形状Sm中的每个点，分别维护点的索引、点的器官类别、邻接点、被采样频次c、奖励平均值
和奖励值期望v。
本申请实施例采取的技术方案还包括：所述根据所述医学图像数据的标签构建点云形状模型，并选取一个包含K种标签类型的点云形状模型作为模板形状还包括：
基于弹性点云配准算法计算模板形状与各个点云形状模型中所有器官的点云对应关系；
所述点云对应关系计算方式包括：
将所述模板形状Sm中的第k个器官的点云
与第i个点云形状模型Si中的第k个器官的点云
进行配准，得到两个点云之间的映射矩阵
分别将每个点云形状模型中每个器官的点云与模板形状中相应器官的点云进行配准，在进行(N-1)×K次配准后，得到所述模板形状与点云形状模型中所有器官的点云映射矩阵。
本申请实施例采取的技术方案还包括：所述从所述医学图像数据中随机剪裁设定数量的训练样本，将所述训练样本输入分割模型进行训练具体为：
从第i个医学图像数据中裁剪出训练样本，并根据训练样本的剪裁坐标范围从所述点云形状模型Si的点云中检索出所述训练样本包含的点集
对于点集中的每个点
获取距离其半径r以内的训练样本体素，并计算所有体素的训练损失值均值，得到点
在本轮训练中获得的奖励值
根据所述模板形状Sm与点云形状模型Si之间的映射矩阵
得到点集
在Sm中的对应点集
利用本轮训练中获得的奖励值
更新点
中维护的被采样频次ci、奖励平均值
以及奖励值期望vi：
ci←ci+1
上式中，以加权平均的方式更新奖励平均值
β为权重，通过上限置信区间算法计算奖励值期望vi。
本申请实施例采取的技术方案还包括：所述根据所述模板形状上的奖励期望值分布从所述医学图像数据中挖掘困难样本包括：
对于模板形状Sm中的每个点qi，计算该点与其邻接点的平均奖励值期望，得到以qi为中心的局部解剖结构的平均奖励期望值
并在Sm中前2×B大的
中随机选择一个点qopt，获取由点qopt与其邻接点构成的点集{q1,q2,…,qn}；其中B为预设的batch size；
从所述医学图像数据中任意选取一个图像Ii，并获取图像Ii的点云形状模型Si，通过映射矩阵
得到点集{q1,q2,…,qn}在Si中的对应点集{p1,p2,…,pn}；
根据点集{q1,q2,…,qn}的奖励期望值vi与{p1,p2,…,pn}的坐标
计算点集{p1,p2,…,pn}在Si中的几何中心
计算{p1,p2,…,pn}中每个点的法向量δi的平均值，得到平均法向量
并将几何中心
沿着或逆着平均法向量
的方向进行平移得到
以
为中心在所述图像Ii中采集困难样本。
本申请实施例采取的另一技术方案为：一种困难样本挖掘***，包括：
数据收集模块：用于收集包括K种标签类型的医学图像数据；
模型构建模块：用于根据所述医学图像数据的标签构建点云形状模型，并选取一个包含K种标签类型的点云形状模型作为模板形状；
第一模型训练模块：用于从所述医学图像数据中随机剪裁设定数量的训练样本，将所述训练样本输入分割模型进行训练，并在一个批次训练结束后，根据当前批次的训练样本的训练损失值更新所述模板形状的奖励期望值；
样本挖掘模块：用于在所述分割模型的训练批次达到设定次数后，根据所述模板形状上的奖励期望值分布从所述医学图像数据中挖掘困难样本；
第二模型训练模块：用于根据所述困难样本对分割模型进行训练。
本申请实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现所述困难样本挖掘方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制困难样本挖掘。
本申请实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述困难样本挖掘方法。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的困难样本挖掘方法、***、终端以及存储介质通过将模板形状与训练集图像中所有点云形状模型之间的点云进行配准，构建训练集图像之间关于解剖结构的关联，使得在模型训练中只需要维护与更新模板形状中的属性，大大减少了内存与计算资源的消耗。通过将训练样本的困难程度抽象为可被估计的奖励值，在模型训练时，利用UCB算法基于被采样次数和历史损失值迭代更新模板形状的奖励值期望，并根据模板形状中的奖励值分布来挖掘训练集图像中的困难样本，从而更加科学的评估样本的困难程度，并更充分地挖掘出对分割模型而言更具代表性(分割存在困难)的困难样本，有效缓解模型训练中的类别不平衡问题，提高模型精度并加快模型拟合。
附图说明
图1是本申请实施例的困难样本挖掘方法的流程图；
图2为本申请实施例的模板形状维护示意图；其中(a)为点云形状模型维护示意图，(b)为模板形状维护示意图；
图3为不同采样策略下的训练损失函数曲线图；
图4为分割模型在不同采样策略下对测试集数据实现的分割效果示意图，其中(a)、(b)、(c)、(d)分别展示了右肾上腺、食道和胃的边界、胰腺以及门静脉和脾静脉四个的解剖结构；
图5为本申请实施例的困难样本挖掘***结构示意图；
图6为本申请实施例的终端结构示意图；
图7为本申请实施例的存储介质的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
请参阅图1，是本申请实施例的困难样本挖掘方法的流程图。本申请实施例的困难样本挖掘方法包括以下步骤：
S10：收集带有多种器官标签的医学图像数据，并将医学图像数据随机划分为训练集、验证集与测试集；
本步骤中，医学图像数据为腹部CT数据，具体也可以是其他部位的医学图像数据。
S20：根据训练集图像中的每个标签分别构建包括多种器官类型的点云形状模型，并任意选取一个包含所有器官类型的点云形状模型作为模板形状；
本步骤中，假设训练集图像的数量为N例，器官标签的种类包括K种，点云形状模型的构建过程具体包括：
S21：针对训练集中的每一个标签Li(i∈[1,N])，通过MC(Marching Cubes，移动立方体)算法对每种器官的表面进行网格化，然后通过decimation(抽取)算法对表面网格进行降采样，将相邻且法向量相似的多个网格用一个网格近似合并，以减少表面网格的数目；
S22：分别提取每种器官降采样后的表面网格的顶点，根据表面网格的顶点组成多器官点云形状模型，并从多器官点云形状模型中任意选取一个包含全部器官的形状模型作为模板形状；具体为：设基于标签Li所得到的多器官点云形状模型为Si，其中第k个器官的形状模型为
在Si∈[1,N]中任意选取一个包含全部K种器官类型的形状模型作为模板形状Sm；
S23：对每个点云形状模型Si中的每个点，分别维护坐标
和法向量等；对于模板形状Sm中的每个点，分别维护点的索引、点的器官类别、邻接点、被采样频次c、奖励平均值
奖励值期望v等属性；
如图2所示，为本申请实施例的模板形状维护示意图。其中(a)为点云形状模型维护示意图，点的法向量通过平均所有邻接网格的法向量得到；(b)为模板形状维护示意图。
S30：基于弹性点云配准算法计算模板形状与各个点云形状模型中所有器官的点云对应关系；
本步骤中，点云对应关系计算方式具体包括以下步骤：
S31：基于弹性点云配准算法，将模板形状Sm中的第k个器官的点云
与第i个点云形状模型Si中的第k个器官的点云
进行配准，得到两个点云之间的映射矩阵
S32：将每个点云形状模型的每个器官的点云分别与模板形状中相应器官的点云进行上述配准(模板形状与自身不需要配准)，在进行(N-1)×K次配准后，得到模板形状与点云形状模型中所有器官的点云映射矩阵。
S40：从训练集图像中随机剪裁一定数量的训练样本，将训练样本输入分割模型进行训练，并在一个批次训练结束后，根据当前批次的训练样本的训练损失值更新模板形状的奖励期望值；
本步骤中，根据训练样本进行模型训练的训练过程具体为：
S41：从第i个训练集图像中裁剪出训练样本，并根据训练样本的剪裁坐标范围从点云形状模型Si的点云中检索出该训练样本包含的点集
S42：对于点集中的每个点
获取距离其半径r以内的训练样本体素，并计算所有体素的训练损失值均值，得到点
在本轮训练中获得的奖励值
其中，半径r的参数值可根据实际情况进行预设，本申请实施例中优选设置为5；
S43：根据模板形状Sm与点云形状模型Si之间的映射矩阵
得到点集
在Sm中的对应点集
S44：利用本轮训练中获得的奖励值
更新点
中维护的被采样频次ci、奖励平均值
以及奖励值期望vi：
ci←ci+1 (2)
其中，公式(1)以加权平均的方式来更新奖励平均值
权重β可根据实际应用进行预设。公式(3)通过UCB(upper confidence bound，上限置信区间算法)算法计算奖励值期望vi。
S50：判断模型训练批次是否大于设定参数T，如果是，执行S60；否则，重新执行S40；
S60：根据模板形状上的奖励期望值分布从训练集图像中挖掘困难样本，将困难样本输入分割模型进行训练，并在一个批次训练结束后，根据当前批次的困难样本的训练损失值更新模板形状中的奖励期望值；
本步骤中，根据困难样本进行模型训练的训练过程具体为：
S61：对于模板形状Sm中的每个点qi，计算该点与其邻接点的平均奖励值期望，得到以qi为中心的局部解剖结构的平均奖励期望值
并在Sm中前2×B(B为预设的batch size)大的
中随机选择一个点qopt，获取由点qopt与其邻接点构成的点集{q1,q2,…,qn}；
S62：从训练集图像中任意选取一个图像Ii，并获取图像Ii的点云形状模型Si，通过预先计算的映射矩阵
得到点集{q1,q2,…,qn}在Si中的对应点集{p1,p2,…,pn}；
S63：根据点集{q1,q2,…,qn}的奖励期望值vi与{p1,p2,…,pn}的坐标
计算点集{p1,p2,…,pn}在Si中的几何中心
S64：计算{p1,p2,…,pn}中每个点的法向量δi的平均值，得到平均法向量
并将几何中心
沿着或逆着平均法向量
的方向进行平移得到
以
为中心在图像Ii中采集困难样本；其中，平移距离可根据实际应用进行随机设定，平移距离的设定条件为：在平移之后，以
为中心在图像Ii中采集的困难样本的坐标范围需包含{p1,p2,…,pn}。
S70：判断模型训练是否满足终止条件，如果是，执行S80；否则，重新执行S60；
本步骤中，模型训练的终止条件为：损失函数值不再下降或者训练批次达到预定数目。
S80：导出训练好的分割模型，并通过验证集与测试集对分割模型进行验证和评估。
为了验证本申请实施例的困难样本挖掘方法的可行性和有效性，通过实验将本申请实施例的困难样本挖掘方法与随机采样策略(Heuristic)、OHEM(Online Hard ExamplesMining)采样策略以及RUCB(Relaxed Upper Confidence Bound)采样策略进行了对比。具体如图3所示，为不同采样策略下的训练损失函数曲线图。从图3中可以看出，本申请实施例所提出的采样策略能够使模型以最少的训练批数获得最低的损失函数值，即能够使模型以更快的速度朝着更好的全局解进行拟合。图4为分割模型在不同采样策略下对测试集数据实现的分割效果示意图，其中(a)、(b)、(c)、(d)分别展示了右肾上腺、食道和胃的边界、胰腺以及门静脉和脾静脉四个的解剖结构。通过将不同采样策略实现的分割结果与标签列(GT)进行对比可以看出，其他三种采样策略对于小器官、对比度低的器官边界以及灰度与结构类似的不同器官都存在一定的漏分割与误分割情况，而采用本申请实施例所提出的采样策略的分割结果与标签最为接近，可以最为完整精确地分割出解剖结构。
基于上述，本申请实施例的困难样本挖掘方法通过将模板形状与训练集图像中所有点云形状模型之间的点云进行配准，构建训练集图像之间关于解剖结构的关联，使得在模型训练中只需要维护与更新模板形状中的属性，大大减少了内存与计算资源的消耗。通过将训练样本的困难程度抽象为可被估计的奖励值，在模型训练时，利用UCB算法基于被采样次数和历史损失值迭代更新模板形状的奖励值期望，并根据模板形状中的奖励值分布来挖掘训练集图像中的困难样本，从而更加科学的评估样本的困难程度，并更充分地挖掘出对分割模型而言更具代表性(分割存在困难)的困难样本，有效缓解模型训练中的类别不平衡问题，提高模型精度并加快模型拟合。
请参阅图5，为本申请实施例的困难样本挖掘***结构示意图。本申请实施例的困难样本挖掘***40包括：
数据收集模块41：用于收集包括K种标签类型的医学图像数据；
模型构建模块42：用于根据医学图像数据的标签构建点云形状模型，并选取一个包含K种标签类型的点云形状模型作为模板形状；
第一模型训练模块43：用于从医学图像数据中随机剪裁设定数量的训练样本，将训练样本输入分割模型进行训练，并在一个批次训练结束后，根据当前批次的训练样本的训练损失值更新模板形状的奖励期望值；
样本挖掘模块44：用于在分割模型的训练批次达到设定次数后，根据模板形状上的奖励期望值分布从医学图像数据中挖掘困难样本；
第二模型训练模块45：用于根据困难样本对分割模型进行训练。
请参阅图6，为本申请实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述困难样本挖掘方法的程序指令。
处理器51用于执行存储器52存储的程序指令以控制困难样本挖掘。
其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图7，为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种困难样本挖掘方法，其特征在于，包括：
收集包括K种标签类型的医学图像数据；
根据所述医学图像数据的标签构建点云形状模型，并选取一个包含K种标签类型的点云形状模型作为模板形状；
从所述医学图像数据中随机剪裁设定数量的训练样本，将所述训练样本输入分割模型进行训练，并在一个批次训练结束后，根据当前批次的训练样本的训练损失值更新所述模板形状的奖励期望值；
当所述分割模型的训练批次达到设定次数后，根据所述模板形状上的奖励期望值分布从所述医学图像数据中挖掘困难样本，根据所述困难样本对分割模型进行训练。
2.根据权利要求1所述的困难样本挖掘方法，其特征在于，所述根据所述医学图像数据的标签构建点云形状模型包括：
针对所述医学图像数据中的每一个标签Li(i∈[1,N])，N为所述医学图像数据的数量，通过移动立方体算法对每种标签对应的器官进行网格化，得到每种器官的表面网格；
通过抽取算法对所有表面网格进行降采样，将相邻且法向量相似的网格近似合并为一个网格；
提取合并后的表面网格的顶点，根据所述顶点组成多器官点云形状模型。
3.根据权利要求2所述的困难样本挖掘方法，其特征在于，所述选取一个包含K种标签类型的点云形状模型作为模板形状包括：
设基于标签Li所得到的点云形状模型为Si，其中第k个器官的形状模型为
在Si∈[1,N]中任意选取一个包含K种标签类型的形状模型作为模板形状Sm。
4.根据权利要求3所述的困难样本挖掘方法，其特征在于，所述根据所述医学图像数据的标签构建点云形状模型，并选取一个包含K种标签类型的点云形状模型作为模板形状还包括：
对于所述点云形状模型Si中的每个点，分别维护坐标
和法向量；
对于所述模板形状Sm中的每个点，分别维护点的索引、点的器官类别、邻接点、被采样频次c、奖励平均值
和奖励值期望v。
5.根据权利要求4所述的困难样本挖掘方法，其特征在于，所述根据所述医学图像数据的标签构建点云形状模型，并选取一个包含K种标签类型的点云形状模型作为模板形状还包括：
基于弹性点云配准算法计算模板形状与各个点云形状模型中所有器官的点云对应关系；
所述点云对应关系计算方式包括：
将所述模板形状Sm中的第k个器官的点云
与第i个点云形状模型Si中的第k个器官的点云
进行配准，得到两个点云之间的映射矩阵
分别将每个点云形状模型中每个器官的点云与模板形状中相应器官的点云进行配准，在进行(N-1)×K次配准后，得到所述模板形状与点云形状模型中所有器官的点云映射矩阵。
6.根据权利要求5所述的困难样本挖掘方法，其特征在于，所述从所述医学图像数据中随机剪裁设定数量的训练样本，将所述训练样本输入分割模型进行训练具体为：
从第i个医学图像数据中裁剪出训练样本，并根据训练样本的剪裁坐标范围从所述点云形状模型Si的点云中检索出所述训练样本包含的点集
对于点集中的每个点
获取距离其半径r以内的训练样本体素，并计算所有体素的训练损失值均值，得到点
在本轮训练中获得的奖励值
根据所述模板形状Sm与点云形状模型Si之间的映射矩阵
得到点集
在Sm中的对应点集
利用本轮训练中获得的奖励值
更新点
中维护的被采样频次ci、奖励平均值
以及奖励值期望vi：
ci←ci+1
上式中，以加权平均的方式更新奖励平均值
β为权重，通过上限置信区间算法计算奖励值期望vi。
7.根据权利要求6所述的困难样本挖掘方法，其特征在于，所述根据所述模板形状上的奖励期望值分布从所述医学图像数据中挖掘困难样本包括：
对于模板形状Sm中的每个点qi，计算该点与其邻接点的平均奖励值期望，得到以qi为中心的局部解剖结构的平均奖励期望值
并在Sm中前2×B大的
中随机选择一个点qopt，获取由点qopt与其邻接点构成的点集{q1,q2,…,qn}；其中B为预设的batch size；
从所述医学图像数据中任意选取一个图像Ii，并获取图像Ii的点云形状模型Si，通过映射矩阵
得到点集{q1,q2,…,qn}在Si中的对应点集{p1,p2,…,pn}；
根据点集{q1,q2,…,qn}的奖励期望值vi与{p1,p2,…,pn}的坐标
计算点集{p1,p2,…,pn}在Si中的几何中心
计算{p1,p2,…,pn}中每个点的法向量δi的平均值，得到平均法向量
并将几何中心
沿着或逆着平均法向量
的方向进行平移得到
以
为中心在所述图像Ii中采集困难样本。
8.一种困难样本挖掘***，其特征在于，包括：
数据收集模块：用于收集包括K种标签类型的医学图像数据；
模型构建模块：用于根据所述医学图像数据的标签构建点云形状模型，并选取一个包含K种标签类型的点云形状模型作为模板形状；
第一模型训练模块：用于从所述医学图像数据中随机剪裁设定数量的训练样本，将所述训练样本输入分割模型进行训练，并在一个批次训练结束后，根据当前批次的训练样本的训练损失值更新所述模板形状的奖励期望值；
样本挖掘模块：用于在所述分割模型的训练批次达到设定次数后，根据所述模板形状上的奖励期望值分布从所述医学图像数据中挖掘困难样本；
第二模型训练模块：用于根据所述困难样本对分割模型进行训练。
9.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利要求1-7任一项所述的困难样本挖掘方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制困难样本挖掘。
10.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至7任一项所述困难样本挖掘方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111156861.5A CN113920079A (zh) | 2021-09-30 | 2021-09-30 | 一种困难样本挖掘方法、***、终端以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111156861.5A CN113920079A (zh) | 2021-09-30 | 2021-09-30 | 一种困难样本挖掘方法、***、终端以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113920079A true CN113920079A (zh) | 2022-01-11 |
Family
ID=79237544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111156861.5A Pending CN113920079A (zh) | 2021-09-30 | 2021-09-30 | 一种困难样本挖掘方法、***、终端以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113920079A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117612676A (zh) * | 2023-11-08 | 2024-02-27 | 中国人民解放军总医院第四医学中心 | 一种实现人体解剖特征参数批量化提取的方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018189428A (ja) * | 2017-04-28 | 2018-11-29 | 国立大学法人東北大学 | ３次元像生成方法、３次元像生成システムおよび３次元像生成装置 |
| CN109375235A (zh) * | 2018-11-30 | 2019-02-22 | 武汉理工大学 | 基于深度强化神经网络的内河船舶干舷检测方法 |
| CN110322445A (zh) * | 2019-06-12 | 2019-10-11 | 浙江大学 | 一种基于最大化预测和标签间相关性损失函数的语义分割方法 |
| CN111832582A (zh) * | 2019-04-15 | 2020-10-27 | 中国矿业大学(北京) | 一种利用点云密度与旋转信息对稀疏点云进行分类与分割的方法 |
| US20210042580A1 (en) * | 2018-10-10 | 2021-02-11 | Tencent Technology (Shenzhen) Company Limited | Model training method and apparatus for image recognition, network device, and storage medium |
| CN112800959A (zh) * | 2021-01-28 | 2021-05-14 | 华南理工大学 | 一种用于人脸识别中数据拟合估计的困难样本发掘方法 |
-
2021
- 2021-09-30 CN CN202111156861.5A patent/CN113920079A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018189428A (ja) * | 2017-04-28 | 2018-11-29 | 国立大学法人東北大学 | ３次元像生成方法、３次元像生成システムおよび３次元像生成装置 |
| US20210042580A1 (en) * | 2018-10-10 | 2021-02-11 | Tencent Technology (Shenzhen) Company Limited | Model training method and apparatus for image recognition, network device, and storage medium |
| CN109375235A (zh) * | 2018-11-30 | 2019-02-22 | 武汉理工大学 | 基于深度强化神经网络的内河船舶干舷检测方法 |
| CN111832582A (zh) * | 2019-04-15 | 2020-10-27 | 中国矿业大学(北京) | 一种利用点云密度与旋转信息对稀疏点云进行分类与分割的方法 |
| CN110322445A (zh) * | 2019-06-12 | 2019-10-11 | 浙江大学 | 一种基于最大化预测和标签间相关性损失函数的语义分割方法 |
| CN112800959A (zh) * | 2021-01-28 | 2021-05-14 | 华南理工大学 | 一种用于人脸识别中数据拟合估计的困难样本发掘方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117612676A (zh) * | 2023-11-08 | 2024-02-27 | 中国人民解放军总医院第四医学中心 | 一种实现人体解剖特征参数批量化提取的方法及装置 |
| CN117612676B (zh) * | 2023-11-08 | 2024-06-07 | 中国人民解放军总医院第四医学中心 | 一种实现人体解剖特征参数批量化提取的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110689038B (zh) | 神经网络模型的训练方法、装置和医学图像处理*** | |
| WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN107784647B (zh) | 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及*** | |
| CN113516659B (zh) | 一种基于深度学习的医学影像自动分割方法 | |
| US8135189B2 (en) | System and method for organ segmentation using surface patch classification in 2D and 3D images | |
| CN111105424A (zh) | ***自动勾画方法及装置 | |
| Chen et al. | MRI brain tissue classification using unsupervised optimized extenics-based methods | |
| CN111932552B (zh) | 一种主动脉建模的方法及装置 | |
| CN110136135B (zh) | 分割方法、装置、设备以及存储介质 | |
| WO2010042466A1 (en) | Apparatus and method for classifying point cloud data based on principal axes | |
| CN113781667A (zh) | 三维结构简化重建方法、装置、计算机设备和存储介质 | |
| WO2020168648A1 (zh) | 一种图像分割方法、装置及计算机可读存储介质 | |
| CN113177592B (zh) | 一种图像分割方法、装置、计算机设备及存储介质 | |
| CN112750137B (zh) | 基于深度学习的肝脏肿瘤分割方法及*** | |
| CN111784653A (zh) | 基于形状约束的多尺度网络mri胰腺轮廓定位方法 | |
| CN112017161A (zh) | 一种基于中心点回归的肺结节检测方法和检测装置 | |
| CN113223015A (zh) | 血管壁图像分割方法、装置、计算机设备和存储介质 | |
| US20220245802A1 (en) | Systems and methods for classifying biomedical image data using a graph neural network | |
| CN111986205B (zh) | 血管树生成及病变识别方法、装置、设备及可读存储介质 | |
| CN113920079A (zh) | 一种困难样本挖掘方法、***、终端以及存储介质 | |
| CN107492101B (zh) | 基于自适应构造最优图的多模态鼻咽肿瘤分割算法 | |
| CN112508844B (zh) | 一种基于弱监督的大脑磁共振图像分割方法 | |
| CN115375787A (zh) | 伪影校正方法、计算机设备及可读存储介质 | |
| CN103336781A (zh) | 一种医学图像聚类方法 | |
| CN111127408B (zh) | 基于GrowCut的鼻咽癌原发病灶临床靶区自动勾画方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |