CN110084278B - 一种训练集的拆分方法及装置 - Google Patents
一种训练集的拆分方法及装置 Download PDFInfo
- Publication number
- CN110084278B CN110084278B CN201910251219.1A CN201910251219A CN110084278B CN 110084278 B CN110084278 B CN 110084278B CN 201910251219 A CN201910251219 A CN 201910251219A CN 110084278 B CN110084278 B CN 110084278B
- Authority
- CN
- China
- Prior art keywords
- picture
- training set
- target picture
- target
- splitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种训练集的拆分方法及装置,所述方法包括:获取用于训练预设模型的训练集;所述训练集包括基于局部结构特征的第一目标图片训练集;所述第一目标图片训练集是基于局部带有形状变化和/或色调变化的第一目标图片来确定的训练集;所述第一目标图片为拍摄物外表面不包含异常特征的图片;所述异常特征包括凸起特征和/或指定颜色特征;识别所述第一目标图片训练集中的图片特征,若判断获知所述图片特征所属的类别为第一类别,则选取对应的三级对照集对与所述第一类别对应的图片进行对照;根据对照结果拆分所述第一目标图片训练集。所述装置执行上述方法。本发明实施例提供的训练集的拆分方法及装置,能够提高训练集拆分的合理性。
Description
技术领域
本发明实施例涉及图片处理技术领域,尤其涉及一种训练集的拆分方法及装置。
背景技术
胶囊内镜具有无痛、无伤、拍摄图像信息量大等优点,具备广泛的应用价值。
现有技术采用人工方式识别通过胶囊内镜拍摄的原始图片、并对原始图片进行分类,为了更加准确、高效地识别原始图片,需要构建模型,但是模型在使用之前通常需要进行训练,训练过程中的训练集需要进行拆分,以便模型能够更加准确地进行图片识别,但是,对于训练集的拆分,目前尚没有有效的方法。
因此,如何避免上述缺陷,提高训练集拆分的合理性,成为亟须解决的问题。
发明内容
针对现有技术存在的问题,本发明实施例提供一种训练集的拆分方法及装置。
本发明实施例提供一种训练集的拆分方法,包括:
获取用于训练预设模型的训练集;所述训练集包括基于局部结构特征的第一目标图片训练集;所述第一目标图片训练集是基于局部带有形状变化和/或色调变化的第一目标图片来确定的训练集;所述第一目标图片为拍摄物外表面不包含异常特征的图片;所述异常特征包括凸起特征和/或指定颜色特征;
识别所述第一目标图片训练集中的图片特征,若判断获知所述图片特征所属的类别为第一类别,则选取对应的三级对照集对与所述第一类别对应的图片进行对照;
根据对照结果拆分所述第一目标图片训练集。
本发明实施例提供一种训练集的拆分装置,包括:
获取单元,用于获取用于训练预设模型的训练集;所述训练集包括基于局部结构特征的第一目标图片训练集;所述第一目标图片训练集是基于局部带有形状变化和/或色调变化的第一目标图片来确定的训练集;所述第一目标图片为拍摄物外表面不包含异常特征的图片;所述异常特征包括凸起特征和/或指定颜色特征;
选取单元,用于识别所述第一目标图片训练集中的图片特征,若判断获知所述图片特征所属的类别为第一类别,则选取对应的三级对照集对与所述第一类别对应的图片进行对照;
拆分单元,用于根据对照结果拆分所述第一目标图片训练集。
本发明实施例提供一种电子设备,包括:处理器、存储器和总线,其中,
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如下方法:
获取用于训练预设模型的训练集;所述训练集包括基于局部结构特征的第一目标图片训练集;所述第一目标图片训练集是基于局部带有形状变化和/或色调变化的第一目标图片来确定的训练集;所述第一目标图片为拍摄物外表面不包含异常特征的图片;所述异常特征包括凸起特征和/或指定颜色特征;
识别所述第一目标图片训练集中的图片特征,若判断获知所述图片特征所属的类别为第一类别,则选取对应的三级对照集对与所述第一类别对应的图片进行对照;
根据对照结果拆分所述第一目标图片训练集。
本发明实施例提供一种非暂态计算机可读存储介质,包括:
所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如下方法:
获取用于训练预设模型的训练集;所述训练集包括基于局部结构特征的第一目标图片训练集;所述第一目标图片训练集是基于局部带有形状变化和/或色调变化的第一目标图片来确定的训练集;所述第一目标图片为拍摄物外表面不包含异常特征的图片;所述异常特征包括凸起特征和/或指定颜色特征;
识别所述第一目标图片训练集中的图片特征,若判断获知所述图片特征所属的类别为第一类别,则选取对应的三级对照集对与所述第一类别对应的图片进行对照;
根据对照结果拆分所述第一目标图片训练集。
本发明实施例提供的训练集的拆分方法及装置,如果判断获知基于局部结构特征的第一目标图片训练集中的图片特征所属的类别为第一类别,则选取三级对照集对与第一类别对应的图片进行对照,并根据该对照结果拆分第一目标图片训练集,能够提高训练集拆分的合理性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明训练集的拆分方法实施例流程图;
图2为本发明训练集的拆分装置实施例结构示意图;
图3为本发明实施例提供的电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明训练集的拆分方法实施例流程图,如图1所示,本发明实施例提供的一种训练集的拆分方法,包括以下步骤:
S101:获取用于训练预设模型的训练集;所述训练集包括基于局部结构特征的第一目标图片训练集;所述第一目标图片训练集是基于局部带有形状变化和/或色调变化的第一目标图片来确定的训练集;所述第一目标图片为拍摄物外表面不包含异常特征的图片;所述异常特征包括凸起特征和/或指定颜色特征。
具体的,装置获取用于训练预设模型的训练集;所述训练集包括基于局部结构特征的第一目标图片训练集;所述第一目标图片训练集是基于局部带有形状变化和/或色调变化的第一目标图片来确定的训练集;所述第一目标图片为拍摄物外表面不包含异常特征的图片;所述异常特征包括凸起特征和/或指定颜色特征。需要说明的是:该原始图片是通过胶囊内镜拍摄的,对胶囊内镜的工作过程作如下说明:
·胶囊内镜从口腔进入消化道,再从***自然排出体外。
·胶囊内镜的电池续航力有限,其有效工作区间为口腔、食道、胃、十二指肠、小肠和大肠一部分。
·胶囊内镜的每次活动都产生域内检查图片和域外检查图片。
·域内检查图片是对消化道某一段所进行的拍摄结果。
·域外检查图片是除了域内检查图片以外,胶囊内镜顺便拍到的图片。
·全部图片均可自动识别,无需任何人工介入(包括图像预处理)。
·识别图像后,将胶囊内镜拍摄的图片分为六个大类(125个小类),自动保存于125个图片文件夹中,其中,六个大类可以为:
第一大类:一类域外分类标签(10个类别)。
第二大类:二类域外分类标签(13个类别)。
第三大类:基于局部结构特征的第一目标图片分类标签(14个类别)。
第四大类:洞状结构第一目标图片分类标签(8个类别)。
第五大类:基于全局结构特征的第一目标图片分类标签(24个类别)。
第六大类:第二目标图片分类标签(56个类别)。
·能够自动识别口腔、食道、胃、十二指肠、小肠和大肠等消化道的不同部位。
每粒胶囊内镜每次可以拍摄的原始图片的数量可以为2000~3000张,即胶囊内镜获取到的图片集中的图片数量。
可以从医院信息***中导出、未经任何处理的胶囊内镜拍摄的原始图片(JPG格式)。本发明实施例中的第一目标图片训练集对应于上述基于局部结构特征的第一目标图片分类标签,具体说明如下:上述基于局部结构特征的第一目标图片分类标签可以包括边缘缺陷图片、鱼尾结构图片、裂隙结构图片、交错结构图片等,每个子类(例如其中一类为边缘缺陷图片)都包含有一定数量的、可作为训练样本的样本图片,基于局部结构特征的第一目标图片训练集可以理解为包含有所有子类对应的所有样本图片的训练集;凸起特征可以包括肿胀、颗粒状物凸起。指定颜色特征可以包括红色、白色,不作具体限定。需要说明的是:该异常特征可以作为某些疾病诊断过程中的中间参考特征,仅仅依赖该异常特征还不足以诊断出疾病。第一目标图片集中的图片可以理解为评价待检测目标部位的标准图片、待检测目标部位可以为胃部。需要说明的是:局部带有形状变化的第一目标图片可以具体包括边缘缺陷图片、鱼尾结构图片、裂隙结构图片、交错结构图片;其中,所述边缘缺陷图片的边缘部分有残缺的洞状或半放射状结构;所述鱼尾结构图片的边缘部分有褶皱结构;所述裂隙结构图片包含有两条以内贯穿全图的纹理;所述交错结构图片包含相互交汇在一起的多条曲线;局部带有形状变化的第一目标图片可以具体包括满月状结构图片、阴影结构图片、其中,所述满月状结构图片为局部带有色调变化的均质整图;所述均质整图中的拍摄物外表面平坦光滑、没有纹理、颜色均一;所述阴影结构图片为明暗渐变、且明亮区域与阴暗区域的面积各占一半。局部带有形状变化和色调变化的第一目标图片可以具体包括线状结构图片、切割结构图片、线形结构图片和不相交结构图片,其中,所述线状结构图片包含有两条以内的、没有贯穿全图的棱状结构、且还包含有部分阴暗区域;所述切割结构图片包含有至少一条贯穿全图的棱状结构、且还包含有部分阴暗区域;所述线形结构图片包含有两条以内贯穿全图的粗壮棱状结构、且还包含有部分阴暗区域;粗壮棱状结构可以理解为棱状的通径大于预设通径数值;所述不相交结构图片包含多组不相交的粗壮棱状结构、且还包含有部分阴暗区域。本发明实施例着重对与上述第三大类对应的基于局部结构特征的第一目标图片训练集进行说明。
S102:识别所述第一目标图片训练集中的图片特征,若判断获知所述图片特征所属的类别为第一类别,则选取对应的三级对照集对与所述第一类别对应的图片进行对照。
具体的,装置识别所述第一目标图片训练集中的图片特征,若判断获知所述图片特征所属的类别为第一类别,则选取对应的三级对照集对与所述第一类别对应的图片进行对照。第一类别可以理解为待识别图片的图片特征与包含异常特征的图片特征不易区分,需要选取对应的三级对照集中的对照图片进行进一步对照,可以包括局部带有形状变化的第一目标图片(即特指与包含异常特征的图片特征不易区分的、局部带有形状变化的第一目标图片),选取包含有与形状变化相关的异常特征的图片作为对照图片,并对局部带有形状变化的第一目标图片进行对照;形状变化相关的异常特征可以包括息肉等,若判断获知对照结果为一致,则拆分局部带有形状变化的第一目标图片至包含有与形状变化相关的异常特征的图片中;若判断获知对照结果为不一致,则拆分局部带有形状变化的第一目标图片至所述第一目标图片训练集中;即如果对照结果一致,则说明待识别图片(局部带有形状变化的第一目标图片)的图片特征为异常特征,因此,将这部分图片导入与形状变化相关的异常特征的图片作为对照图片中;如果对照结果不一致,则说明待识别图片的图片特征不为异常特征,因此,将这部分图片保留在第一目标图片训练集中。
进一步地,所述第一类别还包括局部带有色调变化的第一目标图片(即特指与包含异常特征的图片特征不易区分的、局部带有色调变化的第一目标图片);相应的,所述方法还包括:选取包含有与色调变化相关的异常特征的图片作为对照图片,并对局部带有色调变化的第一目标图片进行对照;与色调变化相关的异常特征可以包括拍摄物外表面呈现红色、白色等;若判断获知对照结果为一致,则拆分局部带有色调变化的第一目标图片至包含有与色调变化相关的异常特征的图片中;若判断获知对照结果为不一致,则拆分局部带有色调变化的第一目标图片至所述第一目标图片训练集中。即如果对照结果一致,则说明待识别图片(局部带有色调变化的第一目标图片)的图片特征为异常特征,因此,将这部分图片导入包含有与色调变化相关的异常特征的图片中;如果对照结果不一致,则说明待识别图片的图片特征不为异常特征,因此,将这部分图片保留在第一目标图片训练集中。
进一步地,所述第一类别还包括局部带有形状变化和色调变化的第一目标图片(即特指与包含异常特征的图片特征不易区分的、局部带有形状变化和色调变化的第一目标图片);相应的,所述方法还包括:选取整图图片作为对照图片,并对局部带有形状变化和色调变化的第一目标图片进行对照;所述整图图片为包含有与形状变化和色调变化都相关的异常特征的图片;参照上述举例,包含有与形状变化和色调变化都相关的异常特征可以理解为即包含上述息肉、又包含拍摄物外表面呈现红色、白色等;若判断获知对照结果为一致,则拆分局部带有形状变化和色调变化的第一目标图片至所述整图图片中;若判断获知对照结果为不一致,则拆分局部带有形状变化和色调变化的第一目标图片至所述第一目标图片训练集中。即如果对照结果一致,则说明待识别图片(局部带有形状变化和色调变化的第一目标图片)的图片特征为异常特征,因此,将这部分图片导入整图图片中;如果对照结果不一致,则说明待识别图片的图片特征不为异常特征,因此,将这部分图片保留在第一目标图片训练集中。
需要说明的是:三级对照集中包括上述包含有与形状变化相关的异常特征的图片、包含有与色调变化相关的异常特征的图片、整图图片等,选取对应的三级对照集对与所述第一类别对应的图片进行对照,可以理解为:若第一类别为局部带有形状变化的第一目标图片,则与局部带有形状变化的第一目标图片相对应的图片为包含有与形状变化相关的异常特征的图片;若第一类别为局部带有色调变化的第一目标图片,则与局部带有色调变化的第一目标图片相对应的图片为包含有与色调变化相关的异常特征的图片;若第一类别为局部带有形状变化和色调变化的第一目标图片,则与局部带有形状变化和色调变化的第一目标图片相对应的图片为整图图片。
S103:根据对照结果拆分所述第一目标图片训练集。
具体的,装置根据对照结果拆分所述第一目标图片训练集。可参照上述说明,不再赘述。
本发明实施例提供的训练集的拆分方法,如果判断获知基于局部结构特征的第一目标图片训练集中的图片特征所属的类别为第一类别,则选取三级对照集对与第一类别对应的图片进行对照,并根据该对照结果拆分第一目标图片训练集,能够提高训练集拆分的合理性。
在上述实施例的基础上,所述第一类别包括局部带有形状变化的第一目标图片;相应的,所述方法包括:
选取包含有与形状变化相关的异常特征的图片作为对照图片,并对局部带有形状变化的第一目标图片进行对照;其中,所述异常特征包括凸起特征和/或指定颜色特征。
具体的,装置选取包含有与形状变化相关的异常特征的图片作为对照图片,并对局部带有形状变化的第一目标图片进行对照;其中,所述异常特征包括凸起特征和/或指定颜色特征。可参照上述实施例,不再赘述。
若判断获知对照结果为一致,则拆分局部带有形状变化的第一目标图片至包含有与形状变化相关的异常特征的图片中。
具体的,装置若判断获知对照结果为一致,则拆分局部带有形状变化的第一目标图片至包含有与形状变化相关的异常特征的图片中。可参照上述实施例,不再赘述。
若判断获知对照结果为不一致,则拆分局部带有形状变化的第一目标图片至所述第一目标图片训练集中。
具体的,装置若判断获知对照结果为不一致,则拆分局部带有形状变化的第一目标图片至所述第一目标图片训练集中。可参照上述实施例,不再赘述。
本发明实施例提供的训练集的拆分方法,通过将包含有与形状变化相关的异常特征的图片与局部带有形状变化的第一目标图片进行对照,进一步能够提高训练集拆分的合理性。
在上述实施例的基础上,所述第一类别还包括局部带有色调变化的第一目标图片;相应的,所述方法还包括:
选取包含有与色调变化相关的异常特征的图片作为对照图片,并对局部带有色调变化的第一目标图片进行对照。
具体的,装置选取包含有与色调变化相关的异常特征的图片作为对照图片,并对局部带有色调变化的第一目标图片进行对照。可参照上述实施例,不再赘述。
若判断获知对照结果为一致,则拆分局部带有色调变化的第一目标图片至包含有与色调变化相关的异常特征的图片中。
具体的,装置若判断获知对照结果为一致,则拆分局部带有色调变化的第一目标图片至包含有与色调变化相关的异常特征的图片中。可参照上述实施例,不再赘述。
若判断获知对照结果为不一致,则拆分局部带有色调变化的第一目标图片至所述第一目标图片训练集中。
具体的,装置若判断获知对照结果为不一致,则拆分局部带有色调变化的第一目标图片至所述第一目标图片训练集中。可参照上述实施例,不再赘述。
本发明实施例提供的训练集的拆分方法,通过将包含有与色调变化相关的异常特征的图片与局部带有色调变化的第一目标图片进行对照,进一步能够提高训练集拆分的合理性。
在上述实施例的基础上,所述第一类别还包括局部带有形状变化和色调变化的第一目标图片;相应的,所述方法还包括:
选取整图图片作为对照图片,并对局部带有形状变化和色调变化的第一目标图片进行对照;所述整图图片为包含有与形状变化和色调变化都相关的异常特征的图片。
具体的,装置选取整图图片作为对照图片,并对局部带有形状变化和色调变化的第一目标图片进行对照;所述整图图片为包含有与形状变化和色调变化都相关的异常特征的图片。可参照上述实施例,不再赘述。
若判断获知对照结果为一致,则拆分局部带有形状变化和色调变化的第一目标图片至所述整图图片中。
具体的,装置若判断获知对照结果为一致,则拆分局部带有形状变化和色调变化的第一目标图片至所述整图图片中。可参照上述实施例,不再赘述。
若判断获知对照结果为不一致,则拆分局部带有形状变化和色调变化的第一目标图片至所述第一目标图片训练集中。
具体的,装置若判断获知对照结果为不一致,则拆分局部带有形状变化和色调变化的第一目标图片至所述第一目标图片训练集中。可参照上述实施例,不再赘述。
本发明实施例提供的训练集的拆分方法,通过将整图图片与局部带有形状变化和色调变化的第一目标图片进行对照,进一步能够提高训练集拆分的合理性。
在上述实施例的基础上,所述根据对照结果拆分所述第一目标图片训练集的步骤之后,所述方法还包括:
选取异常特征总集作为对照图片总集,并对所述第一目标图片训练集中的所有图片进行再次对照。
具体的,装置选取异常特征总集作为对照图片总集,并对所述第一目标图片训练集中的所有图片进行再次对照。异常特征总集可以理解为包含有所有异常特征的总集合,再次对照的目的是:避免存在异常特征图片被吸引到第一目标图片训练集中。
本发明实施例提供的训练集的拆分方法,进一步能够提高训练集拆分的合理性。
在上述实施例的基础上,所述并对所述第一目标图片训练集中的所有图片进行再次对照的步骤之后,所述方法还包括:
选取与一类域外训练集相对应的一级对照集、与二类域外训练集相对应的二级对照集,并采用所述一级对照集和所述二级对照集对再次对照后的第一目标图片训练集进行重新对照;所述一类域外训练集是基于原始图片的拍摄缺陷、与待检测目标部位无关的拍摄部位确定的训练集、所述二类域外训练集是基于无医学判断价值的原始图片、附着有覆盖物的原始图片、包含有消化残渣物的原始图片确定的训练集。
具体的,装置选取与一类域外训练集相对应的一级对照集、与二类域外训练集相对应的二级对照集,并采用所述一级对照集和所述二级对照集对再次对照后的第一目标图片训练集进行重新对照;所述一类域外训练集是基于原始图片的拍摄缺陷、与待检测目标部位无关的拍摄部位确定的训练集、所述二类域外训练集是基于无医学判断价值的原始图片、附着有覆盖物的原始图片、包含有消化残渣物的原始图片确定的训练集。所述拍摄缺陷可以包括:
全曝光图片、全黑图片、半曝光图片、局部曝光图片、结构模糊图片和细节模糊图片;其中,所述全曝光图片、所述半曝光图片和所述局部曝光图片是根据图片曝光区域的面积进行区分的;所述结构模糊图片和所述细节模糊图片是根据图片模糊区域的面积进行区分的。
所述拍摄部位可以包括:
在所述胶囊内镜入口之前拍摄的图片、在食道中拍摄的图片、口腔图片、肠道图片。
所述无医学判断价值的原始图片包括:
均质整图、水线图片;所述均质整图中的拍摄物外表面平坦光滑、且没有纹理、颜色均一;所述水线图片中呈现有空气和水的交界线。
所述附着有覆盖物的原始图片包括:
全覆盖物图片、半覆盖物图片;所述全覆盖物图片和所述半覆盖物图片是根据覆盖物占据的区域面积的大小进行区分的。
所述附着有覆盖物的原始图片还包括:
气泡覆盖物图片、蛛网状覆盖物图片;所述气泡覆盖物图片中的拍摄物外表面被气泡覆盖、且存在反光现象;所述蛛网状覆盖物图片中的拍摄物外表面被蛛网状物覆盖。
一级对照集中包括:待识别图片的图片特征(即基于原始图片的拍摄缺陷、与待检测目标部位无关的拍摄部位)与包含异常特征的图片特征不易区分的对照图片,例如模糊度对照图片(即照片中有部分模糊,还有部分清晰,可以将部分清晰的内容作为对照的基准图片)等。
二级对照集中包括:待识别图片的图片特征(即基于无医学判断价值、附着有覆盖物、包含有消化残渣物)与包含异常特征的图片特征不易区分的对照图片,例如包含有异常特征的整图、包含有伴随覆盖物异常特征的图片、包含在水线背景中的异常特征的图片等;还包括:待识别图片的图片特征与不包含异常特征的图片特征不易区分的对照图片,例如对照图片为胃部图片,而某些肠道图片与胃部图片较为相似,不易区分。
需要说明的是:在一类域外训练集和二类域外训练集拆分过程中,会有一小部分遗漏出去的图片(即本应该保留在一类域外训练集中或二类域外训练集中,确需要在基于局部结构特征的第一目标图片训练集中进行拆分),这部分图片可以在第一目标图片训练集中,通过可选的一级对照集和二级对照集,把它们收集下来,这个一级对照集和二级对照集不宜过于庞大,数量过大会导致很多第一目标图片训练集的图片被引导过去。
将与目标训练集对照结果为一致的第一目标图片训练集中的图片拆分至对应的目标训练集中;所述目标训练集为所述一类域外训练集或所述二类域外训练集。
具体的,装置将与目标训练集对照结果为一致的第一目标图片训练集中的图片拆分至对应的目标训练集中;所述目标训练集为所述一类域外训练集或所述二类域外训练集。参照上述举例,即将上述一小部分遗漏出去的图片拆分至一类域外训练集中或二类域外训练集中。
将与目标训练集对照结果为不一致的第一目标图片训练集中的图片拆分至所述第一目标图片训练集中。
具体的,装置将与目标训练集对照结果为不一致的第一目标图片训练集中的图片拆分至所述第一目标图片训练集中。参照上述举例,即如果不是上述一小部分遗漏出去的图片,则保留在第一目标图片训练集中。
本发明实施例提供的训练集的拆分方法,进一步能够提高训练集拆分的合理性。
图2为本发明训练集的拆分装置实施例结构示意图,如图2所示,本发明实施例提供了一种训练集的拆分装置,包括获取单元201、选取单元202和拆分单元203,其中:
获取单元201用于获取用于训练预设模型的训练集;所述训练集包括基于局部结构特征的第一目标图片训练集;所述第一目标图片训练集是基于局部带有形状变化和/或色调变化的第一目标图片来确定的训练集;所述第一目标图片为拍摄物外表面不包含异常特征的图片;所述异常特征包括凸起特征和/或指定颜色特征;选取单元202用于识别所述第一目标图片训练集中的图片特征,若判断获知所述图片特征所属的类别为第一类别,则选取对应的三级对照集对与所述第一类别对应的图片进行对照;拆分单元203用于根据对照结果拆分所述第一目标图片训练集。
具体的,获取单元201用于获取用于训练预设模型的训练集;所述训练集包括基于局部结构特征的第一目标图片训练集;所述第一目标图片训练集是基于局部带有形状变化和/或色调变化的第一目标图片来确定的训练集;所述第一目标图片为拍摄物外表面不包含异常特征的图片;所述异常特征包括凸起特征和/或指定颜色特征;选取单元202用于识别所述第一目标图片训练集中的图片特征,若判断获知所述图片特征所属的类别为第一类别,则选取对应的三级对照集对与所述第一类别对应的图片进行对照;拆分单元203用于根据对照结果拆分所述第一目标图片训练集。
本发明实施例提供的训练集的拆分装置,如果判断获知基于局部结构特征的第一目标图片训练集中的图片特征所属的类别为第一类别,则选取三级对照集对与第一类别对应的图片进行对照,并根据该对照结果拆分第一目标图片训练集,能够提高训练集拆分的合理性。
本发明实施例提供的训练集的拆分装置具体可以用于执行上述各方法实施例的处理流程,其功能在此不再赘述,可以参照上述方法实施例的详细描述。
图3为本发明实施例提供的电子设备实体结构示意图,如图3所示,所述电子设备包括:处理器(processor)301、存储器(memory)302和总线303;
其中,所述处理器301、存储器302通过总线303完成相互间的通信;
所述处理器301用于调用所述存储器302中的程序指令,以执行上述各方法实施例所提供的方法,例如包括:获取用于训练预设模型的训练集;所述训练集包括基于局部结构特征的第一目标图片训练集;所述第一目标图片训练集是基于局部带有形状变化和/或色调变化的第一目标图片来确定的训练集;所述第一目标图片为拍摄物外表面不包含异常特征的图片;所述异常特征包括凸起特征和/或指定颜色特征;识别所述第一目标图片训练集中的图片特征,若判断获知所述图片特征所属的类别为第一类别,则选取对应的三级对照集对与所述第一类别对应的图片进行对照;根据对照结果拆分所述第一目标图片训练集。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:获取用于训练预设模型的训练集;所述训练集包括基于局部结构特征的第一目标图片训练集;所述第一目标图片训练集是基于局部带有形状变化和/或色调变化的第一目标图片来确定的训练集;所述第一目标图片为拍摄物外表面不包含异常特征的图片;所述异常特征包括凸起特征和/或指定颜色特征;识别所述第一目标图片训练集中的图片特征,若判断获知所述图片特征所属的类别为第一类别,则选取对应的三级对照集对与所述第一类别对应的图片进行对照;根据对照结果拆分所述第一目标图片训练集。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:获取用于训练预设模型的训练集;所述训练集包括基于局部结构特征的第一目标图片训练集;所述第一目标图片训练集是基于局部带有形状变化和/或色调变化的第一目标图片来确定的训练集;所述第一目标图片为拍摄物外表面不包含异常特征的图片;所述异常特征包括凸起特征和/或指定颜色特征;识别所述第一目标图片训练集中的图片特征,若判断获知所述图片特征所属的类别为第一类别,则选取对应的三级对照集对与所述第一类别对应的图片进行对照;根据对照结果拆分所述第一目标图片训练集。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种训练集的拆分方法,其特征在于,包括:
获取用于训练预设模型的训练集;所述训练集包括基于局部结构特征的第一目标图片训练集;所述第一目标图片训练集是基于局部带有形状变化和/或色调变化的第一目标图片来确定的训练集;所述第一目标图片为拍摄物外表面不包含异常特征的图片;所述异常特征包括凸起特征和/或指定颜色特征;
识别所述第一目标图片训练集中的图片特征,若判断获知所述图片特征所属的类别为第一类别,则选取对应的三级对照集对与所述第一类别对应的图片进行对照;
根据对照结果拆分所述第一目标图片训练集;
所述第一类别包括局部带有形状变化的第一目标图片;相应的,所述方法包括:
选取包含有与形状变化相关的异常特征的图片作为对照图片,并对局部带有形状变化的第一目标图片进行对照;
若判断获知对照结果为一致,则拆分局部带有形状变化的第一目标图片至包含有与形状变化相关的异常特征的图片中;
若判断获知对照结果为不一致,则拆分局部带有形状变化的第一目标图片至所述第一目标图片训练集中;
所述第一类别还包括局部带有色调变化的第一目标图片;相应的,所述方法还包括:
选取包含有与色调变化相关的异常特征的图片作为对照图片,并对局部带有色调变化的第一目标图片进行对照;
若判断获知对照结果为一致,则拆分局部带有色调变化的第一目标图片至包含有与色调变化相关的异常特征的图片中;
若判断获知对照结果为不一致,则拆分局部带有色调变化的第一目标图片至所述第一目标图片训练集中;
所述第一类别还包括局部带有形状变化和色调变化的第一目标图片;相应的,所述方法还包括:
选取整图图片作为对照图片,并对局部带有形状变化和色调变化的第一目标图片进行对照;所述整图图片为包含有与形状变化和色调变化都相关的异常特征的图片;
若判断获知对照结果为一致,则拆分局部带有形状变化和色调变化的第一目标图片至所述整图图片中;
若判断获知对照结果为不一致,则拆分局部带有形状变化和色调变化的第一目标图片至所述第一目标图片训练集中。
2.根据权利要求1所述的方法,其特征在于,所述根据对照结果拆分所述第一目标图片训练集的步骤之后,所述方法还包括:
选取异常特征总集作为对照图片总集,并对所述第一目标图片训练集中的所有图片进行再次对照。
3.根据权利要求2所述的方法,其特征在于,所述并对所述第一目标图片训练集中的所有图片进行再次对照的步骤之后,所述方法还包括:
选取与一类域外训练集相对应的一级对照集、与二类域外训练集相对应的二级对照集,并采用所述一级对照集和所述二级对照集对再次对照后的第一目标图片训练集进行重新对照;所述一类域外训练集是基于原始图片的拍摄缺陷、与待检测目标部位无关的拍摄部位确定的训练集、所述二类域外训练集是基于无医学判断价值的原始图片、附着有覆盖物的原始图片、包含有消化残渣物的原始图片确定的训练集;
将与目标训练集对照结果为一致的第一目标图片训练集中的图片拆分至对应的目标训练集中;所述目标训练集为所述一类域外训练集或所述二类域外训练集;
将与目标训练集对照结果为不一致的第一目标图片训练集中的图片拆分至所述第一目标图片训练集中。
4.一种训练集的拆分装置,其特征在于,包括:
获取单元,用于获取用于训练预设模型的训练集;所述训练集包括基于局部结构特征的第一目标图片训练集;所述第一目标图片训练集是基于局部带有形状变化和/或色调变化的第一目标图片来确定的训练集;所述第一目标图片为拍摄物外表面不包含异常特征的图片;所述异常特征包括凸起特征和/或指定颜色特征;
选取单元,用于识别所述第一目标图片训练集中的图片特征,若判断获知所述图片特征所属的类别为第一类别,则选取对应的三级对照集对与所述第一类别对应的图片进行对照;
拆分单元,用于根据对照结果拆分所述第一目标图片训练集;
所述第一类别包括局部带有形状变化的第一目标图片;相应的,所述装置包括:
选取包含有与形状变化相关的异常特征的图片作为对照图片,并对局部带有形状变化的第一目标图片进行对照;
若判断获知对照结果为一致,则拆分局部带有形状变化的第一目标图片至包含有与形状变化相关的异常特征的图片中;
若判断获知对照结果为不一致,则拆分局部带有形状变化的第一目标图片至所述第一目标图片训练集中;
所述第一类别还包括局部带有色调变化的第一目标图片;相应的,所述装置还包括:
选取包含有与色调变化相关的异常特征的图片作为对照图片,并对局部带有色调变化的第一目标图片进行对照;
若判断获知对照结果为一致,则拆分局部带有色调变化的第一目标图片至包含有与色调变化相关的异常特征的图片中;
若判断获知对照结果为不一致,则拆分局部带有色调变化的第一目标图片至所述第一目标图片训练集中;
所述第一类别还包括局部带有形状变化和色调变化的第一目标图片;相应的,所述装置还包括:
选取整图图片作为对照图片,并对局部带有形状变化和色调变化的第一目标图片进行对照;所述整图图片为包含有与形状变化和色调变化都相关的异常特征的图片;
若判断获知对照结果为一致,则拆分局部带有形状变化和色调变化的第一目标图片至所述整图图片中;
若判断获知对照结果为不一致,则拆分局部带有形状变化和色调变化的第一目标图片至所述第一目标图片训练集中。
5.一种电子设备,其特征在于,包括:处理器、存储器和总线,其中,
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至3任一所述的方法。
6.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至3任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910251219.1A CN110084278B (zh) | 2019-03-29 | 2019-03-29 | 一种训练集的拆分方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910251219.1A CN110084278B (zh) | 2019-03-29 | 2019-03-29 | 一种训练集的拆分方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110084278A CN110084278A (zh) | 2019-08-02 |
CN110084278B true CN110084278B (zh) | 2021-08-10 |
Family
ID=67413927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910251219.1A Active CN110084278B (zh) | 2019-03-29 | 2019-03-29 | 一种训练集的拆分方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110084278B (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7894648B2 (en) * | 2005-06-17 | 2011-02-22 | Mayo Foundation For Medical Education And Research | Colonoscopy video processing for quality metrics determination |
WO2011005865A2 (en) * | 2009-07-07 | 2011-01-13 | The Johns Hopkins University | A system and method for automated disease assessment in capsule endoscopy |
EP2657857A1 (en) * | 2012-04-27 | 2013-10-30 | ATG Advanced Swiss Technology Group AG | Method for binary classification of a query image |
CN105447844A (zh) * | 2014-08-15 | 2016-03-30 | 大连达硕信息技术有限公司 | 一种复杂多变量数据的特征选择新方法 |
US10810494B2 (en) * | 2016-08-08 | 2020-10-20 | EyeEm Mobile GmbH | Systems, methods, and computer program products for extending, augmenting and enhancing searching and sorting capabilities by learning and adding concepts on the fly |
CN107145840B (zh) * | 2017-04-18 | 2020-04-21 | 重庆金山医疗器械有限公司 | 内镜专家诊断知识嵌入的计算机辅助wce序列图像数据识别方法 |
CN107358253A (zh) * | 2017-06-12 | 2017-11-17 | 中国地质大学(武汉) | 一种基于差分演化的自适应集成学习方法及*** |
CN107886503A (zh) * | 2017-10-27 | 2018-04-06 | 重庆金山医疗器械有限公司 | 一种消化道解剖位置识别方法及装置 |
-
2019
- 2019-03-29 CN CN201910251219.1A patent/CN110084278B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110084278A (zh) | 2019-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6996682B2 (ja) | 眼の画像内における病変の検知 | |
EP2386999A2 (en) | Image processing apparatus, image processing method, and image processing program | |
US8204287B2 (en) | Image processing apparatus, image processing method and image processing program | |
CN109697719B (zh) | 一种图像质量评估方法、装置及计算机可读存储介质 | |
US8260005B2 (en) | Portable tool for determining meat quality | |
CN114612389B (zh) | 基于多源多尺度特征融合的眼底图像质量评价方法和装置 | |
CN112184699A (zh) | 水产品健康检测方法、终端设备及存储介质 | |
JP3842171B2 (ja) | 断層像処理装置 | |
JP2020076644A (ja) | 肉質等級の品質基準のデジタル化方法、それによる品質基準を利用した品質評価のテジタル処理方法、それらを利用した自動肉質評価装置、および、それに搭載されるソフトウェア | |
CN111242920A (zh) | 一种生物组织图像检测方法、装置、设备及介质 | |
CN114842000A (zh) | 一种内窥镜图像质量评估方法和*** | |
CN110097080B (zh) | 一种分类标签的构建方法及装置 | |
CN110084278B (zh) | 一种训练集的拆分方法及装置 | |
CN110110750B (zh) | 一种原始图片的分类方法及装置 | |
CN110097082B (zh) | 一种训练集的拆分方法及装置 | |
CN109993226B (zh) | 一种训练集的拆分方法及装置 | |
CN110083727B (zh) | 一种确定分类标签的方法及装置 | |
CN110084276B (zh) | 一种训练集的拆分方法及装置 | |
CN115797729A (zh) | 模型训练方法及装置、运动伪影识别及提示的方法及装置 | |
CN110084277B (zh) | 一种训练集的拆分方法及装置 | |
CN116977253A (zh) | 用于内窥镜的清洁度检测方法及装置、电子设备和介质 | |
CN111951233B (zh) | 一种鱼刺残留检测方法及*** | |
JP6935663B1 (ja) | 口腔粘膜疾患診断支援システム,方法およびプログラム | |
CN110070113B (zh) | 一种训练集的训练方法及装置 | |
CN110084280B (zh) | 一种确定分类标签的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |