CN107967688A - 对图像中的对象进行分割的方法及*** - Google Patents
对图像中的对象进行分割的方法及*** Download PDFInfo
- Publication number
- CN107967688A CN107967688A CN201711399271.9A CN201711399271A CN107967688A CN 107967688 A CN107967688 A CN 107967688A CN 201711399271 A CN201711399271 A CN 201711399271A CN 107967688 A CN107967688 A CN 107967688A
- Authority
- CN
- China
- Prior art keywords
- image
- parted pattern
- labeled data
- category
- correcting code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种对图像中的对象进行分割的方法,包括:获取第一图像中所包含的N类对象所对应的第一标注数据;确定N类对象中每类对象的纠错码,得到N个纠错码;根据N个纠错码,将与N类对象所对应的第一标注数据转化为第二标注数据;以及基于第二标注数据训练M个分割模型,其中,M个分割模型用于分割第二图像中所包含的对象,M≤N,且N和M为整数。本公开还提供了一种对图像中的对象进行分割的***。
Description
技术领域
本公开涉及一种对图像中的对象进行分割的方法及***。
背景技术
图像分割技术是一种将图像分成若干个特定的具有独特性质的区域的技术。在不同的应用领域,例如可以是医学影像分析领域,交通图像分析领域,军事研究领域等,其处理的图像内容越来越复杂,采用的图像分割方法的准确度要求也越来越高。
随着人工智能技术的快速发展,通过机器学习的方法使得电子设备能够不断的改善自身的性能。具体地,例如,在医学影像分析领域,通常需要对CT(Computed Tomography,简称为CT)图像中的生物器官进行分割,通过人工智能的方法,利用机器学习中的深度学习技术,训练出相应的分割模型,分割出多个器官,如腹部CT图像中,分割出肝,脾,胰腺等。
然而,在实现本公开的过程中,发明人发现相关技术中至少存在以下缺陷:图像分割,尤其是采用基于投票机制进行简单融合的多分割模型的图像分割,其准确度较低。
发明内容
本公开的一个方面提供了一种对图像中的对象进行分割的方法,包括获取第一图像中所包含的N类对象所对应的第一标注数据;确定上述N类对象中每类对象的纠错码,得到N个纠错码;根据上述N个纠错码,将与上述N类对象所对应的上述第一标注数据转化为第二标注数据;以及基于上述第二标注数据训练M个分割模型,其中,上述M个分割模型用于分割第二图像中所包含的对象,M≤N,且N和M为整数。
可选地,上述N个纠错码中的每个具有M个纠错位,根据上述N个纠错码,将与上述N类对象所对应的上述第一标注数据转化为第二标注数据包括:基于具有M个纠错位的上述N个纠错码生成一个N行M列的编码矩阵;以及根据上述编码矩阵中的M列信息,对上述第一图像中所包含的N类对象进行分类,以实现将与上述N类对象所对应的第一标注数据转化为上述第二标注数据。
可选地,上述方法还包括依次通过上述M个分割模型对与上述第二图像中所包含的对象对应的像素点进行二值化处理,得到对应像素点的二值化数据;以及通过预定算法将上述二值化数据与上述第二图像中所包含的对象的纠错码进行比较,以确定上述第二图像中所包含的对象的类别。
可选地,上述M个分割模型中至少包括第一类别分割模型和第二类别分割模型,上述N类对象中至少包括第一类别对象和第二类别对象,上述方法还包括通过上述第一类别分割模型对上述第一类别对象进行分割;和/或通过上述第二类别分割模型对上述第二类别对象进行分割。
可选地,基于上述第二标注数据训练M个分割模型包括采用机器学习方法基于上述第二标注数据训练上述M个分割模型。
可选地,上述N类对象包括N类生物器官。
本公开的另一方面提供了一种对图像中的对象进行分割的***,包括获取模块、确定模块、转换模块和训练模块。获取模块用于获取第一图像中所包含的N类对象所对应的第一标注数据;确定模块用于确定上述N类对象中每类对象的纠错码,得到N个纠错码;转换模块用于根据上述N个纠错码,将与上述N类对象所对应的上述第一标注数据转化为第二标注数据;以及训练模块用于基于上述第二标注数据训练M个分割模型,其中,上述M个分割模型用于分割第二图像中所包含的对象,M≤N,且N和M为整数。
可选地,上述N个纠错码中的每个具有M个纠错位,上述转换模块包括生成单元和分类单元。生成单元用于基于具有M个纠错位的上述N个纠错码生成一个N行M列的编码矩阵;以及分类单元用于根据上述编码矩阵中的M列信息,对上述第一图像中所包含的N类对象进行分类,以实现将与上述N类对象所对应的第一标注数据转化为上述第二标注数据。
可选地,上述***还包括处理模块和比较模块。处理模块用于依次通过上述M个分割模型对与上述第二图像中所包含的对象对应的像素点进行二值化处理,得到对应像素点的二值化数据;以及比较模块用于通过预定算法将上述二值化数据与上述第二图像中所包含的对象的纠错码进行比较,以确定上述第二图像中所包含的对象的类别。
可选地,上述M个分割模型中至少包括第一类别分割模型和第二类别分割模型,上述N类对象中至少包括第一类别对象和第二类别对象,上述***还包括第一分割模块和/或第二分割模块。第一分割模块用于通过上述第一类别分割模型对上述第一类别对象进行分割;第二分割模块用于通过上述第二类别分割模型对上述第二类别对象进行分割。
可选地,上述训练模块采用机器学习方法基于上述第二标注数据训练上述M个分割模型。
本公开的另一方面提供了一种非易失性存储介质,存储有计算机可执行指令,上述指令在被执行时用于实现如上所述的对图像中的对象进行分割的方法。
本公开的另一方面提供了一种计算机程序,上述计算机程序包括计算机可执行指令,上述指令在被执行时用于实现如上所述的对图像中的对象进行分割的方法。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1A示意性示出了根据本公开实施例的原始图像的扫描图;
图1B示意性示出了根据本公开实施例的利用对图像中的对象进行分割的方法分割原始图像后的效果图;
图2示意性示出了根据本公开实施例的对第二图像中的对象进行分割的方法流程图;
图3A示意性示出了根据本公开实施例的将与N类对象所对应的第一标注数据转化为第二标注数据的流程图;
图3B示意性示出了根据本公开另一实施例的对第二图像中的对象进行分割的方法流程图;
图4示意性示出了根据本公开实施例的对图像中的对象进行分割的***的框图;
图5A示意性示出了根据本公开实施例的转换模块的框图;
图5B示意性示出了根据本公开另一实施例的对图像中的对象进行分割的***的框图;
图5C示意性示出了根据本公开另一实施例的对图像中的对象进行分割的***的框图;以及
图6示意性示出了根据本公开实施例的电子设备的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。本领域技术人员还应理解,实质上任意表示两个或更多可选项目的转折连词和/或短语,无论是在说明书、权利要求书还是附图中,都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如,短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此,本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式,该计算机程序产品可供指令执行***使用或者结合指令执行***使用。在本公开的上下文中,计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。计算机可读介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
本公开的实施例提供了一种对图像中的对象进行分割的方法及其***。该方法包括获取第一图像中所包含的N类对象所对应的第一标注数据;确定N类对象中每类对象的纠错码,得到N个纠错码;根据N个纠错码,将与N类对象所对应的第一标注数据转化为第二标注数据;以及基于第二标注数据训练M个分割模型,其中,M个分割模型用于分割第二图像中所包含的对象,M≤N,且N和M为整数。
图1A示意性示出了根据本公开实施例的原始图像的扫描图。
如图1A所示,该原始图像为人体腹部的CT图像,在该CT图像中包含有人体的多个器官,例如可以包括肝,脾,胆和胰腺等,由于每个器官的大小和形态都不同,其被电子设备扫描并处理后,得到多个形状和大小不同的器官的模糊轮廓信息。
为了确定原始图像中的多个器官名称和相应器官的轮廓信息,通过本公开提供的方法训练得到的M个分割模型对原始图像进行分割,可自动的分割出原始图像中所包含的多个器官。
图1B示意性示出了根据本公开实施例的利用对图像中的对象进行分割的方法分割原始图像后的效果图。
如图1B所示,图中箭头A所指区域为经分割后得到的肝,图中箭头B所指区域为经分割后得到的胆,图中箭头C所指区域为经分割后得到的脾。
需要注意的是,图1A和1B所示的原始图像仅为可以应用本公开实施例的场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
例如,本公开的原始图像还可以是交通图像,包括拍摄地点周围的环境信息,例如,包括建筑物,交通工具等。再例如,本公开的原始图像还可以是地下岩石图像,包括不同种类或构造的岩石信息。
通过本公开的实施例,至少可以解决相关技术中通过一个或多个专业人员对原始图像进行手动分割,或者根据相关技术对原始图像分割后,进行多模型融合时需要所有模型的准确性要求高,而当模型的准确性低时,采用相应的投票机制确定每个器官的名称导致分割器官准确度低的的技术问题。
图2示意性示出了根据本公开实施例的对图像中的对象进行分割的方法流程图。
如图2所示,该方法包括操作S201~S204。
在操作S201,获取第一图像中所包含的N类对象所对应的第一标注数据。
在操作S202,确定N类对象中每类对象的纠错码,得到N个纠错码。
在操作S203,根据N个纠错码,将与N类对象所对应的第一标注数据转化为第二标注数据。
在操作S204,基于第二标注数据训练M个分割模型,其中,M个分割模型用于分割第二图像中所包含的对象,M≤N,且N和M为整数。
根据本公开的实施例,第一图像的种类不做限定,例如,可以是人体的CT图像,或者也可以是地下岩石的构造图像。在第一图像中,N类对象可以具有相应的独特性质,例如可以具有一定的形状和/或构造,不同种类的对象所具有的独特性质根据第一图像的种类不同而不同。例如,以第一图像为生物体的CT图像为例,N类对象可以是不同种类的生物器官,如人体器官,动物器官。第一标注数据可以是人工或机器识别N类对象后得到的用于标识N类对象的标注。其中,不同类型的对象对应不同的标注数据。以N等于4为例,4类对象的标注数据可以是A1,A2,A3和A4分别进行表示。
根据本公开的实施例,每类对象的纠错码可以是二元纠错码,也可以是三元纠错码,纠错码可以包括纠错位和信息位。以二元纠错码(n,k)为例,其中n为纠错位长度,k为信息位长度(例如(5,2)汉明码),通过选取不同长度的信息位以区分不同种类的对象,不同种类对象的纠错位的长度n可以在确定信息位的长度k以后,通过查看码表的方式或根据实际要求确定纠错位的长度n。
根据本公开的实施例,例如,以分割第一图像中的4个器官为例,选取信息位长度k为2,用于表示4个器官。例如,以00表示器官C1,以01表示器官C2,以10表示器官C3,以11表示器官C4,从而区分不同种类的器官。在确定信息位长度K为2以后,纠错位长度n可以通过查看码表的方式确定为5。具体地,例如,器官C1的纠错位可以是01011,器官C2的纠错位可以是10010,器官C3的纠错位可以是01101,器官C4的纠错位可以是00110。需要说明的是,所选取的纠错位的位数越大,分割图像中的对象的准确度越高。纠错码的选取方式可根据实际应用场景进行选择,在此不再赘述。
根据本公开的实施例,以N等于4为例,根据4个纠错码,对第一图像中的4类对象进行划分,并将与4类对象所对应的第一标注数据A1,A2,A3和A4转化为第二标注数据B1,B2,B3和B4。根据转化后的第二标注数据B1,B2,B3和B4可以训练出M个分割模型。根据本公开的实施例,当需要分割4类对象时,可以训练出4个分割模型。当需要分割3类对象时,可以训练出4个或小于4个的分割模型。
通过本公开的实施例,根据多个类别对象的纠错码将N类对象所对应的第一标注数据转化多个类别对象的第二标注数据,根据转化后的第二标注数据训练出多个分割模型。当用该训练出的多个分割模型用于分割其他图像中的对象时,每个模型的准确度要求低。因此,至少可以解决相关技术中通过一个或多个专业人员对原始图像进行手动分割,或者根据相关技术对原始图像分割后,进行多模型融合时需要所有模型的准确性高,而当模型的准确性低时,采用相应的投票机制确定每个器官的名称导致分割器官准确度低的的技术问题。
下面参考图3A~图3B,结合具体实施例对图2所示的方法做进一步说明。
图3A示意性示出了根据本公开实施例的将与N类对象所对应的第一标注数据转化为第二标注数据的流程图。
根据本公开的实施例,N个纠错码中的每个具有M个纠错位,如图3A所示,根据N个纠错码,将与N类对象所对应的第一标注数据转化为第二标注数据包括操作S2031~S2032。
在操作S2031,基于具有M个纠错位的N个纠错码生成一个N行M列的编码矩阵。
在操作S2032,根据编码矩阵中的M列信息,对第一图像中所包含的N类对象进行分类,以实现将与N类对象所对应的第一标注数据转化为第二标注数据。
根据本公开的实施例,每个纠错码中具有M个纠错位,以二元纠错码(M,k)为例,N个纠错码可以生成一个N行M列的编码矩阵。具体地,如表1所示,以二元纠错码(5,2)为例,可以得到4行5列的编码矩阵。
表1
0 | 1 | 0 | 1 | 1 |
1 | 0 | 0 | 1 | 0 |
0 | 1 | 1 | 0 | 1 |
0 | 0 | 1 | 1 | 0 |
进一步地,结合纠错码的信息位和纠错位可以得到表2中的信息。
表2
其中,信息位00用于表示器官C1,器官C1的纠错位可以是01011,信息位01用于表示器官C2,器官C2的纠错位可以是10010,信息位10用于表示器官C3,器官C3的纠错位可以是01101,信息位11用于表示器官C4,器官C4的纠错位可以是00110。根据编码矩阵中的5列信息训练出不同的分割模型,可以训练出5个分割模型(f1,f2,f3,f4,f5)。
其中,分割模型f1的任务是区分{(C1,C3,C4)和C2};分割模型f2的任务是区分{(C2,C4)和(C1,C3)};分割模型f3的任务是区分{(C1,C2)和(C3,C4)};分割模型f4的任务是区分{(C3)和(C1,C2,C4)};分割模型f5的任务是区分{(C2,C4)和(C1,C3)}。
针对不同分割模型的任务,可以将原始标注数据转换为新的标注数据。其中,对于分割模型f1中的标注{0和1},0代表(C1,C3,C4),1代表C2;对于分割模型f2的标注{0和1},0代表(C2,C4),1代表(C1,C3)};对于分割模型f3的标注{0和1},0代表(C1,C2),1代表(C3,C4)};对于分割模型f4的标注{0和1},0代表(C3),1代表(C1,C2,C4)};对于分割模型f5的标注{0和1},0代表(C2,C4),1代表(C1,C3)}。将一定像素的CT图输入到训练出的多个分割模型中,每个模型都会对每个像素做类别判别,从而获得经5个模型识别后得到的标注数据。
通过本公开的实施例,通过将与N类对象所对应的第一标注数据转化为第二标注数据,可以在需要达到预定分割准确性的情况下,对每个分割模型的准确性要求低。
图3B示意性示出了根据本公开另一实施例的对第二图像中的对象进行分割的方法流程图。
如图3B所示,对第二图像中的对象进行分割的方法包括操作S205~S206。
在操作S205,依次通过M个分割模型对与第二图像中所包含的对象对应的像素点进行二值化处理,得到对应像素点的二值化数据。
在操作S206,通过预定算法将二值化数据与第二图像中所包含的对象的纠错码进行比较,以确定第二图像中所包含的对象的类别。
根据本公开的实施例,通过训练得到的M个分割模型处理第二图像中所包含的对象对应的像素点,可以是将不同对象所对应的像素点进行二值化处理。
以512*512像素的CT图为例,对于该512*512像素的CT图中的像素点,都经过多个模型处理后,得到相应的二值化数据,通过计算二值化数据与第二图像中所包含的对象的纠错码之间的汉明距离或欧氏距离,以确定第二图像中所包含的对象的类别。其中,汉明距离表示将字符串变为另外一个字符串所需要替换的字符个数。欧氏距离又称欧几里得距离,表示m维空间中两个点之间的真实距离,或者向量的自然长度。
例如,对于任何一个像素,5个模型会输出5个判别值,假设像素点的二值化数据是00101,即对于这个像素点,f1的输出为0,f2的输出为0,f3的输出为1,f4的输出为0,f5的输出为1。对于该5比特的输出结果,与编码矩阵中的4组纠错码做汉明距离或欧氏距离的计算,可以选取最小汉明距离或欧氏距离,根据计算最小汉明距离或欧氏距离所对应的编码对该像素进行归类。
根据像素点的二值化数据输出结果00101与不同纠错码,计算汉明距离或欧氏距离得到的结果如表3所示。
表3
由于与输出结果00101在汉明距离和欧式距离上最小的分类是C3,因此,该像素最终分类为C3。
通过本公开的实施例,可以使用训练后分割模型对新的图像进行分割,由于采用M个分割模型对对象进行分割后,可能有一定误差,通过预定算法将二值化数据与纠错码进行比较,从而确定对象的类别,可以提高分割的准确度。
根据本公开的实施例,M个分割模型中至少包括第一类别分割模型和第二类别分割模型,N类对象中至少包括第一类别对象和第二类别对象,对图像中的对象进行分割的方法还包括通过第一类别分割模型对第一类别对象进行分割;和/或通过第二类别分割模型对第二类别对象进行分割。
根据本公开的实施例,N类对象中可以包括多种对象,以第一图像为腹部CT图像为例,第一类别对象可以是胆,第二类别对象可以是肝。由于肝和胆在生物体中是相连的,如果采用相同的分割模型分割不同类别的肝和胆,此时的准确度可能会降低。因此,利用训练得到的不同的分割模型分别分割不同类别的肝和胆,可以提高分割疑难器官的准确度。
通过本公开的实施例,针对不同类别的对象,采用不同的分割模型对其进行分割,可以进一步地提高分割模型的分割准确度,解决了相关技术中通过单模型对图像进行多分割而导致准确度较低的技术问题。
根据本公开的实施例,基于第二标注数据训练M个分割模型包括采用机器学习方法基于第二标注数据训练M个分割模型。根据本公开的实施例,可以利用机器学习方法中的深度学习技术,基于第二标注数据训练得到M个分割模型,具体地,例如,采用神经网络对图像中的对象进行高层抽象,以训练出多个分割模型。
通过本公开的实施例,采用上述方式训练得到多个分割模型,可以有效的降低训练时间,进一步的,通过多个分割模型之间的优化组合,可以使得训练出的分割模型更加智能化。
根据本公开的实施例,N类对象包括N类生物器官。生物器官可以是人体器官或动物器官,例如,人体器官可以是心脏,肺,胆,肝等等。通过本公开的实施例,采用上述方式训练得到的多个模型用于分割生物器官,提高了器官分割的准确度,减少了人为因素导致的误判机率。
图4示意性示出了根据本公开实施例的对图像中的对象进行分割的***的框图。
如图4所示,***400包括获取模块410、确定模块420、转换模块430和训练模块440。
获取模块410用于获取第一图像中所包含的N类对象所对应的第一标注数据。
确定模块420用于确定N类对象中每类对象的纠错码,得到N个纠错码。
转换模块430用于根据N个纠错码,将与N类对象所对应的第一标注数据转化为第二标注数据。
训练模块440用于基于第二标注数据训练M个分割模型,其中,M个分割模型用于分割第二图像中所包含的对象,M≤N,且N和M为整数。
通过本公开的实施例,根据多个类别对象的纠错码将N类对象所对应的第一标注数据转化多个类别对象的第二标注数据,根据转化后的第二标注数据训练出多个分割模型。当用该训练出的多个分割模型用于分割其他图像中的对象时,每个模型的准确度要求低。因此,至少可以解决相关技术中通过一个或多个专业人员对原始图像进行手动分割,或者根据相关技术对原始图像分割后,进行多模型融合时需要所有模型的准确性高,而当模型的准确性低时,采用相应的投票机制确定每个器官的名称导致分割器官准确度低的的技术问题。
图5A示意性示出了根据本公开另一实施例的转换模块的框图。
如图5A所示,N个纠错码中的每个具有M个纠错位,转换模块430包括生成单元431和分类单元432。
生成单元431用于基于具有M个纠错位的N个纠错码生成一个N行M列的编码矩阵。
分类单元432用于根据编码矩阵中的M列信息,对第一图像中所包含的N类对象进行分类,以实现将与N类对象所对应的第一标注数据转化为第二标注数据。
通过本公开的实施例,通过将与N类对象所对应的第一标注数据转化为第二标注数据,可以在需要达到预定分割准确性的情况下,对每个分割模型的准确性要求低。
图5B示意性示出了根据本公开另一实施例的对图像中的对象进行分割的***的框图。
如图5B所示,***400除了包括获取模块410、确定模块420、转换模块430和训练模块440之外,还包括处理模块450和比较模块460。
处理模块450用于依次通过M个分割模型对与第二图像中所包含的对象对应的像素点进行二值化处理,得到对应像素点的二值化数据。
比较模块460用于通过预定算法将二值化数据与第二图像中所包含的对象的纠错码进行比较,以确定第二图像中所包含的对象的类别。
通过本公开的实施例,可以使用训练后分割模型对新的图像进行分割,由于采用M个分割模型对对象进行分割后,可能有一定误差,通过预定算法将二值化数据与纠错码进行比较,从而确定对象的类别,可以提高分割的准确度。
图5C示意性示出了根据本公开另一实施例的对图像中的对象进行分割的***的框图。
可选地,M个分割模型中至少包括第一类别分割模型和第二类别分割模型,N类对象中至少包括第一类别对象和第二类别对象,***还包括第一分割模块和/或第二分割模块,如图5C所示,***400还包括第一分割模块470和第二分割模块480。
第一分割模块470用于通过第一类别分割模型对第一类别对象进行分割。
第二分割模块480用于通过第二类别分割模型对第二类别对象进行分割。
可选地,训练模块440采用机器学习方法基于第二标注数据训练M个分割模型。
通过本公开的实施例,针对不同类别的对象,采用不同的分割模型对其进行分割,可以进一步地提高分割模型的分割准确度,解决了相关技术中通过单模型对图像进行多分割而导致准确度较低的技术问题。
可以理解的是,获取模块410、确定模块420、转换模块430、训练模块440、处理模块450、比较模块460、第一分割模块470和第二分割模块480可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本发明的实施例,获取模块410、确定模块420、转换模块430、训练模块440、处理模块450、比较模块460、第一分割模块470和第二分割模块480中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。或者,获取模块410、确定模块420、转换模块430、训练模块440、处理模块450、比较模块460、第一分割模块470和第二分割模块480中的至少一个可以至少被部分地实现为计算机程序模块,当该程序被计算机运行时,可以执行相应模块的功能。
图6示意性示出了根据本公开实施例的电子设备的框图。
如图6所示,电子设备600包括处理器610、计算机可读存储介质620。该电子设备600可以执行上面参考图2,图3A~图3B描述的方法。
具体地,处理器610例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器610还可以包括用于缓存用途的板载存储器。处理器610可以是用于执行参考图2,图3A~图3B描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质620,例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。可读存储介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
计算机可读存储介质620可以包括计算机程序621,该计算机程序621可以包括代码/计算机可执行指令,其在由处理器610执行时使得处理器610执行例如上面结合图2,图3A~图3B所描述的方法流程及其任何变形。
计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序621中的代码可以包括一个或多个程序模块,例如包括621A、模块621B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器610执行时,使得处理器610可以执行例如上面结合图2,图3A~图3B所描述的方法流程及其任何变形。
根据本发明的实施例,获取模块410、确定模块420、转换模块430、训练模块440、处理模块450、比较模块460、第一分割模块470和第二分割模块480中的至少一个可以实现为参考图6描述的计算机程序模块,其在被处理器610执行时,可以实现上面描述的相应操作。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。
Claims (10)
1.一种对图像中的对象进行分割的方法,包括:
获取第一图像中所包含的N类对象所对应的第一标注数据;
确定所述N类对象中每类对象的纠错码,得到N个纠错码;
根据所述N个纠错码,将与所述N类对象所对应的所述第一标注数据转化为第二标注数据;以及
基于所述第二标注数据训练M个分割模型,其中,所述M个分割模型用于分割第二图像中所包含的对象,M≤N,且N和M为整数。
2.根据权利要求1所述的方法,其中,所述N个纠错码中的每个具有M个纠错位,根据所述N个纠错码,将与所述N类对象所对应的所述第一标注数据转化为第二标注数据包括:
基于具有M个纠错位的所述N个纠错码生成一个N行M列的编码矩阵;以及
根据所述编码矩阵中的M列信息,对所述第一图像中所包含的N类对象进行分类,以实现将与所述N类对象所对应的第一标注数据转化为所述第二标注数据。
3.根据权利要求2所述的方法,其中,所述方法还包括:
依次通过所述M个分割模型对与所述第二图像中所包含的对象对应的像素点进行二值化处理,得到对应像素点的二值化数据;以及
通过预定算法将所述二值化数据与所述第二图像中所包含的对象的纠错码进行比较,以确定所述第二图像中所包含的对象的类别。
4.根据权利要求1所述的方法,其中,所述M个分割模型中至少包括第一类别分割模型和第二类别分割模型,所述N类对象中至少包括第一类别对象和第二类别对象,所述方法还包括:
通过所述第一类别分割模型对所述第一类别对象进行分割;和/或
通过所述第二类别分割模型对所述第二类别对象进行分割。
5.根据权利要求1所述的方法,其中,基于所述第二标注数据训练M个分割模型包括:
采用机器学习方法基于所述第二标注数据训练所述M个分割模型。
6.根据权利要求1所述的方法,其中:
所述N类对象包括N类生物器官。
7.一种对图像中的对象进行分割的***,包括:
获取模块,用于获取第一图像中所包含的N类对象所对应的第一标注数据;
确定模块,用于确定所述N类对象中每类对象的纠错码,得到N个纠错码;
转换模块,用于根据所述N个纠错码,将与所述N类对象所对应的所述第一标注数据转化为第二标注数据;以及
训练模块,用于基于所述第二标注数据训练M个分割模型,其中,所述M个分割模型用于分割第二图像中所包含的对象,M≤N,且N和M为整数。
8.根据权利要求7所述的***,其中,所述N个纠错码中的每个具有M个纠错位,所述转换模块包括:
生成单元,用于基于具有M个纠错位的所述N个纠错码生成一个N行M列的编码矩阵;以及
分类单元,用于根据所述编码矩阵中的M列信息,对所述第一图像中所包含的N类对象进行分类,以实现将与所述N类对象所对应的第一标注数据转化为所述第二标注数据。
9.根据权利要求8所述的***,其中,所述***还包括:
处理模块,用于依次通过所述M个分割模型对与所述第二图像中所包含的对象对应的像素点进行二值化处理,得到对应像素点的二值化数据;以及
比较模块,用于通过预定算法将所述二值化数据与所述第二图像中所包含的对象的纠错码进行比较,以确定所述第二图像中所包含的对象的类别。
10.根据权利要求7所述的***,其中,所述M个分割模型中至少包括第一类别分割模型和第二类别分割模型,所述N类对象中至少包括第一类别对象和第二类别对象,所述***还包括:
第一分割模块,用于通过所述第一类别分割模型对所述第一类别对象进行分割;和/或
第二分割模块,用于通过所述第二类别分割模型对所述第二类别对象进行分割。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711399271.9A CN107967688B (zh) | 2017-12-21 | 2017-12-21 | 对图像中的对象进行分割的方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711399271.9A CN107967688B (zh) | 2017-12-21 | 2017-12-21 | 对图像中的对象进行分割的方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107967688A true CN107967688A (zh) | 2018-04-27 |
CN107967688B CN107967688B (zh) | 2021-06-15 |
Family
ID=61995014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711399271.9A Active CN107967688B (zh) | 2017-12-21 | 2017-12-21 | 对图像中的对象进行分割的方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107967688B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108648195A (zh) * | 2018-05-09 | 2018-10-12 | 联想(北京)有限公司 | 一种图像处理方法及装置 |
WO2020052668A1 (zh) * | 2018-09-15 | 2020-03-19 | 北京市商汤科技开发有限公司 | 图像处理方法、电子设备及存储介质 |
CN111325231A (zh) * | 2018-12-14 | 2020-06-23 | 财团法人工业技术研究院 | 神经网络模型融合方法及应用其的电子装置 |
CN111724371A (zh) * | 2020-06-19 | 2020-09-29 | 联想(北京)有限公司 | 一种数据处理方法、装置及电子设备 |
WO2020199477A1 (zh) * | 2019-04-04 | 2020-10-08 | 平安科技(深圳)有限公司 | 基于多模型融合的图像标注方法、装置、计算机设备及存储介质 |
US10963757B2 (en) | 2018-12-14 | 2021-03-30 | Industrial Technology Research Institute | Neural network model fusion method and electronic device using the same |
TWI786330B (zh) * | 2018-09-15 | 2022-12-11 | 大陸商北京市商湯科技開發有限公司 | 一種圖像處理方法、電子設備及存儲介質 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1543625A (zh) * | 2001-05-31 | 2004-11-03 | 全感知有限公司 | 个人身份验证方法和*** |
WO2006055413A2 (en) * | 2004-11-11 | 2006-05-26 | The Trustees Of Columbia University In The City Of New York | Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector |
US20100329544A1 (en) * | 2009-06-30 | 2010-12-30 | Sony Corporation | Information processing apparatus, information processing method, and program |
CN103426004A (zh) * | 2013-07-04 | 2013-12-04 | 西安理工大学 | 基于纠错输出编码的车型识别方法 |
CN104239896A (zh) * | 2014-09-04 | 2014-12-24 | 四川省绵阳西南自动化研究所 | 一种视频图像中人群密度等级分类方法 |
CN105182219A (zh) * | 2015-09-06 | 2015-12-23 | 南京航空航天大学 | 一种基于汉明纠错码支持向量机的功率变换器故障分类方法 |
CN105931253A (zh) * | 2016-05-16 | 2016-09-07 | 陕西师范大学 | 一种基于半监督学习相结合的图像分割方法 |
CN106709853A (zh) * | 2016-11-30 | 2017-05-24 | 开易(北京)科技有限公司 | 一种图像检索方法及*** |
-
2017
- 2017-12-21 CN CN201711399271.9A patent/CN107967688B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1543625A (zh) * | 2001-05-31 | 2004-11-03 | 全感知有限公司 | 个人身份验证方法和*** |
WO2006055413A2 (en) * | 2004-11-11 | 2006-05-26 | The Trustees Of Columbia University In The City Of New York | Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector |
US20100329544A1 (en) * | 2009-06-30 | 2010-12-30 | Sony Corporation | Information processing apparatus, information processing method, and program |
CN103426004A (zh) * | 2013-07-04 | 2013-12-04 | 西安理工大学 | 基于纠错输出编码的车型识别方法 |
CN104239896A (zh) * | 2014-09-04 | 2014-12-24 | 四川省绵阳西南自动化研究所 | 一种视频图像中人群密度等级分类方法 |
CN105182219A (zh) * | 2015-09-06 | 2015-12-23 | 南京航空航天大学 | 一种基于汉明纠错码支持向量机的功率变换器故障分类方法 |
CN105931253A (zh) * | 2016-05-16 | 2016-09-07 | 陕西师范大学 | 一种基于半监督学习相结合的图像分割方法 |
CN106709853A (zh) * | 2016-11-30 | 2017-05-24 | 开易(北京)科技有限公司 | 一种图像检索方法及*** |
Non-Patent Citations (5)
Title |
---|
CIOMPI, F 等: "ECOC Random Fields for Lumen Segmentation in Radial Artery IVUS Sequences", 《MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION–MICCAI 2009》 * |
WANG, HONGZHI 等: "A learning-based wrapper method to correct systematic errors in automatic image segmentation: Consistently improved performance in hippocampus, cortex and brain segmentation", 《NEUROIMAGE》 * |
倪心强: "SAR图像分类与自动目标识别技术研究", 《中国博士学位论文全文数据库信息科技辑》 * |
李杰 等: "使用支持向量机的纹理识别方法", 《光电工程》 * |
饶倩: "基于条件随机场与纠错输出码的图像自动标注方法研究", 《万方数据库》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108648195A (zh) * | 2018-05-09 | 2018-10-12 | 联想(北京)有限公司 | 一种图像处理方法及装置 |
WO2020052668A1 (zh) * | 2018-09-15 | 2020-03-19 | 北京市商汤科技开发有限公司 | 图像处理方法、电子设备及存储介质 |
TWI786330B (zh) * | 2018-09-15 | 2022-12-11 | 大陸商北京市商湯科技開發有限公司 | 一種圖像處理方法、電子設備及存儲介質 |
CN111325231A (zh) * | 2018-12-14 | 2020-06-23 | 财团法人工业技术研究院 | 神经网络模型融合方法及应用其的电子装置 |
US10963757B2 (en) | 2018-12-14 | 2021-03-30 | Industrial Technology Research Institute | Neural network model fusion method and electronic device using the same |
TWI727237B (zh) * | 2018-12-14 | 2021-05-11 | 財團法人工業技術研究院 | 神經網路模型融合方法及應用其之電子裝置 |
CN111325231B (zh) * | 2018-12-14 | 2023-08-15 | 财团法人工业技术研究院 | 神经网络模型融合方法及应用其的电子装置 |
WO2020199477A1 (zh) * | 2019-04-04 | 2020-10-08 | 平安科技(深圳)有限公司 | 基于多模型融合的图像标注方法、装置、计算机设备及存储介质 |
CN111724371A (zh) * | 2020-06-19 | 2020-09-29 | 联想(北京)有限公司 | 一种数据处理方法、装置及电子设备 |
CN111724371B (zh) * | 2020-06-19 | 2023-05-23 | 联想(北京)有限公司 | 一种数据处理方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN107967688B (zh) | 2021-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107967688A (zh) | 对图像中的对象进行分割的方法及*** | |
US10410353B2 (en) | Multi-label semantic boundary detection system | |
Toğaçar et al. | COVID-19 detection using deep learning models to exploit Social Mimic Optimization and structured chest X-ray images using fuzzy color and stacking approaches | |
Chen et al. | Symmetrical dense-shortcut deep fully convolutional networks for semantic segmentation of very-high-resolution remote sensing images | |
CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
Yu et al. | Casenet: Deep category-aware semantic edge detection | |
CN105512289B (zh) | 基于深度学习和哈希的图像检索方法 | |
Liang et al. | Semantic object parsing with local-global long short-term memory | |
Wang et al. | Bag of contour fragments for robust shape classification | |
CN110910395B (zh) | 图像编码方法和装置、利用它们的测试方法和测试装置 | |
US10776662B2 (en) | Weakly-supervised spatial context networks to recognize features within an image | |
CN110837836A (zh) | 基于最大化置信度的半监督语义分割方法 | |
CN107516096A (zh) | 一种字符识别方法及装置 | |
Lee et al. | Wide-residual-inception networks for real-time object detection | |
CN106156777B (zh) | 文本图片检测方法及装置 | |
CN107506796A (zh) | 一种基于深度森林的阿尔兹海默病分类方法 | |
CN110879960B (zh) | 生成卷积神经网络学习用图像数据集的方法及计算装置 | |
CN110334724B (zh) | 基于lstm的遥感对象自然语言描述及多尺度矫正方法 | |
CN113705641B (zh) | 基于富上下文网络的高光谱图像分类方法 | |
US20220180624A1 (en) | Method and device for automatic identification of labels of an image | |
Singh et al. | Steganalysis of digital images using deep fractal network | |
CN111275057A (zh) | 图像处理方法、装置及设备 | |
CN105303163A (zh) | 一种目标检测的方法及检测装置 | |
CN112329761A (zh) | 文本检测方法、装置、设备及存储介质 | |
Wang et al. | Encoder-and decoder-based networks using multiscale feature fusion and nonlocal block for remote sensing image semantic segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |