CN112700462A - 一种图像分割方法、装置、电子设备及存储介质 - Google Patents
一种图像分割方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112700462A CN112700462A CN202011643737.7A CN202011643737A CN112700462A CN 112700462 A CN112700462 A CN 112700462A CN 202011643737 A CN202011643737 A CN 202011643737A CN 112700462 A CN112700462 A CN 112700462A
- Authority
- CN
- China
- Prior art keywords
- human body
- image
- feature
- characteristic
- body part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000003709 image segmentation Methods 0.000 title claims abstract description 63
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 24
- 230000011218 segmentation Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 210000002414 leg Anatomy 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000005728 strengthening Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像分割方法、装置、电子设备及存储介质,该方法包括:对待处理图像进行特征提取,获得多个不同尺度的特征图像,所述待处理图像为包括人体部件的图像;对所述多个不同尺度的特征图像进行融合,得到融合特征图像;根据所述多个不同尺度的特征图像和所述融合特征图像得到人体特征点特征和人体部件边缘特征;基于所述人体特征点特征和所述人体部件边缘特征进行图像融合,得到图像分割结果。实施本申请实施例,能够强化图像中人体部件的结构和语义关系,消除人体部件内部的纹理差异,强化人体部件的整体一致性,提高图像分割的精度。
Description
技术领域
本申请涉及计算机视觉、图像处理技术领域,具体而言,涉及一种图像分割方法、装置、电子设备及存储介质。
背景技术
图像识别是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术,是应用深度学习算法的一种实践应用。图像分割是图像识别和计算机视觉至关重要的预处理,没有正确的分割就不可能有正确的识别。图像分割是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程,由图像处理到图像分析的关键步骤。但是,进行分割仅有的依据是图像中像素的亮度及颜色,由计算机自动处理分割时,将会遇到各种困难。例如,光照不均匀、噪声的影响、图像中存在不清晰的部分,以及阴影等,常常发生分割错误。
在人体图像识别中,人体部件分割(Human Parsing)是计算机视觉(ComputerVision)的一个重要课题,在视频监控、自动驾驶、人体美化、虚拟现实等场景中有着非常广泛的应用。
通常情况下,人体部件分割需要将人体的各个部件全部分割出来,属于精细化分割的任务。作为一个图像分割任务的特例,现有的方法基本都主要在于优化模型结构,增加感受野以及优化边缘。尽管这些方法的精度都得到了一定的提升,但仍然存在很多问题。这些问题主要体现在人体部件的混淆上。一方面,由于人的对称结构,人体的左腿右腿左胳膊右胳膊在形状和纹理上几乎没有区别,但是在分割的过程中往往需要把两者的顺序区分出来。另一方面,由于遮挡等因素,人体部件的形状也很容易被误导;基于上述原因,在人体部件分割时会导致分割精度的下降,同时由于部件内部存在纹理差异,会降低部件的整体一致性。
发明内容
本申请实施例的目的在于提供一种图像分割方法、装置、电子设备及存储介质,能够强化图像中人体部件的结构和语义关系,消除人体部件内部的纹理差异,强化人体部件的整体一致性,提高图像分割的精度。
第一方面,本申请实施例提供了一种图像分割方法,所述方法包括:
对待处理图像进行特征提取,获得多个不同尺度的特征图像,所述待处理图像为包括人体部件的图像;
对所述多个不同尺度的特征图像进行融合,得到融合特征图像;
根据所述多个不同尺度的特征图像和所述融合特征图像得到人体特征点特征和人体部件边缘特征;
基于所述人体特征点特征和所述人体部件边缘特征进行图像融合,得到图像分割结果。
在上述实现过程中,通过压缩和扩张特征层来分别强化图像中人体部件的结构和语义关系,其中,通过获取人体特征点特征来消除人体部件的语义信息,强化人体部件之间的结构关系;通过获取人体部件边缘特征来消除人体部件内部的纹理差异,强化人体部件的整体一致性;从而提高了图像分割的精度。
进一步地,所述根据所述多个不同尺度的特征图像和所述融合特征图像得到人体特征点特征和人体部件边缘特征的步骤,包括:
对所述多个不同尺度的特征图像进行特征点提取,得到人体特征点特征图;
对所述多个不同尺度的特征图像进行图像分割,得到人体部件边缘特征图;
根据所述人体特征点特征图和所述融合特征图像之间的第一相似度,得到所述人体特征点特征;
根据所述人体部件边缘特征图和所述融合特征图像之间的第二相似度,得到所述人体部件边缘特征。
在上述实现过程中,获取人体特征点特征图和人体部件边缘特征图,进而根据人体特征点特征图和人体部件边缘特征图分别获取人体特征点特征和人体部件边缘特征,可以使得图像在人体部件分割时,不会出现人体部件的混淆以及不会由于歧义的衣着等被误分割。
进一步地,所述根据所述人体特征点特征图和所述融合特征图像之间的第一相似度,得到所述人体特征点特征的步骤,包括:
根据所述人体特征点特征图的像素点和所述融合特征图像的像素点之间的所述第一相似度,确定特征相似度矩阵;
将所述特征相似度矩阵和所述融合特征图像进行加权计算,获得所述人体特征点特征。
在上述实现过程中,通过获取特征相似度矩阵及加权计算,获得加权后的人体特征点特征,可以消除人体部件的语义信息,强化人体部件之间的结构关系。
进一步地,所述将所述特征相似度矩阵和所述融合特征图像进行加权计算,获得所述人体特征点特征的步骤,包括:
将所述特征相似度矩阵和所述融合特征图像相乘,获得所述人体特征点特征。
上述实现过程中,加权计算后的人体特征点特征包含人体特征点信息,可以消除人体部件的语义信息,强化人体部件之间的结构关系。
进一步地,所述根据所述人体部件边缘特征图和所述融合特征图像之间的第二相似度,得到所述人体部件边缘特征的步骤,包括:
根据所述人体部件边缘特征图的像素点和所述融合特征图像的像素点之间的所述第二相似度,确定边缘相似度矩阵;
将所述边缘相似度矩阵和所述融合特征图像进行加权计算,得到所述人体部件边缘特征。
在上述实现过程中,通过获取边缘相似度矩阵及加权计算,获得加权后的人体部件边缘特征,可以消除人体部件内部的纹理差异,强化人体部件的整体一致性。
进一步地,所述将所述边缘相似度矩阵和所述融合特征图像进行加权计算,得到所述人体部件边缘特征的步骤,包括:
将所述边缘相似度矩阵和所述融合特征图像相乘,获得所述人体部件边缘特征。
在上述实现过程中,加权计算后的人体部件边缘特征包含了人体部件边缘信息,可以消除人体部件内部的纹理差异,强化人体部件的整体一致性。
第二方面,本申请实施例还提供一种图像分割装置,所述装置包括:
特征图像获取模块,用于对待处理图像进行特征提取,获得多个不同尺度的特征图像,所述待处理图像为包括人体部件的图像;
图像融合模块,用于对所述多个不同尺度的特征图像进行融合,得到融合特征图像;
特征获取模块,用于根据所述多个不同尺度的特征图像和所述融合特征图像得到人体特征点特征和人体部件边缘特征;
特征融合模块,用于基于所述人体特征点特征和所述人体部件边缘特征进行图像融合,得到图像分割结果。
在上述实现过程中,通过压缩和扩张特征层来分别强化图像中人体部件的结构和语义关系,其中,通过获取人体特征点特征来消除人体部件的语义信息,强化人体部件之间的结构关系;通过获取人体部件边缘特征来消除人体部件内部的纹理差异,强化人体部件的整体一致性;从而提高了图像分割的精度。
进一步地,所述特征获取模块包括:
特征点提取单元,用于对所述多个不同尺度的特征图像进行特征点提取,得到人体特征点特征图;
图像分割单元,用于对所述多个不同尺度的特征图像进行图像分割,得到人体部件边缘特征图;
特征获取单元,用于根据所述人体特征点特征图和所述融合特征图像之间的第一相似度,得到所述人体特征点特征;根据所述人体部件边缘特征图和所述融合特征图像之间的第二相似度,得到所述人体部件边缘特征。
在上述实现过程中,获取人体特征点特征图和人体部件边缘特征图,进而根据人体特征点特征图和人体部件边缘特征图分别获取人体特征点特征和人体部件边缘特征,可以使得图像在人体部件分割时,不会出现人体部件的混淆以及不会由于歧义的衣着等被误分割。
第三方面,本申请实施例还提供了一种电子设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所电子设备执行第一方面所述的图像分割方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的图像分割方法。
第五方面,本申请实施例提供的一种计算机程序产品,所述计算机程序产品在计算机上运行时,使得计算机执行如第一方面任一项所述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的图像分割方法的流程示意图;
图2为本申请实施例中对不同尺度的特征图像进行处理的过程示意图;
图3为本申请实施例中获取人体特征点特征的过程示意图;
图4为本申请实施例中采用人体特征点特征的效果图;
图5为本申请实施例中获取人体部件边缘特征的过程示意图;
图6为本申请实施例中采用人体部件边缘特征的效果图;
图7为本申请实施例的实验数据对比图;
图8为本申请实施例提供的图像分割装置的结构组成示意图;
图9为本申请实施例提供的电子设备的结构组成示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
现有的图像分割方法基本都主要在于优化模型结构,增加感受野以及优化边缘。尽管这些方法的精度都得到了一定的提升,但仍然存在很多问题。这些问题主要体现在人体部件的混淆上。一方面,由于人的对称结构,人体的左腿右腿左胳膊右胳膊在形状和纹理上几乎没有区别,但是在分割的过程中往往需要把两者的顺序区分出来。另一方面,由于遮挡等因素,人体部件的形状也很容易被误导;基于上述原因,在人体部件分割时会导致分割精度的下降,同时由于部件内部存在纹理差异,会降低部件的整体一致性。
需要说明的是,以上现有技术中的技术方案所存在的种种缺陷,均是发明人经过仔细的实践研究后得出的结果,因此,上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案,都应该是发明人在实现本申请过程中对本申请做出的贡献。
针对上述现有技术中的问题,本申请提供了一种图像分割方法、装置、电子设备及存储介质。
实施例一
参见图1,本申请实施例提供一种图像分割方法,该方法包括:
S1,对待处理图像进行特征提取,获得多个不同尺度的特征图像,该待处理图像为包括人体部件的图像;
S2,对多个不同尺度的特征图像进行融合,得到融合特征图像;
S3,根据多个不同尺度的特征图像和融合特征图像得到人体特征点特征和人体部件边缘特征;
S4,基于人体特征点特征和人体部件边缘特征进行图像融合,得到图像分割结果。
在S1中,输入一张待处理图像,该待处理图像为包括人体部件的图像,其中,人体部件包括人体头部、脖子、肩膀、胳膊、躯干、腿部、脚部等部位。在本申请实施例中,人体部件可以通过人体特征点表征,例如可以分别通过头部、肩膀、手肘、腹部、膝盖、脚部等人体多个特征点表征人体的各个部件。示例地,可以通过手腕、手肘、肩膀等特征点表征人体胳膊,人体其他部件也可以通过该部件对应的特征点表征。
通过特征网络对输入的待处理图像进行特征提取,经过特征网络每一层的下采样,得到多个不同尺度的特征图像。
在本申请实施例中,采用了特征网络作为主干网络,具体地,采用了一个标准的语义分割网络,特征网络的每一层通过卷积和上采样,加上上一层的特征,做一次卷积,输入到下一层。在整个实施过程中,输入一张包括人体部件的待处理图像,通过多层卷积和下采样的特征网络(主干网络),从待处理图像中提取出多个不同尺度的特征图像,进而对多个不同尺度的特征图像进行融合,得到融合特征图像。
如图2所示,S3进一步包括:
S31,对多个不同尺度的特征图像进行特征点提取,得到人体特征点特征图;
S32,对多个不同尺度的特征图像进行图像分割,得到人体部件边缘特征图;
S33,根据人体特征点特征图和融合特征图像之间的第一相似度,得到人体特征点特征;
S34,根据人体部件边缘特征图和融合特征图像之间的第二相似度,得到人体部件边缘特征。
在具体实施中,人体特征点特征图都是局部的特征图,有多少个人体特征点就有多少张特征图输出;为了对下采样后多个不同尺度的特征图像(多层特征图)进行合并,同时为了提升人体特征点特征图和特征网络输出的特征向量每个通道之间的相互关系,可以在特征点提取的过程中对人体特征点特征图中多个不同尺度的特征图像进行乱序处理,可以提升后续提取到的人体特征点特征的精度。
人体部件边缘特征图只是一张特征图,表示图像中的人体部件边缘。可以通过解码处理完成对基于提取到的低维向量包含的特征信息进行检测和分类等。
S33进一步包括:
根据人体特征点特征图的像素点和融合特征图像的像素点之间的第一相似度,确定特征相似度矩阵;
将特征相似度矩阵和融合特征图像进行加权计算,获得人体特征点特征。
具体地,将特征相似度矩阵述融合特征图像相乘,获得人体特征点特征。
图3示出了一实施例中获取人体特征点特征的过程,如图3所示,在S33中,人体特征点特征图的特征C×H×W经过转换得到N×HW维特征,将融合特征图像的特征C×H×W转换为HW×C维特征,通过计算N×HW维特征、HW×C维特征上所有像素点的相似度,得到N×C维的特征相似度矩阵,该N×C维的特征相似度矩阵为特征层的注意力权重;将N×C维的特征相似度矩阵和融合特征图像的特征C×H×W相乘,获得注意力加权计算后的人体特征点特征。加权计算后的人体特征点特征包含了人体特征点信息,可以消除人体部件的语义信息,强化人体部件之间的结构关系。如图4所示,经过上述处理,使得人体部件不会出现混淆的情况。
上述过程中,C表示特征的通道,H表示特征的高,W表示特征的宽,N表示特征的维度。
S34进一步包括:
根据人体部件边缘特征图的像素点和融合特征图像的像素点之间的第二相似度,确定边缘相似度矩阵;
将边缘相似度矩阵和融合特征图像进行加权计算,得到人体部件边缘特征。
具体地,将边缘相似度矩阵和融合特征图像相乘,获得人体部件边缘特征。
图5示出了一实施例中获取人体部件边缘特征的过程。如图5所示,在S34中,人体部件边缘特征图的特征C×H×W经过转换得到D×HW维特征,将融合特征图像的特征C×H×W转换为HW×D维特征,通过计算D×HW维特征、HW×D维特征上所有像素点的相似度,得到HW×HW维的边缘相似度矩阵;将HW×HW维的边缘相似度矩阵和转换后的融合特征图像的特征D×H×W维特征相乘,获得D×HW维特征,再和融合特征图像的特征C×H×W串联,获得(D+C)×HW维特征,将(D+C)×HW维特征进行卷积,获得注意力加权计算后的人体部件边缘特征。加权计算后的人体部件边缘特征包含了人体部件边缘信息,可以消除人体部件内部的纹理差异,强化人体部件的整体一致性。如图6所示,经过上述处理,使得人体部件内部更加一致,不会由于歧义的衣着等被误分割。
在上述过程中,C表示特征的通道,H表示特征的高,W表示特征的宽,D表示特征的维度。
在S4中,对加权计算后的人体特征点特征和加权计算后的人体部件边缘特征进行融合,获得图像分割结果,这里的图像分割结果为蒙版图,在图像中分布不同颜色块,每个颜色块用一个数字表示,具体地,可以0-15表示颜色块,0表示背景,1-15表示15个不同的人体部件。
示例性地,可以将加权计算后的人体特征点特征和加权计算后的人体部件边缘特征通过卷积后获得图像分割结果。
图7示出了采用本申请实施例方法所得的实验数据,这里比较的是其它图像分割方法,如SegNet、FCN-8s等。图中“Ours”一列是本申请实施例的实验数据,384x384和473x473表示两个不同的模型输入。左边第一列是每个人体部件对应的项目,如头发(hair)、左手臂(1-arm)等;最后一行是所有人体部件平均的数据。由此可看出,本申请实施例提供的方法能提高图像分割的精度,优于其它方法的精度。
在本申请实施例方法中,通过压缩和扩张特征层来分别强化图像中人体部件的结构和语义关系,其中,通过获取人体特征点特征来消除人体部件的语义信息,强化人体部件之间的结构关系;通过获取人体部件边缘特征来消除人体部件内部的纹理差异,强化人体部件的整体一致性;从而提高了图像分割的精度。
实施例二
为了执行上述实施例一对应的方法,以实现相应的功能和技术效果,下面提供一种图像分割装置。
参见图8,本申请实施例的图像分割装置包括:
特征图像获取模块1,用于对待处理图像进行特征提取,获得多个不同尺度的特征图像,该待处理图像为包括人体部件的图像;
图像融合模块2,用于对多个不同尺度的特征图像进行融合,得到融合特征图像;
特征获取模块3,用于根据多个不同尺度的特征图像和融合特征图像得到人体特征点特征和人体部件边缘特征;
特征融合模块4,用于基于人体特征点特征和人体部件边缘特征进行图像融合,得到图像分割结果。
进一步地,特征获取模块3包括:
特征点提取单元,用于对多个不同尺度的特征图像进行特征点提取,得到人体特征点特征图;
图像分割单元,用于对多个不同尺度的特征图像进行图像分割,得到人体部件边缘特征图;
特征获取单元,用于根据人体特征点特征图和融合特征图像之间的第一相似度,得到人体特征点特征;根据人体部件边缘特征图和融合特征图像之间的第二相似度,得到人体部件边缘特征。
具体地,特征融合模块4获得的图像分割结果为分割图像,这里的分割图像为蒙版图,在图像中分布不同颜色块,每个颜色块用一个数字表示,具体地,可以0-15表示颜色块,0表示背景,1-15表示15个不同的人体部件。
上述的图像分割装置可实施上述实施例一的图像分割方法。上述实施例一中的可选项也适用于本实施例,这里不再详述。
本申请实施例的其余内容可参照上述实施例一的内容,在本实施例中,不再进行赘述。
实施例三
本申请实施例提供一种电子设备,包括存储器及处理器,该存储器用于存储计算机程序,该处理器运行计算机程序以使电子设备执行实施例一的图像分割方法。
可选地,上述电子设备可以是服务器。
请参见图9,图9为本申请实施例提供的电子设备的结构组成示意图。该电子设备可以包括处理器91、通信接口92、存储器93和至少一个通信总线94。其中,通信总线94用于实现这些组件直接的连接通信。其中,本申请实施例中设备的通信接口92用于与其他节点设备进行信令或数据的通信。处理器91可以是一种集成电路芯片,具有信号的处理能力。
上述的处理器91可以是通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器91也可以是任何常规的处理器等。
存储器93可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。存储器93中存储有计算机可读取指令,当计算机可读取指令由所述处理器91执行时,设备可以执行上述图1至图7方法实施例涉及的各个步骤。
可选地,电子设备还可以包括存储控制器、输入输出单元。存储器93、存储控制器、处理器91、外设接口、输入输出单元各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通信总线94实现电性连接。处理器91用于执行存储器93中存储的可执行模块,例如设备包括的软件功能模块或计算机程序。
输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。输入输出单元可以是,但不限于,鼠标和键盘等。
可以理解,图9所示的结构仅为示意,电子设备还可包括比图9中所示更多或者更少的组件,或者具有与图9所示不同的配置。图9中所示的各组件可以采用硬件、软件或其组合实现。
另外,本申请实施例还提供一种计算机可读存储介质,其存储有计算机程序,该计算机程序被处理器执行时实现实施例一的图像分割方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品在计算机上运行时,使得计算机执行方法实施例所述的方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种图像分割方法,其特征在于,所述方法包括:
对待处理图像进行特征提取,获得多个不同尺度的特征图像,所述待处理图像为包括人体部件的图像;
对所述多个不同尺度的特征图像进行融合,得到融合特征图像;
根据所述多个不同尺度的特征图像和所述融合特征图像得到人体特征点特征和人体部件边缘特征;
基于所述人体特征点特征和所述人体部件边缘特征进行图像融合,得到图像分割结果。
2.根据权利要求1所述的图像分割方法,其特征在于,所述根据所述多个不同尺度的特征图像和所述融合特征图像得到人体特征点特征和人体部件边缘特征的步骤,包括:
对所述多个不同尺度的特征图像进行特征点提取,得到人体特征点特征图;
对所述多个不同尺度的特征图像进行图像分割,得到人体部件边缘特征图;
根据所述人体特征点特征图和所述融合特征图像之间的第一相似度,得到所述人体特征点特征;
根据所述人体部件边缘特征图和所述融合特征图像之间的第二相似度,得到所述人体部件边缘特征。
3.根据权利要求2所述的图像分割方法,其特征在于,所述根据所述人体特征点特征图和所述融合特征图像之间的第一相似度,得到所述人体特征点特征的步骤,包括:
根据所述人体特征点特征图的像素点和所述融合特征图像的像素点之间的所述第一相似度,确定特征相似度矩阵;
将所述特征相似度矩阵和所述融合特征图像进行加权计算,获得所述人体特征点特征。
4.根据权利要求3所述的图像分割方法,其特征在于,所述将所述特征相似度矩阵和所述融合特征图像进行加权计算,获得所述人体特征点特征的步骤,包括:
将所述特征相似度矩阵和所述融合特征图像相乘,获得所述人体特征点特征。
5.根据权利要求2所述的图像分割方法,其特征在于,所述根据所述人体部件边缘特征图和所述融合特征图像之间的第二相似度,得到所述人体部件边缘特征的步骤,包括:
根据所述人体部件边缘特征图的像素点和所述融合特征图像的像素点之间的所述第二相似度,确定边缘相似度矩阵;
将所述边缘相似度矩阵和所述融合特征图像进行加权计算,得到所述人体部件边缘特征。
6.根据权利要求5所述的图像分割方法,其特征在于,所述将所述边缘相似度矩阵和所述融合特征图像进行加权计算,得到所述人体部件边缘特征的步骤,包括:
将所述边缘相似度矩阵和所述融合特征图像相乘,获得所述人体部件边缘特征。
7.一种图像分割装置,其特征在于,所述装置包括:
特征图像获取模块,用于对待处理图像进行特征提取,获得多个不同尺度的特征图像,所述待处理图像为包括人体部件的图像;
图像融合模块,用于对所述多个不同尺度的特征图像进行融合,得到融合特征图像;
特征获取模块,用于根据所述多个不同尺度的特征图像和所述融合特征图像得到人体特征点特征和人体部件边缘特征;
特征融合模块,用于基于所述人体特征点特征和人体部件边缘特征进行图像融合,得到图像分割结果。
8.根据权利要求7所述的图像分割装置,其特征在于,所述特征获取模块包括:
特征点提取单元,用于对所述多个不同尺度的特征图像进行特征点提取,得到人体特征点特征图;
图像分割单元,用于对所述多个不同尺度的特征图像进行图像分割,得到人体部件边缘特征图;
特征获取单元,用于根据所述人体特征点特征图和所述融合特征图像之间的第一相似度,得到所述人体特征点特征;根据所述人体部件边缘特征图和所述融合特征图像之间的第二相似度,得到所述人体部件边缘特征。
9.一种电子设备,其特征在于,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至6中任一项所述的图像分割方法。
10.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011643737.7A CN112700462A (zh) | 2020-12-31 | 2020-12-31 | 一种图像分割方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011643737.7A CN112700462A (zh) | 2020-12-31 | 2020-12-31 | 一种图像分割方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112700462A true CN112700462A (zh) | 2021-04-23 |
Family
ID=75514205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011643737.7A Pending CN112700462A (zh) | 2020-12-31 | 2020-12-31 | 一种图像分割方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112700462A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113326851A (zh) * | 2021-05-21 | 2021-08-31 | 中国科学院深圳先进技术研究院 | 图像特征提取方法、装置、电子设备及存储介质 |
CN113674289A (zh) * | 2021-07-16 | 2021-11-19 | 浙江大华技术股份有限公司 | 目标分割方法、目标分割模型的训练方法及相关设备 |
CN113793247A (zh) * | 2021-07-08 | 2021-12-14 | 福建榕基软件股份有限公司 | 一种首饰图像美化方法及终端 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015089949A1 (zh) * | 2013-12-19 | 2015-06-25 | 成都品果科技有限公司 | 一种融合LBP、Gabor特征的人脸聚类方法 |
CN110059698A (zh) * | 2019-04-30 | 2019-07-26 | 福州大学 | 用于街景理解的基于边缘稠密重建的语义分割方法及*** |
WO2020047738A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 多尺度特征融合网络结合定位模型的害虫自动计数方法 |
CN111104962A (zh) * | 2019-11-05 | 2020-05-05 | 北京航空航天大学青岛研究院 | 图像的语义分割方法、装置、电子设备及可读存储介质 |
CN111768392A (zh) * | 2020-06-30 | 2020-10-13 | 创新奇智(广州)科技有限公司 | 目标检测方法及装置、电子设备、存储介质 |
CN111915613A (zh) * | 2020-08-11 | 2020-11-10 | 华侨大学 | 一种图像实例分割方法、装置、设备及存储介质 |
CN112150493A (zh) * | 2020-09-22 | 2020-12-29 | 重庆邮电大学 | 一种基于语义指导的自然场景下屏幕区域检测方法 |
-
2020
- 2020-12-31 CN CN202011643737.7A patent/CN112700462A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015089949A1 (zh) * | 2013-12-19 | 2015-06-25 | 成都品果科技有限公司 | 一种融合LBP、Gabor特征的人脸聚类方法 |
WO2020047738A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 多尺度特征融合网络结合定位模型的害虫自动计数方法 |
CN110059698A (zh) * | 2019-04-30 | 2019-07-26 | 福州大学 | 用于街景理解的基于边缘稠密重建的语义分割方法及*** |
CN111104962A (zh) * | 2019-11-05 | 2020-05-05 | 北京航空航天大学青岛研究院 | 图像的语义分割方法、装置、电子设备及可读存储介质 |
CN111768392A (zh) * | 2020-06-30 | 2020-10-13 | 创新奇智(广州)科技有限公司 | 目标检测方法及装置、电子设备、存储介质 |
CN111915613A (zh) * | 2020-08-11 | 2020-11-10 | 华侨大学 | 一种图像实例分割方法、装置、设备及存储介质 |
CN112150493A (zh) * | 2020-09-22 | 2020-12-29 | 重庆邮电大学 | 一种基于语义指导的自然场景下屏幕区域检测方法 |
Non-Patent Citations (7)
Title |
---|
KHOI NGUYEN; TODOROVIC, S.: ""Feature Weighting and Boosting for Few-Shot Segmentation"", 《ARXIV》, 5 June 2020 (2020-06-05) * |
冯霞; 杜佳浩; 段仪浓; 刘才华: ""基于深度学习的行人重识别研究综述"", 《计算机应用研究》, vol. 37, no. 11, 30 November 2020 (2020-11-30) * |
张良;车进;杨琦;: "多粒度特征融合的行人再识别研究", 《液晶与显示》, no. 06, 15 June 2020 (2020-06-15) * |
徐慧;白美丽;万韬阮;薛涛;汤汶;: "基于深度学习的服装图像语义分析与检索推荐", 《纺织高校基础科学学报》, no. 03, 30 September 2020 (2020-09-30) * |
王育坚;高倩;谭卫雄;李深圳: ""融合Haar型局部特征的人耳识别算法"", 《计算机工程与应用》, vol. 55, no. 18, 15 September 2019 (2019-09-15) * |
陈彦燕;王元庆;: "基于惯性矩的图像融合算法", 《计算机测量与控制》, no. 06, 25 June 2009 (2009-06-25) * |
陈晓冬;盛婧;杨晋;蔡怀宇;金浩;: "多参数Gabor预处理融合多尺度局部水平集的超声图像分割", 《中国光学》, no. 05, 13 October 2020 (2020-10-13) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113326851A (zh) * | 2021-05-21 | 2021-08-31 | 中国科学院深圳先进技术研究院 | 图像特征提取方法、装置、电子设备及存储介质 |
CN113326851B (zh) * | 2021-05-21 | 2023-10-27 | 中国科学院深圳先进技术研究院 | 图像特征提取方法、装置、电子设备及存储介质 |
CN113793247A (zh) * | 2021-07-08 | 2021-12-14 | 福建榕基软件股份有限公司 | 一种首饰图像美化方法及终端 |
CN113674289A (zh) * | 2021-07-16 | 2021-11-19 | 浙江大华技术股份有限公司 | 目标分割方法、目标分割模型的训练方法及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Pitaloka et al. | Enhancing CNN with preprocessing stage in automatic emotion recognition | |
CN112700462A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
Chen et al. | Look, perceive and segment: Finding the salient objects in images via two-stream fixation-semantic cnns | |
Wang et al. | PISA: Pixelwise image saliency by aggregating complementary appearance contrast measures with edge-preserving coherence | |
CN113689402A (zh) | 基于深度学习的股骨髓腔形态识别方法、装置及存储介质 | |
CN111401339B (zh) | 识别人脸图像中的人的年龄的方法、装置及电子设备 | |
CN111401318B (zh) | 动作识别方法及装置 | |
Zhu et al. | Saliency-aware texture smoothing | |
CN111080670A (zh) | 图像提取方法、装置、设备及存储介质 | |
CN111160225B (zh) | 基于深度学习的人体解析方法和装置 | |
CN110610202B (zh) | 一种图像处理方法及电子设备 | |
CN108268863B (zh) | 一种图像处理方法、装置和计算机存储介质 | |
CN116897012A (zh) | 中医体质识别方法、装置、电子设备、存储介质及程序 | |
Waheed et al. | Exploiting Human Pose and Scene Information for Interaction Detection | |
CN113229807A (zh) | 人体康复评估装置、方法、电子设备及存储介质 | |
Pushparaj et al. | Dental radiographs and photographs in human forensic identification | |
CN111178221A (zh) | 身份识别方法及装置 | |
JP2014013432A (ja) | 特徴量抽出装置および特徴量抽出方法 | |
Ding et al. | Rethinking click embedding for deep interactive image segmentation | |
Grigoryan et al. | Color facial image representation with new quaternion gradients | |
CN113221842A (zh) | 模型训练方法、图像识别方法、装置、设备及介质 | |
CN116778533A (zh) | 一种掌纹全感兴趣区域图像提取方法、装置、设备及介质 | |
CN110633666A (zh) | 一种基于手指颜色贴片的手势轨迹识别方法 | |
CN116363561A (zh) | 一种时序动作定位方法、装置、设备及存储介质 | |
CN115311688A (zh) | 一种行人检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |