CN105631455B - 一种图像主体提取方法及*** - Google Patents

一种图像主体提取方法及*** Download PDF

Info

Publication number
CN105631455B
CN105631455B CN201410584982.3A CN201410584982A CN105631455B CN 105631455 B CN105631455 B CN 105631455B CN 201410584982 A CN201410584982 A CN 201410584982A CN 105631455 B CN105631455 B CN 105631455B
Authority
CN
China
Prior art keywords
image
region
processed
super
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410584982.3A
Other languages
English (en)
Other versions
CN105631455A (zh
Inventor
安山
张洪明
刘彬
陈国成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201410584982.3A priority Critical patent/CN105631455B/zh
Priority to JP2017521554A priority patent/JP6719457B2/ja
Priority to PCT/CN2015/092505 priority patent/WO2016066038A1/zh
Publication of CN105631455A publication Critical patent/CN105631455A/zh
Priority to US15/499,840 priority patent/US10497121B2/en
Application granted granted Critical
Publication of CN105631455B publication Critical patent/CN105631455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像主体提取方法，根据待处理图像中是否存在与指定特征对应的待识别区域的不同情况，分别采取不同的方式获取待处理图像的主体区域，在主体区域的图像内执行预设的算法，将通过算法提取的前景区域对应的图像作为待处理图像的主体部分。从而在实现了图像主体自动提取的基础上，使提取出的主体精确、可靠，提高了处理效率。

Description

一种图像主体提取方法及***
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种图像主体提取方法。本申请实施例同时还涉及一种图像主体提取***。
背景技术
近年来随着技术的发展和人们观念的转变，在线购物逐渐成为人们购物的主要渠道之一，网购平台取得了长足的发展。在这种背景下，网购平台积累了大量的商品图像信息，如何更有效的实现对商品图像信息的组织、分析、检索和向消费者展示已经变得十分重要。
商品图像的内容包括商品主体和背景，当用户上传一幅商品图像并期望搜索与该图相同或相似的商品时，用户更关注于商品本身，背景信息的存在可能影响商品搜索的结果。因此，提取商品图像中的商品主体成为非常重要的一项工作。传统的图像主体提取方法基于人工干预，即需要人为对被分割的区域进行框选和设定，这种方法效率低下，不适于互联网上亿的图片量。因此，当下需要设计一种商品图像主体的自动提取方法，能够对图像中特定的内容进行准确的提取。
发明内容
本申请实施例提供了一种图像主体提取方法，用以实现对图像主体内容的精准判断以及提取，该方法包括：
判断待处理图像中是否存在与指定特征对应的待识别区域；
若存在所述待识别区域，根据预设的主体区域特征参数、所述待识别区域的坐标及大小，确定包含所述待处理图像的主体部分的主体区域；
将所述主体区域中的图像作为前景图像进行前景目标提取处理，并将提取出的图像作为所述待处理图像的主体部分。
相应地，本申请实施例还提出了一种图像主体提取***，包括：
判断模块，用于判断待处理图像中是否存在与指定特征对应的待识别区域；
矩形框获取模块，用于在存在所述待识别区域时，根据预设的主体区域特征参数、所述待识别区域的坐标及大小，确定包含所述待处理图像的主体部分的主体区域；
提取模块，用于将所述主体区域中的图像作为前景图像进行前景目标提取处理，并将提取出的图像作为所述待处理图像的主体部分。
由此可见，通过应用本申请实施例的技术方案，根据待处理图像中是否存在与指定特征对应的待识别区域的不同情况，分别采取不同的方式获取待处理图像的主体区域，在主体区域的图像内执行预设的算法，将通过算法提取的前景区域对应的图像作为待处理图像的主体部分。从而在实现了图像主体自动提取的基础上，使提取出的主体精确、可靠，提高了处理效率。
附图说明
图1为本申请提出的一种图像主体提取方法的流程示意图；
图2为本申请具体实施例中商品图像的超像素分割结果示意图；
图3为本申请具体实施例中商品图像的头肩检测结果示意图；
图4为本申请具体实施例中根据头肩检测估计矩形的结果示意图；
图5a为本申请具体实施例中未检测到头肩的商品原图示意图；
图5b为本申请具体实施例基于图5a的商品显著性示意图；
图6a为本申请具体实施例中二值化的商品显著性示意图；
图6b为本申请具体实施例中包围各多边形的矩形示意图；
图6c为本申请具体实施例中包围所有矩形的***矩形框示意图；
图7a为本申请具体实施例中检测到头肩的商品图像最终主体提取结果示意图；
图7b为本申请具体实施例中未检测到头肩的商品图像最终主体提取结果示意图；
图8为本申请具体实施例中图像主体 提取效果示意图；
图9为本申请具体实施例中图像主体 提取效果另一示意图；
图10为本申请具体实施例中图像主体 提取效果另一示意图；
图11为本申请具体实施例中图像主体 提取效果另一示意图；
图12为本申请提出的一种图像主体 提取***的结构示意图。
具体实施方式
如背景技术所述，现有的图像提取技术无法兼顾图像提取的效率以及准确度，为此本申请实施例提出的一种图像主体提取方法，在判断待处理图像中存在与指定特征对应的待识别区域之后，结合预设的主体区域特征参数以及待识别区域的坐标信息确定包含主体部分的主体区域，并针对主体区域中的图像进行前景目标提取处理以提取主体部分，在实现了图像主体自动提取的基础上，使提取出的主体精确、可靠，提高了处理效率。
如图1所示，为本申请实施例提出的一种图像主体提取方法的流程示意图，包括以下步骤：
S101，判断所述待处理图像中是否存在与指定特征对应的待识别区域。
基于所希望提取的图像主体部分，本申请实施例可以预先为该主体部分指定一个相关联的特征，通过检测与该指定特征对应的待识别区域来进行进一步的精细提取操作。
由于原始图片的数量一般都是非常庞大的，为了能够进一步地提高效率，本申请实施例针对大量的原始图片优选采取预处理机制来筛选待处理图片，通过判断图像是否已经为纯色背景，过滤已较好展现主体的图像，减少需提取主体的图片数目。因此，在本步骤之前可预先执行以下操作：
a).将所述待处理图像进行超像素分割处理，并确定处理后各超像素块的颜色的平均值。
超像素为图像中由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域，这些小区域大多保留了进一步进行图像分割的有效信息，并且一般不会破坏图像中物体的边界信息。在通过超像素图像分割将图像分割为不含强边缘的超像素区域之后，可以优选采用颜色模型(Lab)来衡量各超像素块的颜色的平均值。
b).确定所述待处理图像的纯色背景分数，并根据所述纯色背景分数判断所述待处理图像是否为纯色背景。
基于上一步骤中所使用的Lab颜色，本步骤可进一步对待处理图像四边的超像素块的Lab颜色平均值根据预设的参数进行聚类处理，将包含聚类处理后数据点数目较多的聚类中心所代表的颜色值作为所述待处理图像的背景色。优选地，可将符合所述背景色的颜色阈值的超像素块中所包含的像素数与所述待处理图像的总像素数的比值作为所述纯色背景分数。在得到纯色背景分数之后，可进一步判断纯色背景分数是否高于预设的阈值，如果判断结果为是，则确认待处理图像为纯色背景，否则，可继续判断待处理图像中是否存在与指定特征对应的待识别区域。
在具体实施例中，本申请采用SLIC(Simple linear iterative clustering)方法进行超像素分割，首先将图像数据由初始色彩空间转为CIELAB色彩空间，加上归一化后像素点位置，形成5维数据空间；选择规定栅格距离S的K个聚类中心Ck＝[lk，ak,bk，xk，yk]T；计算聚类中心周围2S×2S范围内数据点到聚类中心的距离，将数据点划入最近的聚类中。
在以上过程中，距离Ds的计算公式为：
其中，m为紧密因数。本实例中，设置超像素个数为200，紧密因数设为 10，可将商品图像划分为接近200个超像素块，超像素分割示意图如图2所示。
之后继续计算各超像素块的Lab颜色平均值：
取出靠近图像四边的超像素块的Lab颜色平均值，进行k＝2，数据维度为 3的kmeans聚类，取包含数据点数目较多的聚类中心代表的颜色值作为图像背景色(LB，aB，bB)。
计算符合下式的超像素块中包含的像素数
其中，θ为预设的颜色阈值，若超像素块的颜色平均值与图像背景色的距离小于θ，则判断该超像素块颜色与图像背景色相同。此处阈值设为100。
最后计算图像的纯色背景分数：
pr＝pθ/pall (6)
其中，pall为图像的总像素数。根据实验确定，若纯色背景分数大于0.3，则商品图像为纯色背景。若为纯色背景则不用提取商品主体。
需要说明的是，以上通过Lab颜色以及聚类处理以获取纯色背景分数仅为本申请所提出的一种优选的实施方式，在上述处理完成之后，即可根据技术人员所指定的指定特征进行识别，步骤如下：
A1).检测所述待处理图像中是否存在与所述指定特征对应的区域，若存在，则转至步骤B1)；若不存在，则结束处理。
B1).对所述待处理图像中与所述指定特征对应的区域进行轮廓检测，并根据与所述指定特征对应的参数化表观模型对已检测的区域进行验证，确认所述区域是否为与所述指定特征对应的待识别区域。
在大多数具体应用场景中，人体图像中着装主体的提取往往是最重要的。因此，在优选实施例中，本步骤将与之关联的指定特征确定为人体头肩区域，在人体头肩区域人体头肩区域判断待处理图像中存在与人脸特征对应的区域之后，可进一步根据上半身检测算法以及头肩轮廓检测器对所述待处理图像中与人体头肩区域对应的区域进行检测，并基于头肩表观模型对已检测的区域进行验证，确认所述区域是否为与人体头肩区域对应的待识别区域。
优选地，以上述步骤中的头肩轮廓检测可以使用AdaBoost算法结合HoG 特征来训练得到，并且头肩表观模型则可基于深度网络模型建立，而显著性检测采用全局唯一性方法结合色彩空间分布方法来进行，当然本领域技术人员也可在此基础上进一步采取其他的算法或是优化模型，这些都包含在本申请的保护范围之内。
在本申请具体的实施例中，应用于服装类目的商品图片处理。例如，使用女装图像作为训练集，并可使用人脸检测算法，检测女装图像中的人脸。对于检测出单个人脸的图片，使用上半身检测算法，检测图片中的人体上半身头、颈、左肩、右肩位置。并可根据需要进一步通过人工剔除检测不准确的图片。之后继续使用AdaBoost算法结合HoG特征训练头肩检测器，相比人脸中使用的Haar特征，HoG特征更偏重于轮廓的描述，比较适用于头肩检测。采用5W正样本和5W负样本训练了13级AdaBoost分类器，取得了较高的检测率和比较低的虚警率。
由于HoG特征只是关注目标物体轮廓的表现，在实际使用AdaBoost检测器的时候会有不少的和头肩轮廓相似的虚警被检测出来，为了进一步减少虚警，加入基于深度网络模型的头肩表观模型，可以根据目标的表观特征对 AdaBoost的检测结果进行进一步的验证，在实际***中，二者的结合在没有明显降低检测率的条件下，虚警率大大降低，具体地，头肩检测结果示意图如图3所示。
S102，若存在所述待识别区域，根据预设的主体区域特征参数、所述待识别区域的坐标及大小，确定包含所述待处理图像的主体部分的主体区域。
本步骤在S101中判断商品图像中存在人体头肩区域后，可基于预设的主体区域特征参数对检测到头肩的图片直接估计包围人体区域的矩形框，节省算法运行时间。其中预设的区域参数可以根据以往的经验统计数据灵活设置，以可达到预估效果为准，具体的取值的不同不影响本申请的保护范围。
在具体实施例中，由S102 可获得头肩方框左上顶点的坐标(RectX, RectY)以及边长Length。通过对大量包含人体头肩的衣服商品图片实验，估计包围人体区域的矩形框的最佳参数。根据头肩检测估计矩形的示意图如图4 所示，矩形框的参数设置为：
左上角顶点X坐标＝RectX-0.5*Length(15)
左上角顶点Y坐标＝RectY+0.7*Length(16)
矩形框的宽width＝Length*2(17)
矩形框的高height＝Length*10(18)。
在通过S101判断不存在与指定特征对应的待识别区域时，本申请实施例还可进一步对待处理图像进行显著性检测，并根据检测后待处理图像中各像素点的显著性值确定待处理图像的主体区域。
在优选的实施例中，可通过显著性值确定主体区域，具体步骤如下：
a).对由所述显著性值所构成的显著性图进行二值化处理；
b).对二值化处理后的图像中的较小的色块进行清除处理；
c).查找清除处理后的图像中色块的轮廓线，并使用多边形近似各所述色块的轮廓线；
d).利用矩形包围各所述多边形，将包围各所述矩形的***矩形框作为所述主体区域。
在此需要指出的是，检测商品图像各像素点显著性值的方法有多种，以上通过全局唯一性方法(Global Uniqueness)结合色彩空间分布方法(Color SpatialDistribution)进行商品图像显著性检测为例进行说明。本申请对此不做限定，本领域技术人员也可使用其他可替代的方法包括基于直方图对比度的方法(HC)，基于区域对比度的方法(RC)，上下文感知方法(CA)和频域调谐方法(FT)等参考以上步骤实现主体区域的识别，这都在本申请的保护范围之内。
在具体的实施例中，可以采用全局唯一性方法(Global Uniqueness)结合色彩空间分布方法(Color Spatial Distribution)进行商品图像显著性检测，首先对图像颜色进行聚类并使用高斯混合模型(GMM)表示。每个像素的颜色 Is表示为多个GMM分量的加权组合，其属于某个分量c的概率表示为：
两个GMM分量ci和cj的相关性表示为：
全局唯一性方法(Global Uniqueness)将全局分量ci的唯一性表示为相对所有其他分量的加权色彩对比度：
其中，D(ci，cj)是两个GMM分量ci和cj中心的空间距离。
色彩空间分布方法(Color Spatial Distribution)首先计算聚类分量C的水平空间方差：
|X|C＝∑xp(C|Ix) (12)
其中，xh是像素x的x坐标，聚类分量C的空间方差为：
V(C)＝Vh(C)+Vv(C) (13)
垂直空间方差Vv(C)定义与水平空间方差vh(C)相似。最终的色彩空间分布值为：
S(C)＝(1-V(C))×(1-D(C)) (14)
其中，D(C)＝∑xp(C|Ix)dx，最终生成的显著性检测结果以及未检测到头肩的商品原图分别如图5b、图5a所示。
具体地，对于未检测出头肩的图像，使用以上步骤检测图像的显著性值，二值化商品图像的显著性值构成的显著性图，二值化阈值设为0.1；求出二值化后图像中所有色块的轮廓及包围的区域面积，去掉小于阈值的区域，用于清除二值化后图像中较小的色块，此处阈值设为5000；找出图像中剩余所有色块的轮廓线；使用多边形近似各个色块的轮廓线；求出包围各多边形的矩形，以及包围所有矩形的***矩形框，相关示意图分别如图6a、图6b以及图 6c所示。
S103 ，将所述主体区域中的图像作为前景图像进行前景目标提取处理，并将提取出的图像作为所述待处理图像的主体部分。
为了使主体区域更加地准确，在执行本步骤之前，本申请实施例提出了针对主体图像的优化机制，步骤如下：
a).依次判断各所述超像素块的平均显著性值是否高于预设的阈值；
b).若所述超像素块的平均显著性值高于设定阈值，则设置所述超像素块中各像素图像掩码值为非0；
c).根据包围掩码图像非0像素的***矩形框，更新所述主体区域。
通过以上过程处理后，所得到的主体区域能够更加精确可靠，而一旦在确定主体区域之后，将所述主体区域中的图像设置为前景图像，并初始化 GrabCut算法。其中，GrabCut是一种有效的从复杂背景中提取前景目标的交互式分割算法它利用高斯混合模型来描述像素的分布，并采用迭代估计法实现能量最小化，是目前比较优秀实用的算法之一。因此本申请在具体实施例中对前景图像执行GrabCut算法来得到待处理图像的主体部分，但这并非唯一的方式，在此基础上本领域技术人员可以选择其他的提取算法同样得到主体部分，这些都属于本申请的保护范围。
在具体的实施例中，本申请在本步骤首先对商品图像进行超像素分割，此处使用SLIC(Simple linear iterative clustering)方法进行超像素分割，超像素个数设为20，紧密因数设为10，可将商品图像划分为接近20个超像素块；计算每个超像素块中所有像素的平均显著性值；若超像素块的平均显著性值高于设定阈值，则设置该超像素块中各像素图像掩码值为非0，此处阈值设为 0.6；求出包围掩码图像非0像素的***矩形框。随后将所述矩形区域内的图像作为前景图像，所述矩形区域外的图像作为背景图像，初始化GrabCut算法。GrabCut算法利用高斯混合模型，通过不断进行分割估计和模型参数学习的交互迭代实现图像分割。将GrabCut算法求出的前景部分图像作为商品主体。检测到头肩的商品图像和未检测到头肩的商品图像最终主体提取结果分别如图7a、图7b所示。图像主体提取效果示意图如图8、图9、图10及图11 所示。
与本申请实施例提供的对图像进行解码的方法相对应，本申请实施例还提供了一种图像主体提取***，如图12所示，包括：
判断模块1201，用于判断待处理图像中是否存在与指定特征对应的待识别区域；
矩形框获取模块1202，用于在存在所述待识别区域时，根据预设的主体区域特征参数、所述待识别区域的坐标及大小，确定包含所述待处理图像的主体部分的主体区域；
提取模块1203，用于将所述主体区域中的图像作为前景图像进行前景目标提取处理，并将提取出的图像作为所述待处理图像的主体部分。
在具体的应用场景中，还包括：
分割模块，用于将所述待处理图像进行超像素分割处理，并确定处理后各超像素块的颜色的平均值；
背景色模块，用于根据所述各超像素块的颜色的平均值确定所述待处理图像的背景色；
纯色判断模块，用于确定所述待处理图像的纯色背景分数，并根据所述纯色背景分数判断所述待处理图像是否为纯色背景，所述纯色背景分数为符合所述背景色的颜色阈值的超像素块中所包含的像素数与所述待处理图像的总像素数的比值。
在具体的应用场景中，所述判断模块，具体包括：
检测子模块，用于检测所述待处理图像中是否存在与所述指定特征对应的区域；
确认子模块，用于所述检测子模块确认存在与所述指定特征对应的区域时，对所述待处理图像中与所述指定特征对应的区域进行轮廓检测，并根据与所述指定特征对应的参数化表观模型对已检测的区域进行验证，确认所述区域是否为与所述指定特征对应的待识别区域。
在具体的应用场景中，所述指定特征具体为人体头肩区域，所述确认子模块，具体用于根据上半身检测算法以及头肩轮廓检测器对所述待处理图像中与人体头肩区域对应的区域进行检测，并基于头肩表观模型对已检测的区域进行验证。
在具体的应用场景中，所述头肩轮廓检测器是通过使用AdaBoost算法结合HoG特征来训练得到的，所述头肩表观模型基于深度网络模型建立。
在具体的应用场景中，还包括：
显著性检测模块，用于在不存在所述待识别区域时，对所述待处理图像进行显著性检测，并根据检测后所述待处理图像中各像素点的显著性值确定所述待处理图像的主体区域。
在具体的应用场景中，所述显著性检测模块，具体用于对由所述显著性值所构成的显著性图进行二值化处理，对二值化处理后的图像中的较小的色块进行清除处理，查找清除处理后的图像中色块的轮廓线，并使用多边形近似各所述色块的轮廓线，利用矩形包围各所述多边形，将包围各所述矩形的***矩形框作为所述主体区域。
在具体的应用场景中，还包括：
矩形框改进模块，用于对所述待处理图像进行超像素分割处理，并确定处理后各超像素块中所有像素的平均显著性值，依次判断各所述超像素块的平均显著性值是否高于预设的阈值，并在所述超像素块的平均显著性值高于设定阈值时设置所述超像素块中各像素图像掩码值为非0，利用包围掩码图像非0像素的***矩形框更新所述主体区域。
在具体的应用场景中，所述提取模块，具体用于将所述主体区域中的图像设置为前景图像，并初始化GrabCut算法，对所述前景图像执行所述GrabCut 算法。
通过应用本申请的技术方案，根据待处理图像中是否存在与指定特征对应的待识别区域的不同情况，分别采取不同的方式获取待处理图像的主体区域，再主体区域的图像内执行预设的算法，将通过算法提取的前景区域对应的图像作为待处理图像的主体部分。从而在实现了图像主体自动提取的基础上，使提取出的主体精确、可靠，提高了处理效率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种图像主体提取方法，其特征在于，包括：
判断待处理图像中是否存在与指定特征对应的待识别区域；
若存在所述待识别区域，根据预设的主体区域特征参数、所述待识别区域的坐标及大小，确定包含所述待处理图像的主体部分的主体区域；
将所述主体区域中的图像作为前景图像进行前景目标提取处理，并将提取出的图像作为所述待处理图像的主体部分；
其中，所述判断待处理图像中是否存在与指定特征对应的待识别区域，具体为：检测所述待处理图像中是否存在与所述指定特征对应的区域；若存在，对所述待处理图像中与所述指定特征对应的区域进行轮廓检测，并根据与所述指定特征对应的参数化表观模型对已检测的区域进行验证，确认所述区域是否为与所述指定特征对应的待识别区域；
其中，所述指定特征具体为人体头肩区域，所述对所述待处理图像中与所述指定特征对应的区域进行轮廓检测，并根据与所述指定特征对应的参数化表观模型对已检测的区域进行验证，具体为：根据上半身检测算法以及头肩轮廓检测器对所述待处理图像中与人体头肩区域对应的区域进行检测，并基于头肩表观模型对已检测的区域进行验证；
所述方法还包括：若不存在所述待识别区域，对所述待处理图像进行显著性检测，并根据检测后所述待处理图像中各像素点的显著性值确定所述待处理图像的主体区域；
其中，在将所述主体区域中的图像作为前景图像进行前景目标提取处理之前，所述方法还包括：对所述待处理图像进行超像素分割处理，并确定处理后各超像素块中所有像素的平均显著性值；依次判断各所述超像素块的平均显著性值是否高于预设的阈值；若所述超像素块的平均显著性值高于设定阈值，则设置所述超像素块中各像素图像掩码值为非0；利用包围掩码图像非0像素的***矩形框更新所述主体区域。
2.如权利要求1所述的方法，其特征在于，在判断待处理图像中是否存在与指定特征对应的待识别区域之前，还包括：
将所述待处理图像进行超像素分割处理，并确定处理后各超像素块的颜色的平均值；
根据所述各超像素块的颜色的平均值确定所述待处理图像的背景色；
确定所述待处理图像的纯色背景分数，并根据所述纯色背景分数判断所述待处理图像是否为纯色背景，所述纯色背景分数为符合所述背景色的颜色阈值的超像素块中所包含的像素数与所述待处理图像的总像素数的比值。
3.如权利要求1所述的方法，其特征在于，
所述头肩轮廓检测器是通过使用AdaBoost算法结合HoG特征来训练得到的，所述头肩表观模型基于深度网络模型建立。
4.如权利要求1所述的方法，其特征在于，所述根据检测后所述待处理图像中各像素点的显著性值确定所述待处理图像的主体区域，具体为：
对由所述显著性值所构成的显著性图进行二值化处理；
对二值化处理后的图像中的较小的色块进行清除处理；
查找清除处理后的图像中色块的轮廓线，并使用多边形近似各所述色块的轮廓线；
利用矩形包围各所述多边形，将包围各所述矩形的***矩形框作为所述主体区域。
5.如权利要求1所述的方法，其特征在于，将所述主体区域中的图像作为前景图像进行前景目标提取处理，具体为：
将所述主体区域中的图像设置为前景图像，并初始化GrabCut算法；
对所述前景图像执行所述GrabCut算法。
6.一种图像主体提取***，其特征在于，包括：
判断模块，用于判断待处理图像中是否存在与指定特征对应的待识别区域；
矩形框获取模块，用于在存在所述待识别区域时，根据预设的主体区域特征参数、所述待识别区域的坐标及大小，确定包含所述待处理图像的主体部分的主体区域；
提取模块，用于将所述主体区域中的图像作为前景图像进行前景目标提取处理，并将提取出的图像作为所述待处理图像的主体部分；
所述判断模块，具体包括：检测子模块，用于检测所述待处理图像中是否存在与所述指定特征对应的区域；确认子模块，用于所述检测子模块确认存在与所述指定特征对应的区域时，对所述待处理图像中与所述指定特征对应的区域进行轮廓检测，并根据与所述指定特征对应的参数化表观模型对已检测的区域进行验证，确认所述区域是否为与所述指定特征对应的待识别区域；
其中，所述指定特征具体为人体头肩区域，所述确认子模块，具体用于根据上半身检测算法以及头肩轮廓检测器对所述待处理图像中与人体头肩区域对应的区域进行检测，并基于头肩表观模型对已检测的区域进行验证；
所述***还包括：显著性检测模块，用于在不存在所述待识别区域时，对所述待处理图像进行显著性检测，并根据检测后所述待处理图像中各像素点的显著性值确定所述待处理图像的主体区域；
所述***还包括：矩形框改进模块，用于对所述待处理图像进行超像素分割处理，并确定处理后各超像素块中所有像素的平均显著性值，依次判断各所述超像素块的平均显著性值是否高于预设的阈值，并在所述超像素块的平均显著性值高于设定阈值时设置所述超像素块中各像素图像掩码值为非0，利用包围掩码图像非0像素的***矩形框更新所述主体区域。
7.如权利要求6所述的***，其特征在于，还包括：
分割模块，用于将所述待处理图像进行超像素分割处理，并确定处理后各超像素块的颜色的平均值；
背景色模块，用于根据所述各超像素块的颜色的平均值确定所述待处理图像的背景色；
纯色判断模块，用于确定所述待处理图像的纯色背景分数，并根据所述纯色背景分数判断所述待处理图像是否为纯色背景，所述纯色背景分数为符合所述背景色的颜色阈值的超像素块中所包含的像素数与所述待处理图像的总像素数的比值。
8.如权利要求6所述的***，其特征在于，
所述头肩轮廓检测器是通过使用AdaBoost算法结合HoG特征来训练得到的，所述头肩表观模型基于深度网络模型建立。
9.如权利要求6所述的***，其特征在于，
所述显著性检测模块，具体用于对由所述显著性值所构成的显著性图进行二值化处理，对二值化处理后的图像中的较小的色块进行清除处理，查找清除处理后的图像中色块的轮廓线，并使用多边形近似各所述色块的轮廓线，利用矩形包围各所述多边形，将包围各所述矩形的***矩形框作为所述主体区域。
10.如权利要求6所述的***，其特征在于，
所述提取模块，具体用于将所述主体区域中的图像设置为前景图像，并初始化GrabCut算法，对所述前景图像执行所述GrabCut算法。
CN201410584982.3A 2014-10-27 2014-10-27 一种图像主体提取方法及*** Active CN105631455B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410584982.3A CN105631455B (zh) 2014-10-27 2014-10-27 一种图像主体提取方法及***
JP2017521554A JP6719457B2 (ja) 2014-10-27 2015-10-22 画像の主要被写体を抽出する方法とシステム
PCT/CN2015/092505 WO2016066038A1 (zh) 2014-10-27 2015-10-22 一种图像主体提取方法及***
US15/499,840 US10497121B2 (en) 2014-10-27 2017-04-27 Method and system for extracting a main subject of an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410584982.3A CN105631455B (zh) 2014-10-27 2014-10-27 一种图像主体提取方法及***

Publications (2)

Publication Number Publication Date
CN105631455A CN105631455A (zh) 2016-06-01
CN105631455B true CN105631455B (zh) 2019-07-05

Family

ID=55856591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410584982.3A Active CN105631455B (zh) 2014-10-27 2014-10-27 一种图像主体提取方法及***

Country Status (4)

Country Link
US (1) US10497121B2 (zh)
JP (1) JP6719457B2 (zh)
CN (1) CN105631455B (zh)
WO (1) WO2016066038A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631455B (zh) 2014-10-27 2019-07-05 阿里巴巴集团控股有限公司 一种图像主体提取方法及***
JP6148426B1 (ja) * 2016-05-27 2017-06-14 楽天株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10573040B2 (en) * 2016-11-08 2020-02-25 Adobe Inc. Image modification using detected symmetry
CN106780306B (zh) * 2016-12-09 2020-07-24 腾讯音乐娱乐（深圳）有限公司 一种重构稿生成方法及装置
CN108269260B (zh) * 2016-12-30 2021-08-27 粉迷科技股份有限公司 动态影像去背方法、***与计算机可读取存储装置
CN106815848A (zh) * 2017-01-17 2017-06-09 厦门可睿特信息科技有限公司 基于grubcut和人工智能的人像背景分离及轮廓提取方法
CN108694719B (zh) * 2017-04-05 2020-11-03 北京京东尚科信息技术有限公司 图像输出方法和装置
CN107452013A (zh) * 2017-05-27 2017-12-08 深圳市美好幸福生活安全***有限公司 基于Harris角点检测和Sugeno模糊积分的显著性检测方法
CN109003289B (zh) * 2017-12-11 2021-04-30 罗普特科技集团股份有限公司 一种基于颜色标签的目标跟踪快速初始化方法
CN108198172B (zh) * 2017-12-28 2022-01-28 北京大学深圳研究生院 图像显著性检测方法和装置
CN108968991B (zh) * 2018-05-08 2022-10-11 平安科技（深圳）有限公司 手骨x光片骨龄评估方法、装置、计算机设备和存储介质
CN109410169B (zh) * 2018-09-11 2020-06-05 广东智媒云图科技股份有限公司 一种图像背景干扰度的识别方法及装置
CN109389582B (zh) * 2018-09-11 2020-06-26 广东智媒云图科技股份有限公司 一种图像主体亮度的识别方法及装置
CN109584251A (zh) * 2018-12-06 2019-04-05 湘潭大学 一种基于单目标区域分割的舌体图像分割方法
CN111476253B (zh) * 2019-01-23 2024-04-02 阿里巴巴集团控股有限公司 服装图像分类、图像分类方法、装置及设备
CN110084801A (zh) * 2019-04-28 2019-08-02 深圳回收宝科技有限公司 一种终端屏幕的检测方法、装置、便携式终端和存储介质
CN110717865B (zh) * 2019-09-02 2022-07-29 苏宁云计算有限公司 图片检测方法及装置
CN110569380B (zh) * 2019-09-16 2021-06-04 腾讯科技（深圳）有限公司 一种图像标签获取方法、装置及存储介质和服务器
JP7439431B2 (ja) * 2019-09-25 2024-02-28 株式会社Ｊｖｃケンウッド 情報配信装置、情報生成方法、及び情報生成プログラム
US11039037B2 (en) * 2019-10-31 2021-06-15 Kyocera Document Solutions Inc. Image processing apparatus, image forming apparatus and image processing method for improving efficiency of clipping process
CN113256361A (zh) * 2020-02-10 2021-08-13 阿里巴巴集团控股有限公司 商品发布方法及图像处理方法、装置、设备和存储介质
CN111383244B (zh) * 2020-02-28 2023-09-01 浙江大华技术股份有限公司 一种目标检测跟踪方法
CN113627453A (zh) * 2020-05-08 2021-11-09 珠海金山办公软件有限公司 一种纯色背景图像抠图方法、装置及电子设备
CN111724396B (zh) * 2020-06-17 2023-07-14 泰康保险集团股份有限公司 图像分割方法及装置、计算机可读存储介质、电子设备
US11776184B2 (en) * 2020-10-18 2023-10-03 Adobe, Inc. Sky replacement
CN113194282A (zh) * 2021-04-13 2021-07-30 杭州三信网络技术有限公司 一种基于后端人工智能的视播融合应急广播***
CN115439334A (zh) * 2021-06-02 2022-12-06 中国科学院分子植物科学卓越创新中心 整穗图像处理方法和装置
CN114108757B (zh) * 2021-12-13 2024-04-05 广东威力电器有限公司 一种厕用虹吸式人体红外自动感应冲水***
CN114494730A (zh) * 2022-04-15 2022-05-13 深圳安牌信息技术有限公司 基于图像识别的商标自动分类处理***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467740A (zh) * 2010-11-08 2012-05-23 北京大学 一种大尺寸彩色图像的前景和背景交互式分割方法及***
CN102598113A (zh) * 2009-06-30 2012-07-18 安芯美特控股有限公司 匹配出现在两个或多个图像内的对象或人的方法、电路和***
CN102779270A (zh) * 2012-06-21 2012-11-14 西南交通大学 一种针对购物图像搜索的目标衣物图像提取方法
CN103164858A (zh) * 2013-03-20 2013-06-19 浙江大学 基于超像素和图模型的粘连人群分割与跟踪方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003295318A1 (en) * 2002-06-14 2004-04-19 Honda Giken Kogyo Kabushiki Kaisha Pedestrian detection and tracking with night vision
US7200266B2 (en) * 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
JP4318465B2 (ja) * 2002-11-08 2009-08-26 コニカミノルタホールディングス株式会社 人物検出装置および人物検出方法
US7864989B2 (en) * 2006-03-31 2011-01-04 Fujifilm Corporation Method and apparatus for adaptive context-aided human classification
JP4626692B2 (ja) * 2008-09-12 2011-02-09 ソニー株式会社 物体検出装置、撮像装置、物体検出方法およびプログラム
JP2011035636A (ja) 2009-07-31 2011-02-17 Casio Computer Co Ltd 画像処理装置及び方法
US8638993B2 (en) * 2010-04-05 2014-01-28 Flashfoto, Inc. Segmenting human hairs and faces
US9025864B2 (en) 2010-06-01 2015-05-05 Hewlett-Packard Development Company, L.P. Image clustering using a personal clothing model
EP2395452A1 (en) * 2010-06-11 2011-12-14 Toyota Motor Europe NV/SA Detection of objects in an image using self similarities
CN102446347B (zh) * 2010-10-09 2014-10-01 株式会社理光 图像白平衡方法和装置
JP5873442B2 (ja) * 2010-12-09 2016-03-01 パナソニック株式会社 物体検出装置および物体検出方法
US9153031B2 (en) * 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
JP6032921B2 (ja) 2012-03-30 2016-11-30 キヤノン株式会社 物体検出装置及びその方法、プログラム
JP6192271B2 (ja) * 2012-08-22 2017-09-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN105631455B (zh) 2014-10-27 2019-07-05 阿里巴巴集团控股有限公司 一种图像主体提取方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598113A (zh) * 2009-06-30 2012-07-18 安芯美特控股有限公司 匹配出现在两个或多个图像内的对象或人的方法、电路和***
CN102467740A (zh) * 2010-11-08 2012-05-23 北京大学 一种大尺寸彩色图像的前景和背景交互式分割方法及***
CN102779270A (zh) * 2012-06-21 2012-11-14 西南交通大学 一种针对购物图像搜索的目标衣物图像提取方法
CN103164858A (zh) * 2013-03-20 2013-06-19 浙江大学 基于超像素和图模型的粘连人群分割与跟踪方法

Also Published As

Publication number Publication date
WO2016066038A1 (zh) 2016-05-06
US10497121B2 (en) 2019-12-03
US20170228872A1 (en) 2017-08-10
JP2017531883A (ja) 2017-10-26
JP6719457B2 (ja) 2020-07-08
CN105631455A (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
CN105631455B (zh) 一种图像主体提取方法及***
CN106874894B (zh) 一种基于区域全卷积神经网络的人体目标检测方法
CN110543837B (zh) 一种基于潜在目标点的可见光机场飞机检测方法
CN104933414B (zh) 一种基于wld-top的活体人脸检测方法
CN105518709B (zh) 用于识别人脸的方法、***和计算机程序产品
CN105160317B (zh) 一种基于区域分块行人性别识别方法
CN103810490B (zh) 一种确定人脸图像的属性的方法和设备
CN104463117B (zh) 一种基于视频方式的人脸识别样本采集方法及***
CN102722891B (zh) 一种图像显著度检测的方法
CN105740780B (zh) 人脸活体检测的方法和装置
CN109918969A (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
CN102509104B (zh) 基于置信度图的增强现实场景虚拟对象判别和检测方法
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN107346409A (zh) 行人再识别方法和装置
US9443137B2 (en) Apparatus and method for detecting body parts
CN102521579B (zh) 一种基于二维平面摄像头推的动作识别方法及***
CN104537689B (zh) 基于局部对比显著性联合特征的目标跟踪方法
CN103745197B (zh) 一种车牌检测方法及装置
Zheng et al. Color recognition of clothes based on k-means and mean shift
CN108090485A (zh) 基于多视角融合的图像前景自动提取方法
CN106326834A (zh) 人体性别自动识别方法及装置
CN110020627A (zh) 一种基于深度图与特征融合的行人检测方法
CN105930789B (zh) 基于对数欧式空间词袋模型的人体行为识别
CN103077383B (zh) 基于时空梯度特征的分部位的人体运动识别方法
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1229030

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant