CN108090485A - 基于多视角融合的图像前景自动提取方法 - Google Patents

基于多视角融合的图像前景自动提取方法 Download PDF

Info

Publication number
CN108090485A
CN108090485A CN201711216652.9A CN201711216652A CN108090485A CN 108090485 A CN108090485 A CN 108090485A CN 201711216652 A CN201711216652 A CN 201711216652A CN 108090485 A CN108090485 A CN 108090485A
Authority
CN
China
Prior art keywords
pixel
mrow
image
super
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711216652.9A
Other languages
English (en)
Inventor
王敏
马宏斌
侯本栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Kunshan Innovation Institute of Xidian University
Original Assignee
Xidian University
Kunshan Innovation Institute of Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University, Kunshan Innovation Institute of Xidian University filed Critical Xidian University
Priority to CN201711216652.9A priority Critical patent/CN108090485A/zh
Publication of CN108090485A publication Critical patent/CN108090485A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多视角融合的图像前景自动提取方法，主要解决现有基于技术提取过程繁琐和提取前景边缘不精确的问题。其实现方案是：先对SVM分类器进行训练，再获取待提取图像的灰度图像；通过训练好的SVM分类器在灰度图像中检测包含前景的子图像；将子图像在待提取图像中的位置坐标作为GrabCut算法的输入，对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果；以SLIC算法对待提取图像生成超像素视角下的图像；将超像素视角下的图像和像素视角下的提取结果进行融合，得到待提取图像前景提取结果。本发明简化了前景提取过程，提高了提取的效率和精度，可用于立体视觉、图像语义识别，三维重建和图像搜索。

Description

基于多视角融合的图像前景自动提取方法
技术领域
本发明属于图像处理技术领域，更进一步涉及一种基于多视角融合的图像前景自动提取方法，本发明可用于立体视觉、图像语义识别，图像搜索等的应用与研究。
背景技术
前景提取是一种在图像中提取感兴趣目标的手段。它把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，并且已经成为从图像处理到图像分析的关键步骤。具体解释为根据灰度、颜色、纹理和形状等特征把图像划分成若干互补交叠的区域，并使这些特征在同一区域内呈现出相似性，而在不同区域间呈现出明显的差异。经过了几十年的发展与变化，前景提取逐步形成了自己的科学体系，新的提取方法层出不穷，已然成为了一个跨学科的领域，并且引起了各个领域的研究人员和应用人士的广泛关注，如医学领域，航空航天遥感领域，工业检测，安防与军事领域等。
当前前景提取方法主要包括基于阈值的前景提取方法、基于边缘的前景提取方法、基于区域的前景提取方法、基于图切割的前景提取方法、基于能量泛函的前景提取方法和基于深度学习的图像前景提取方法等。其中基于图切割的前景提取方法因为提取精度高，操作简单而受到青睐，基于图切割的前景提取方法是一种基于图论的组合优化方法,根据用户的交互信息，它将一幅图像映射成一个网络图，并建立关于标号的能量函数，运用最大流最小割算法对网络图进行有限次的迭代切割，得到网络图的最小割，作为图像的前景提取结果。但是因为人机交互的存在，对多幅图像进行提取时，人工操作量太大，限制了其在工程中的应用。例如，Meng Tang等人2013年在2013IEEE International Conference onComputer Vision上发表的《GrabCut in One Cut》，通过用户选择前景区域，然后将前景所在区域映射为图，通过One Cut对映射图进行有限次迭代切割，获得图像的前景提取结果，但是需要人机交互标定前景所在区域，导致前景提取过程比较繁琐，而且有限次的能量迭代优化只能获得较优解的最小割，难以得到精确的前景边缘。
发明内容
本发明的目的在于针对上述已有技术的不足，提出了一种基于多视角融合的图像前景自动提取方法，用于解决现有基于图切割的前景提取方法中，因为人机交互的存在导致的前景提取过程比较繁琐和有限次的能量迭代优化导致的前景边缘不精确的问题。
为实现上述目的，本发明采取的技术方案包括如下：
(1)对SVM分类器进行训练，得到训练好的SVM分类器；
(2)对待提取图像进行灰度化，得到灰度图像；
(3)通过训练好的SVM分类器，在灰度图像中检测包含前景目标的子图像pk；
(3a)采用多尺度窗口，按照设定的间隔在灰度图像中进行逐行滑动，得到由多个子图像组成的图像集P＝{p1,p2,...pk,...,pq}，其中，k∈[1,q],pk为第k个子图像，q为子图像的数量；
(3b)提取图像集P中各子图像pk的方向梯度直方图HOG特征，并将其输入到训练好的SVM分类器中进行分类，计算得到子图像pk的标签lpk；
(3c)判断子图像pk的标签lpk是否为正，若是，则子图像pk包含前景目标，记录子图像pk在待提取图像的位置，即子图像pk左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，执行步骤(4)，否则，丢弃图像pk；
(4)对待提取图像进行前景提取：
采用子图像pk左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，对GrabCut算法的人机交互进行替换，并利用替换结果对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果S1(x,y)；
(5)采用简单线性迭代聚类算法SLIC计算待提取图像的超像素，得到超像素视角下的图像：B＝{b1,b2,...,bi,...,bm}，i∈[1,m],bi为第i个超像素，m为超像素的数量；
(6)对超像素视角下的图像B和待提取图像的像素视角下的提取结果S1(x,y)进行多视角融合，得到待提取图像前景S2(xi,yi)。
本发明与现有技术相比，具有如下优点：
1)本发明采用训练的SVM分类器获得待提取图像中前景所在的子图像，并采用子图像在待提取图像中的位置坐标替换GrabCut算法的人机交互获得的矩形区域作为算法输入，实现对待提取图像的前景提取，充分结合了SVM分类器和GrabCut算法，可以自动完成图像前景提取过程，解决了现有基于图切割的前景提取方法中，因为人机交互的存在导致的前景提取过程比较繁琐的问题，有效地提高了图像前景提取的效率。
2)本发明采用SLIC算法对待提取图像进行超像素提取，充分利用了超像素块内一致性较好的特点，通过对超像素视角下的图像和像素视角下的提取结果进行融合，可得到待提取图像的前景精确提取结果，
3)本发明通过引入超像素，使前景提取结果更加精确，平滑，解决了现有基于图切割的前景提取方法中，因为有限次的能量迭代优化导致的前景边缘不精确的问题，提高了图像前景提取的精度。
附图说明
图1是本发明的实现流程图；
图2是本发明中的样本图像集结构图；
图3是本发明中提取HOG特征的示意图；
图4是本发明中对HOG特征的可视化展示图；
图5是用本发明对行人、树叶作为前景的提取实验结果图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，基于多视角融合的图像前景自动提取方法，包括以下步骤：
步骤1，对SVM分类器进行训练。
(1a)采集含有前景类别的样本图像集，并对其中的所有样本图像进行灰度化，得到样本灰度图像集；
含有前景类别的样本图像集的结构图如图2所示，其包含正样本、负样本和样本标签文件，其中正样本为包含前景的图像，负样本为不包含前景的图像，样本标签文件用于对正样本和负样本的类别和存储位置进行说明；
所述的对样本图像集中的所有样本图像进行灰度化，是将样本图像中的三通道的红色分量R，绿色分量G，蓝色分量B，进行加权平均，得到样本图像的灰度图像灰度值Gray：
Gray＝R×0.299+G×0.587+B×0.114；
(1b)提取样本灰度图像集中各图像的方向梯度直方图HOG特征：
参照图3，本步骤的具体实现如下：
(1b1)将输入图像分为连通相邻且不重叠的若干个单元，在每个单元内计算像素的梯度幅值G(x,y)和梯度方向α(x,y)，计算公式分别为：
其中，Gx(x,y)＝H(x+1,y)-H(x-1,y)表示输入图像中像素点(x,y)处的水平方向梯度，Gy(x,y)＝H(x,y+1)-H(x,y-1)表示输入图像中像素点(x,y)处的垂直方向梯度，H(x,y)表示输入图像中像素点(x,y)处的像素值；
(1b2)将所有梯度方向α(x,y)划分为9个角度，作为直方图的横轴，每个角度范围所对应的梯度值累加作为直方图的纵轴，得到梯度直方图；
(1b3)统计每个单元的梯度直方图，得到每个单元的特征描述子；
(1b4)将8×8个单元组成一个块，串联一个块内所有单元的特征描述子，得到该块的方向梯度直方图HOG特征描述子；
(1b5)将输入图像内所有块的方向梯度直方图HOG特征描述子进行串联，得到该输入图像的方向梯度直方图HOG特征，其中方向梯度直方图HOG特征的可视化展示图如图4所示，其中图4(a)为示例样图，图4(b)示例样图的方向梯度直方图HOG特征图，由图4可见，方向梯度直方图HOG特征通过梯度或边缘方向密度很好的描述局部目标的表象和形状；
(1b6)将样本灰度图像集中所有输入图像的方向梯度直方图HOG特征进行串联，得到该样本灰度图像集的方向梯度直方图HOG特征集；
(1c)采用样本方向梯度直方图HOG特征集中所有的方向梯度直方图HOG特征对SVM分类器进行训练，得到训练好的SVM分类器。
步骤2，对待提取图像进行灰度化，得到灰度图像。
将待提取图像中的三通道的红色分量R′，绿色分量G′，蓝色分量B′三者进行加权平均，得到待提取图像中每个像素点的灰度值Gray′：
Gray′＝R′×0.299+G′×0.587+B′×0.114
根据每个像素点的灰度值得到待提取图像的灰度图像。
步骤3，利用训练好的SVM分类器，在待提取图像的灰度图像中检测包含前景目标的子图像pi，得到子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)。
(3a)采用多尺度窗口，按照设定的间隔在待提取图像的灰度图像中进行逐行滑动，得到由多个子图像组成的图像集：P＝{p1,p2,...pk,...,pq}，其中，pk为第k个子图像，q为子图像的数量；
(3b)提取图像集P中各子图像pk的方向梯度直方图HOG特征，并将其输入到训练好的SVM分类器中进行分类，得到子图像pk的标签lpk,lpk的计算公式为：
其中， k为SVM分类器的超平面的第k个法向量，xk为子图像0k的方向梯度直方图HOG特征，k∈[1,q]，q为子图像个数，φ为SVM分类器的超平面的位移项。
(3c)判断子图像pk的标签lpk是否为正，若是，则子图像pk包含前景目标，记录子图像pk在待提取图像的位置，即子图像pk左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，并用子图像pi左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，组成包含前景的矩形区域，执行步骤4，否则，丢弃子图像pk。
步骤4，对待提取图像进行前景提取。
前景提取方法主要包括基于阈值的前景提取方法、基于边缘的前景提取方法、基于区域的前景提取方法、基于图切割的前景提取方法、基于能量泛函的前景提取方法和基于深度学习的图像前景提取方法等。本实例采用但不局限于基于图切割的前景提取方法中基于GrabCut算法进行前景提取，其具体实现是：采用子图像pi左上角和右下角的像素在待提取图像的相应位置(xmin,ymin)，(xmax,ymax)和待提取图像作为GrabCut算法的输入，对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果S1(x,y)。
步骤5，计算待提取图像的超像素。
计算待提取图像的超像素，现有方法包括基于图论的方法和基于梯度下降的方法；本实例采用但不局限于基于梯度下降的方法中基于SLIC算法进行超像素提取；具体步骤如下：
(5a)将待提取图像从RGB颜色空间转换到CIE-Lab颜色空间，得到CIE-Lab图像；
所述的待提取图像从RGB颜色空间转换到CIE-Lab颜色空间，其中在RGB和LAB之间没有直接的转换公式，其必须用XYZ颜色空间作为中间层，转换公式为：
其中，r,g,b为待提取图像像素的三个通道分量，R,G,B是r,g,b经过校正函数gamma(t)校正之后的三个通道分量，
由RGB颜色空间到XYZ颜色空间的转换公式得到XYZ颜色空间的X,Y,Z三个通道分量；其转换公式为：
其中，为一个3×3的矩阵；
在CIE-Lab颜色空间中，由XYZ颜色空间到CIE-Lab颜色空间转换公式得到CIE-Lab颜色空间L，a，b三通道的值，其转换公式为：
L＝116f(Y/Yn)
b＝500(f(X/Xn)-f(Y/Yn))
a＝200(f(Y/Yn)-f(Z/Zn))
其中，X，Y，Z为RGB颜色空间向XYZ颜色空间转换后的三通道分量；Xn，Yn，Zn取值分别为95.047，100.0，108.883；f(X/Xn)，f(Y/Yn)，f(Z/Zn)通过如下函数计算出：
(5b)初始化超像素的聚类中心：设定超像素个数m＝200，在CIE-Lab图像内按照超像素个数均匀的分配超像素聚类中心，得到聚类中心集其中，为第d次迭代后的第i个聚类中心，共m个，其中，li,ai,bi为CIE-Lab颜色空间的三个通道，(xi,yi)为bi坐标；
(5c)对CIE-Lab图像的每一个像素pixel，设置标签l(pixel)＝-1和距离d(pixel)＝∞；
(5d)分别计算聚类中心集Cd中聚类中心的3×3邻域内所有像素点的梯度值，并将聚类中心移到该领域内梯度最小的像素点上，获得新的聚类中心集Cd+1；
(5e)对于聚类中心集Cd中每一个聚类中心的2S×2S内的每一个像素pixel＝[lp,ap,bp,xp,yp]，计算与pixel的距离D(pixel)：
其中为像素点间的颜色差异，
为像素点间的空间距离，
M为dc的最大值，N为图像所有像素点个数，m为设定的超像素个数；
(5f)比较d(pixel)与D(pixel)的大小，如果D(pixel)＜d(pixel)，则将D(pixel)赋值给d(pixel)，设d(pixel)＝D(pixel)，即用d(pixel)记录该像素到聚类中心的距离，并用该像素标签l(pixel)标记该像素属于第i个超像素，l(pixel)＝i，得到新的超像素bi；
(5g)重复执行步骤(5d)～(5f)，更新聚类中心，直到残余误差收敛，得到超像素图像B＝{b1,b2,...,bi,...,bm}。
步骤6，对超像素视角下的图像和待提取图像的像素视角下的提取结果S1(x,y)进行多视角融合，得到待提取图像前景S2(xi,yi)。
(6a)对超像素视角下的图像B的超像素bi包含的所有像素在像素视角下的提取结果S1(x,y)中的标签lij进行加权，得到超像素bi的标签置信度Scorebi：
Scorebi＝∑lij；
(6b)设定置信度阈值gate，将置信度阈值gate与超像素bi的标签置信度Scorebi进行比较，得到超像素bi视角下的标签lbi，并将该标签lbi作为像素点(xi,yi)的标签S2(xi,yi)，超像素bi内的所有像素的标签与超像素的标签相同，S2(xi,yi)即为待提取图像前景，其中(xi,yi)∈bi；
所述的设定置信度gate越小，则超像素bi判为前景的概率越小，gate越大，则超像素bi判为前景的概率越大，但是gate过大时，前景提取结果中会有过多的噪声存在；
所述的将置信度阈值gate与超像素bi的标签置信度Scorebi进行比较，得到超像素bi的标签lbi，其比较公式为：
其中，lbi为超像素bi的标签，numbi为超像素bi中像素的数量，gate为置信度阈值，1为前景标签，0为背景标签；
所述的多视角融合，指的将超像素视角下的图像B和像素视角下的提取结果S1(x,y)进行融合。
以下通过前景提取实验，对本发明的技术效果作进一步说明：
1、实验条件与内容
本发明的实验分别对行人、树叶目标进行提取，训练数据为网络随机找的行人、树叶图像集，图像数量分别为736张、186张，对每幅图片分别取正负样本，然后制作标签，分别形成含行人类别的样本图像集、含树叶类别的样本图像集。
通过在MATLAB R2017a中编程，实现对行人、树叶目标进行前景提取，结果如图5所示。
2、实验结果分析：
从图5可见，对两类数据分别测试的4幅图像，其输出的前景提取结果不存在噪声，并且提取的前景边缘较好，如对树叶类别的4幅图像的前景提取结果，提取的前景边缘极为准确。对于输入图像中含有的前景完整度有较好的兼容性，如对行人类别的输入图像3，以半身像作为输入图像，仍然能获得较好的前景提取效果。
此外，从图5可见，本发明在SVM分类器完成训练后，可以自动完成对待提取图像的前景自动过程，获得待提取图像的前景提取结果，解决了现有基于图切割的前景提取方法中，需要人机交互辅助提取的问题，同时本发明充分利用了超像素块内一致性较好的特点，对GrabCut算法输出的像素视角下的提取结果的边缘进行修补，使前景提取结果更加准确，平滑，得到精确的前景提取结果，提高了前景提取精度。

Claims (8)

1.一种基于多视角融合的图像前景自动提取方法，其特征在于：
(1)对SVM分类器进行训练，得到训练好的SVM分类器；
(2)对待提取图像进行灰度化，得到灰度图像；
(3)通过训练好的SVM分类器，在灰度图像中检测包含前景目标的子图像pk；
(3a)采用多尺度窗口，按照设定的间隔在灰度图像中进行逐行滑动，得到由多个子图像组成的图像集P＝{p1,p2,...pk,...,pq}，其中，k∈[1,q],pk为第k个子图像，q为子图像的数量；
(3b)提取图像集P中各子图像pk的方向梯度直方图HOG特征，并将其输入到训练好的SVM分类器中进行分类，计算得到子图像pk的标签lpk；
(3c)判断子图像pk的标签lpk是否为正，若是，则子图像pk包含前景目标，记录子图像pk在待提取图像的位置，即子图像pk左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，执行步骤(4)，否则，丢弃图像pk；
(4)对待提取图像进行前景提取：
采用子图像pk左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，对GrabCut算法的人机交互进行替换，并利用替换结果对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果S1(x,y)；
(5)采用简单线性迭代聚类算法SLIC计算待提取图像的超像素，得到超像素视角下的图像：B＝{b1,b2,...,bi,...,bm}，i∈[1,m],bi为第i个超像素，m为超像素的数量；
(6)对超像素视角下的图像B和待提取图像的像素视角下的提取结果S1(x,y)进行多视角融合，得到待提取图像前景S2(xi,yi)。
2.根据权利要求1所述的方法，其中步骤(1)中对SVM分类器进行训练，按如下步骤进行：
(1a)采集含有前景类别的样本图像集，并对其中的所有样本图像进行灰度化，得到样本灰度图像集；
(1b)提取样本灰度图像集中各图像的方向梯度直方图HOG特征，得到样本方向梯度直方图HOG特征集；
(1c)采用样本方向梯度直方图HOG特征集中所有的方向梯度直方图HOG特征对SVM分类器进行训练，得到训练好的SVM分类器。
3.根据权利要求2所述的方法，其特征在于：步骤(1a)中对样本图像集中的所有样本图像进行灰度化，是将样本图像中的三通道红色分量R，绿色分量G，蓝色分量B进行加权平均，得到样本灰度图像的灰度值Gray：
Gray＝R×0.299+G×0.587+B×0.114。
4.根据权利要求2所述的方法，其特征在于：步骤(1b)中提取样本灰度图像集中每个图像的HOG特征，按照如下步骤进行：
(1b1)将输入图像分为连通相邻、又不重叠的若干个单元，在每个单元内计算像素的梯度幅值G(x,y)和梯度方向α(x,y)：
<mrow> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msub> <mi>G</mi> <mi>x</mi> </msub> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msub> <mi>G</mi> <mi>y</mi> </msub> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>
<mrow> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>tan</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>G</mi> <mi>x</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>G</mi> <mi>y</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>
其中，Gx(x,y)＝H(x+1,y)-H(x-1,y)，Gy(x,y)＝H(x,y+1)-H(x,y-1)分别表示输入图像中像素点(x,y)处的水平方向梯度和垂直方向梯度，H(x+1,y)表示输入图像中像素点(x+1,y)处的像素值，H(x-1,y)表示输入图像中像素点(x-1,y)处的像素值，H(x,y+1)表示输入图像中像素点(x,y+1)处的像素值，H(x,y-1)表示输入图像中像素点(x,y-1)处的像素值；
(1b2)将所有梯度方向α(x,y)划分为9个角度，作为直方图的横轴，每个角度范围所对应的梯度值累加作为直方图的纵轴，得到梯度直方图；
(1b3)统计每个单元的梯度直方图，得到每个单元的特征描述子；
(1b4)将n×n个单元组成一个块，串联一个块内所有单元的特征描述子，得到该块的HOG特征描述子；
(1b5)串联输入图像内所有块的方向梯度直方图HOG特征描述子，得到该输入图像的方向梯度直方图HOG特征；
(1b6)串联样本灰度图像集中所有输入图像的方向梯度直方图HOG特征，得到该样本灰度图像集的方向梯度直方图HOG特征集。
5.根据权利要求1所述的方法，其特征在于：步骤(3b)中计算子图像pk的标签lpk，通过以下公式进行：
其中，为SVM分类器的超平面的第k个法向量，xk为子图像pk的方向梯度直方图HOG特征，k∈[1,q]，q为子图像个数，φ为SVM分类器的超平面的位移项。
6.根据权利要求1所述的方法，其特征在于：步骤(5)中计算待提取图像的超像素，实现步骤为：
(5a)将待提取图像从RGB颜色空间转换到CIE-Lab颜色空间，得到CIE-Lab图像；
(5b)初始化超像素的聚类中心：设定超像素个数，在CIE-Lab图像内按照超像素个数均匀的分配超像素聚类中心，得到聚类中心集其中，为第d次迭代后的第i个聚类中心，共m个，其中，li,ai,bi为CIE-Lab颜色空间的三个通道，(xi,yi)为bi坐标；
(5c)对CIE-Lab图像的每一个像素pixel，设置标签l(pixel)＝-1和距离d(pixel)＝∞；
(5d)分别计算聚类中心集Cd中聚类中心的n×n领域内所有像素点的梯度值，并将聚类中心移到该领域内梯度最小的像素点上，获得新的聚类中心集Cd+1；
(5e)对于聚类中心集Cd中每一个聚类中心的2S×2S内的每一个像素pixel＝[lp,ap,bp,xp,yp]，计算与pixel的距离D(pixel)：
<mrow> <mi>D</mi> <mrow> <mo>(</mo> <mi>p</mi> <mi>i</mi> <mi>x</mi> <mi>e</mi> <mi>l</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msubsup> <mi>d</mi> <mi>c</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mfrac> <msub> <mi>d</mi> <mi>s</mi> </msub> <mi>S</mi> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msup> <mi>M</mi> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>
其中为像素点间的颜色差异，
为像素点间的空间距离，
M为dc的最大值，N为图像所有像素点个数，m为设定的超像素个数；
(5f)比较d(pixel)与D(pixel)的大小，如果D(pixel)＜d(pixel)，则D(pixel)赋值给d(pixel)，l(pixel)＝i，得到新的超像素bi；
(5g)不断执行步骤(5d)～(5f)，更新聚类中心，直到残余误差收敛，得到超像素图像B＝{b1,b2,...,bi,...,bm}。
7.根据权利要求1所述的方法，其中步骤(6)中对超像素视角下的图像B和待提取图像的像素视角下的提取结果S1(x,y)进行多视角融合按如下步骤进行：
(6a)对超像素视角下图像B的超像素bi包含的所有像素在像素视角下的提取结果S1(x,y)中的标签lij进行加权，得到超像素bi的标签置信度Scorebi；
(6b)设定置信度阈值gate，将置信度阈值gate与超像素bi的标签置信度Scorebi进行比较，得到超像素bi视角下的标签lbi：
<mrow> <msub> <mi>l</mi> <mrow> <mi>b</mi> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>Score</mi> <mrow> <mi>b</mi> <mi>i</mi> </mrow> </msub> <mo>&gt;</mo> <msub> <mi>num</mi> <mrow> <mi>b</mi> <mi>i</mi> </mrow> </msub> <mo>/</mo> <mi>g</mi> <mi>a</mi> <mi>t</mi> <mi>e</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>Score</mi> <mrow> <mi>b</mi> <mi>i</mi> </mrow> </msub> <mo>&lt;</mo> <msub> <mi>num</mi> <mrow> <mi>b</mi> <mi>i</mi> </mrow> </msub> <mo>/</mo> <mi>g</mi> <mi>a</mi> <mi>t</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中，numbi为超像素bi中像素的数量，1为前景标签，0为背景标签。
(6c)将该标签lbi作为像素点(xi,yi)的标签S2(xi,yi)，该S2(xi,yi)即为待提取的图像前景，其中(xi,yi)∈bi。
8.根据权利要求7所述的方法，其特征在于：步骤(6a)中超像素bi的标签置信度Scorebi，是对超像素视角下图像B的超像素bi包含的所有像素在像素视角下的提取结果S1(x,y)中的标签进行求和，即：
Scorebi＝∑lij
其中，Scorebi为超像素bi的标签置信度。
CN201711216652.9A 2017-11-28 2017-11-28 基于多视角融合的图像前景自动提取方法 Pending CN108090485A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711216652.9A CN108090485A (zh) 2017-11-28 2017-11-28 基于多视角融合的图像前景自动提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711216652.9A CN108090485A (zh) 2017-11-28 2017-11-28 基于多视角融合的图像前景自动提取方法

Publications (1)

Publication Number Publication Date
CN108090485A true CN108090485A (zh) 2018-05-29

Family

ID=62172999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711216652.9A Pending CN108090485A (zh) 2017-11-28 2017-11-28 基于多视角融合的图像前景自动提取方法

Country Status (1)

Country Link
CN (1) CN108090485A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846397A (zh) * 2018-05-31 2018-11-20 浙江科技学院 一种基于图像处理的电缆半导电层自动检测方法
CN109242968A (zh) * 2018-08-24 2019-01-18 电子科技大学 一种基于多属性超体素图割的河道三维建模方法
CN109784374A (zh) * 2018-12-21 2019-05-21 西北工业大学 基于自适应邻近点的多视角聚类方法
CN112766387A (zh) * 2021-01-25 2021-05-07 海尔数字科技（上海）有限公司 一种训练数据的纠错方法、装置、设备及存储介质
CN113393455A (zh) * 2021-07-05 2021-09-14 武汉智目智能技术合伙企业(有限合伙) 一种基于机器视觉技术的异纤检测方法
CN114677573A (zh) * 2022-05-30 2022-06-28 上海捷勃特机器人有限公司 视觉分类方法、***、装置及计算机可读介质
CN115953780A (zh) * 2023-03-10 2023-04-11 清华大学 一种基于多视角信息融合的多维光场复杂场景图构建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663411A (zh) * 2012-02-29 2012-09-12 宁波大学 一种目标人体识别方法
CN107527054A (zh) * 2017-09-19 2017-12-29 西安电子科技大学 基于多视角融合的前景自动提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663411A (zh) * 2012-02-29 2012-09-12 宁波大学 一种目标人体识别方法
CN107527054A (zh) * 2017-09-19 2017-12-29 西安电子科技大学 基于多视角融合的前景自动提取方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846397A (zh) * 2018-05-31 2018-11-20 浙江科技学院 一种基于图像处理的电缆半导电层自动检测方法
CN109242968A (zh) * 2018-08-24 2019-01-18 电子科技大学 一种基于多属性超体素图割的河道三维建模方法
CN109784374A (zh) * 2018-12-21 2019-05-21 西北工业大学 基于自适应邻近点的多视角聚类方法
CN112766387A (zh) * 2021-01-25 2021-05-07 海尔数字科技（上海）有限公司 一种训练数据的纠错方法、装置、设备及存储介质
CN112766387B (zh) * 2021-01-25 2024-01-23 卡奥斯数字科技(上海)有限公司 一种训练数据的纠错方法、装置、设备及存储介质
CN113393455A (zh) * 2021-07-05 2021-09-14 武汉智目智能技术合伙企业(有限合伙) 一种基于机器视觉技术的异纤检测方法
CN114677573A (zh) * 2022-05-30 2022-06-28 上海捷勃特机器人有限公司 视觉分类方法、***、装置及计算机可读介质
CN114677573B (zh) * 2022-05-30 2022-08-26 上海捷勃特机器人有限公司 视觉分类方法、***、装置及计算机可读介质
CN115953780A (zh) * 2023-03-10 2023-04-11 清华大学 一种基于多视角信息融合的多维光场复杂场景图构建方法

Similar Documents

Publication Publication Date Title
CN108090485A (zh) 基于多视角融合的图像前景自动提取方法
CN107563381B (zh) 基于全卷积网络的多特征融合的目标检测方法
CN104134234B (zh) 一种全自动的基于单幅图像的三维场景构建方法
CN107527054A (zh) 基于多视角融合的前景自动提取方法
CN109344874A (zh) 一种基于深度学习的染色体自动分析方法及***
Jidong et al. Recognition of apple fruit in natural environment
CN106296695A (zh) 基于显著性的自适应阈值自然目标图像分割抽取算法
CN107945179A (zh) 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法
CN103914699A (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
CN110738676A (zh) 一种结合RGBD数据的GrabCut自动分割算法
CN107292259A (zh) 基于AdaRank的深度特征和传统特征的集成方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN102147867B (zh) 一种基于主体的国画图像和书法图像的识别方法
CN109685045A (zh) 一种运动目标视频跟踪方法及***
CN106897681A (zh) 一种遥感图像对比分析方法及***
CN106203237A (zh) 集装箱拖车编号的识别方法和装置
CN109949593A (zh) 一种基于路口先验知识的交通信号灯识别方法及***
CN103295013A (zh) 一种基于成对区域的单幅图像阴影检测方法
CN105469111A (zh) 基于改进的mfa和迁移学习的小样本集的物体分类方法
CN103778430B (zh) 一种基于肤色分割和AdaBoost相结合的快速人脸检测方法
Liu et al. Development of a machine vision algorithm for recognition of peach fruit in a natural scene
CN106650811A (zh) 一种基于近邻协同增强的高光谱混合像元分类方法
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN108154176A (zh) 一种针对单一深度图像的3d人体姿态估计算法
CN114758132A (zh) 一种基于卷积神经网络的果树病虫害识别方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180529