CN108596257A - 一种基于空间约束的位置优先场景解析方法 - Google Patents

一种基于空间约束的位置优先场景解析方法 Download PDF

Info

Publication number
CN108596257A
CN108596257A CN201810383058.7A CN201810383058A CN108596257A CN 108596257 A CN108596257 A CN 108596257A CN 201810383058 A CN201810383058 A CN 201810383058A CN 108596257 A CN108596257 A CN 108596257A
Authority
CN
China
Prior art keywords
pixel
super
class
probability
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810383058.7A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201810383058.7A priority Critical patent/CN108596257A/zh
Publication of CN108596257A publication Critical patent/CN108596257A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种基于空间约束的位置优先场景解析方法，其主要内容包括：空间约束位置优先***的生成、类概率的预测、情景类表决的传播和虚拟特征的一体化，其过程为，首先生成空间约束位置优先***，对类间空间相关性进行编码；然后提取超像素的虚拟特征，利用有监督的学***衡，其在场景解析方面可以获得更加准确的效果，同时其能够降低算法的复杂度。

Description

一种基于空间约束的位置优先场景解析方法
技术领域
本发明涉及场景解析领域，尤其是涉及了一种基于空间约束的位置优先场景解析方法。
背景技术
场景解析，是将图像的每个像素分类为正确的语义类别(如树、草和天空)的过程。场景解析在计算机视觉中扮演着非常重要的角色，其可以应用于自动驾驶、导航、危险物体识别。举例来说，场景分析可以获得汽车前行方向及周围环境的物理场景，分析前行道路是否有障碍物或者行人等，然后给自动驾驶汽车***发出实时的指令，规划安全并且合理的行车路径。再比如，在刑警执行某些危险的户外任务时，可以利用场景解析技术，识别判断危险的物体，如炸弹、硫酸、有毒物品等。
先前的方法利用从每个像素提取的低级的可视化特征，然后利用有监督方式学习可视化特征和类标签的关系。随着自然场景越来越复杂，这些方法难以处理高级图像理解问题。近来使用超像素的方法在场景解析领域取得了一定的进展，但是其缺点在于不能保证超像素的标签纯度。
本发明提出了一种基于空间约束的位置优先场景解析方法，首先生成空间约束位置优先***，对类间空间相关性进行编码；然后提取超像素的虚拟特征，利用有监督的学***衡，其在场景解析方面可以获得更加准确的效果，同时其能够降低算法的复杂度。
发明内容
针对现有方法难以处理高级图像理解、不能保证超像素的纯净度等问题，本发明的目的在于提供一种基于空间约束的位置优先场景解析方法，首先生成空间约束位置优先***，对类间空间相关性进行编码；然后提取超像素的虚拟特征，利用有监督的学习过程，获得所有超像素的概率的近似值；其次获取超像素的最可能的类，采用表决策略获得超像素的情景类表决；最后获取线性回归模型的特定类最优参数。
为解决上述问题，本发明提供一种基于空间约束的位置优先场景解析方法，其主要内容包括：
(一)空间约束位置优先***的生成；
(二)类概率的预测；
(三)情景类表决的传播；
(四)虚拟特征的一体化。
其中，所述的空间约束位置优先***的生成，其主要步骤和用途在于，空间约束位置优先***对先验类标签的分布信息的类间空间相关性进行编码；***考虑了四种类间空间约束相关性，包括目标共现的统计特性、相对位置、绝对位置、空间方位关系；
空间约束位置优先需要进行以下的计算：
首先，假设定义在一系列像素v上面的图像为I(v)∈R3，类标签用C表示，从I过分割得到的超像素用S(v)表示；
接着，为了同时考虑目标的相对位置偏移和绝对位置偏移，把I分成一系列相同分布的块，即：{I＝U(Bk),k＝1,2,…,K}，其中K是块的数目；利用这些块的目的在于，当目标的相对位置被块与块之间的空间关系所编码、而其绝对位置由块的空间坐标所保存时，能够保持相对位置和绝对位置之间的平衡；
最后，由于目标可能出现在一幅场景图的任何位置，创建全局位置优先和局部位置优先来表示两个目标同时以近距离或者远距离出现在一幅场景图时的似然函数，它们分别捕获全局情景和局部情景。
进一步地，所述的全局位置优先，其首先假设带有类标签的一个像素出现在块Bk1中，矩阵表示带有类标签c的像素出现在块Bk2的概率，且这个矩阵被归一化，确保关于每一块的所有类的条件概率密度之和为1，即：
对于每一块和每一类，可以生成一个具有M*(K-1)个元素的矩阵，这些矩阵可以从训练数据中独立地进行学习；对于块Bk1中的一个超像素，在所有超像素情景信息的支持下，其全局位置优先反映其类标签的置信度。
进一步地，所述的局部位置优先，给定一个带有类标签的超像素sj，矩阵表示有一个与之毗邻的超像素带有类标签c，且局部矩阵由训练数据中成对的毗邻超像素计算得到，计算过程不考虑空间块，因此超像素对可以出现在图像的任意位置；其补偿在全局优先中没有考虑到的超像素的情景信息；
对于一个超像素，在临近超像素的情景信息的支持下，局部位置优先反映其类标签的置信度。
其中，所述的类概率的预测，对于一张测试图像，提取所有超像素的虚拟特征，利用一个有监督的学习过程，获得属于每一类的所有超像素的概率的近似值；可以通过取最大的概率值然后用于生成情景类表决的方式，选择所有超像素的最可能的类。
进一步地，所述的超像素的虚拟特征，提取一系列超像素级别的颜色、几何结构和情景特征；另外，获取图像的RGB信息、基元和关于超像素域的尺度不变特征变换直方图。
进一步地，所述的概率的近似值，合并一个有监督的训练-测试过程，完成多类概率预测任务；
对每一类，训练一系列一对多的二值分类器；对于第j个超像素s，可以获取其关于第i类ci的类概率；对于所有的类M，可以获取sj的一个类概率矢量，这个矢量包含属于所有类C的每一个超像素sj的似然函数，把sj分派给具有最大概率的类。
进一步地，所述的选择，给定一个具有超像素S(v)的预划分图像和与之对应的虚拟特征Fv，利用最小冗余最大相关算法，根据特征选择过程获取特定类的特征子集。
其中，所述的情景类表决的传播，首先获取所有超像素的最可能的类，然后采用表决策略以获得每一个超像素的情景类表决；
具体来说，给定一个在块Bk2里面的超像素sj、其最可能的类和类概率可以接收到来自块的所有剩下部分的超像素S的Q个表决，即：
其中，是一个用于来自超像素sq表决的权重，是sq里面所有像素的总数目；
假设是sj毗邻超像素的集合，sp是的第p个元素，sj接收来自它的所有临近sp的P个表决，即：
其中，wp的计算同wq一样；Vg(C|sj)和Vl(C|sj)分别表征使用全局和使用局部情景的所有类中关于超像素的置信度。
其中，所述的虚拟特征的一体化，获取线性回归模型的特定类最优参数，这些参数用于解释虚拟特征的不同贡献程度；
为了保持类概率Pv(C|sj)的一致性，同时把全局和局部类表决Vg(C|sj)和Vl(C|sj)转化为概率Pg(ci|sj)和Pl(ci|sj)；采用一个线性回归模型整合三种概率，预测类ci关于超像素sj的概率，即：
其中，是一个常数，和分别是Pv(ci|sj)、pl(ci|sj)和Pg(ci|sj)的系数；这些系数通过学习以最大化关于标记的训练数据的似然函数；
通过表决策略，超像素sj最终被分派给具有最大概率的类
附图说明
图1是本发明一种基于空间约束的位置优先场景解析方法的***框架图。
图2是本发明一种基于空间约束的位置优先场景解析方法的类概率预测与类表决流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于空间约束的位置优先场景解析方法的***框架图。其主要内容包括空间约束位置优先***的生成、类概率的预测、情景类表决的传播和虚拟特征的一体化。
其中，所述的空间约束位置优先***的生成，其主要步骤和用途在于，空间约束位置优先***对先验类标签的分布信息的类间空间相关性进行编码；***考虑了四种类间空间约束相关性，包括目标共现的统计特性、相对位置、绝对位置、空间方位关系；
空间约束位置优先需要进行以下的计算：
首先，假设定义在一系列像素v上面的图像为I(v)∈R3，类标签用C表示，从I过分割得到的超像素用S(v)表示；
接着，为了同时考虑目标的相对位置偏移和绝对位置偏移，把I分成一系列相同分布的块，即：{I＝U(Bk),k＝1,2,…,K}，其中K是块的数目；利用这些块的目的在于，当目标的相对位置被块与块之间的空间关系所编码、而其绝对位置由块的空间坐标所保存时，能够保持相对位置和绝对位置之间的平衡；
最后，由于目标可能出现在一幅场景图的任何位置，创建全局位置优先和局部位置优先来表示两个目标同时以近距离或者远距离出现在一幅场景图时的似然函数，它们分别捕获全局情景和局部情景。
进一步地，所述的全局位置优先，其首先假设带有类标签的一个像素出现在块Bk1中，矩阵表示带有类标签c的像素出现在块Bk2的概率，且这个矩阵被归一化，确保关于每一块的所有类的条件概率密度之和为1，即：
对于每一块和每一类，可以生成一个具有M*(K-1)个元素的矩阵，这些矩阵可以从训练数据中独立地进行学习；对于块Bk1中的一个超像素，在所有超像素情景信息的支持下，其全局位置优先反映其类标签的置信度。
进一步地，所述的局部位置优先，给定一个带有类标签的超像素sj，矩阵表示有一个与之毗邻的超像素带有类标签c，且局部矩阵由训练数据中成对的毗邻超像素计算得到，计算过程不考虑空间块，因此超像素对可以出现在图像的任意位置；其补偿在全局优先中没有考虑到的超像素的情景信息；
对于一个超像素，在临近超像素的情景信息的支持下，局部位置优先反映其类标签的置信度。
其中，所述的虚拟特征的一体化，获取线性回归模型的特定类最优参数，这些参数用于解释虚拟特征的不同贡献程度；
为了保持类概率Pv(C|sj)的一致性，同时把全局和局部类表决Vg(C|sj)和Vl(C|sj)转化为概率Pg(ci|sj)和Pl(ci|sj)；采用一个线性回归模型整合三种概率，预测类ci关于超像素sj的概率，即：
其中，是一个常数，和分别是Pv(ci|sj)、Pl(ci|sj)和Pg(ci|sj)的系数；这些系数通过学习以最大化关于标记的训练数据的似然函数；
通过表决策略，超像素sj最终被分派给具有最大概率的类
图2是本发明一种基于空间约束的位置优先场景解析方法的类概率预测与类表决流程图。
其中，所述的类概率的预测，对于一张测试图像，提取所有超像素的虚拟特征，利用一个有监督的学习过程，获得属于每一类的所有超像素的概率的近似值；可以通过取最大的概率值然后用于生成情景类表决的方式，选择所有超像素的最可能的类。
进一步地，所述的超像素的虚拟特征，提取一系列超像素级别的颜色、几何结构和情景特征；另外，获取图像的RGB信息、基元和关于超像素域的尺度不变特征变换直方图。
进一步地，所述的概率的近似值，合并一个有监督的训练-测试过程，完成多类概率预测任务；
对每一类，训练一系列一对多的二值分类器；对于第j个超像素sj，可以获取其关于第i类ci的类概率；对于所有的类M，可以获取sj的一个类概率矢量，这个矢量包含属于所有类C的每一个超像素sj的似然函数，把sj分派给具有最大概率的类。
进一步地，所述的选择，给定一个具有超像素S(v)的预划分图像和与之对应的虚拟特征Fv，利用最小冗余最大相关算法，根据特征选择过程获取特定类的特征子集。
其中，所述的情景类表决的传播，首先获取所有超像素的最可能的类，然后采用表决策略以获得每一个超像素的情景类表决；
具体来说，给定一个在块Bk2里面的超像素sj、其最可能的类和类概率可以接收到来自块的所有剩下部分的超像素S的Q个表决，即：
其中，是一个用于来自超像素sq表决的权重，是sq里面所有像素的总数目；
假设是sj毗邻超像素的集合，sp是的第p个元素，sj接收来自它的所有临近sp的P个表决，即：
其中，wp的计算同wq一样；Vg(C|sj)和Vl(C|sj)分别表征使用全局和使用局部情景的所有类中关于超像素的置信度。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于空间约束的位置优先场景解析方法，其特征在于，主要包括空间约束位置优先***的生成(一)；类概率的预测(二)；情景类表决的传播(三)；虚拟特征的一体化(四)。
2.基于权利要求书1所述的空间约束位置优先***的生成(一)，其特征在于，空间约束位置优先***对先验类标签的分布信息的类间空间相关性进行编码；***考虑了四种类间空间约束相关性，包括目标共现的统计特性、相对位置、绝对位置、空间方位关系；
空间约束位置优先需要进行以下的计算：
首先，假设定义在一系列像素v上面的图像为I(v)∈R3，类标签用C表示，从I过分割得到的超像素用S(v)表示；
接着，为了同时考虑目标的相对位置偏移和绝对位置偏移，把I分成一系列相同分布的块，即：{I＝U(Bk)，k＝1，2，…，K}，其中K是块的数目；利用这些块的目的在于，当目标的相对位置被块与块之间的空间关系所编码、而其绝对位置由块的空间坐标所保存时，能够保持相对位置和绝对位置之间的平衡；
最后，由于目标可能出现在一幅场景图的任何位置，创建全局位置优先和局部位置优先来表示两个目标同时以近距离或者远距离出现在一幅场景图时的似然函数，它们分别捕获全局情景和局部情景。
3.基于权利要求书2所述的全局位置优先，其特征在于，假设带有类标签的一个像素出现在块Bk1中，矩阵k1≠k2表示带有类标签c的像素出现在块Bk2的概率，且这个矩阵被归一化，确保关于每一块的所有类的条件概率密度之和为1，即：
对于每一块和每一类，可以生成一个具有M*(K-1)个元素的矩阵，这些矩阵可以从训练数据中独立地进行学习；对于块Bk1中的一个超像素，在所有超像素情景信息的支持下，其全局位置优先反映其类标签的置信度。
4.基于权利要求书2所述的局部位置优先，其特征在于，给定一个带有类标签的超像素sj，矩阵表示有一个与之毗邻的超像素带有类标签c，且 局部矩阵由训练数据中成对的毗邻超像素计算得到，计算过程不考虑空间块，因此超像素对可以出现在图像的任意位置；其补偿在全局优先中没有考虑到的超像素的情景信息；
对于一个超像素，在临近超像素的情景信息的支持下，局部位置优先反映其类标签的置信度。
5.基于权利要求书1所述的类概率的预测(二)，其特征在于，对于一张测试图像，提取所有超像素的虚拟特征，利用一个有监督的学习过程，获得属于每一类的所有超像素的概率的近似值；可以通过取最大的概率值然后用于生成情景类表决的方式，选择所有超像素的最可能的类。
6.基于权利要求书5所述的超像素的虚拟特征，其特征在于，提取一系列超像素级别的颜色、几何结构和情景特征；另外，获取图像的RGB信息、基元和关于超像素域的尺度不变特征变换直方图。
7.基于权利要求书5所述的概率的近似值，其特征在于，合并一个有监督的训练-测试过程，完成多类概率预测任务；
对每一类，训练一系列一对多的二值分类器；对于第j个超像素sj，可以获取其关于第i类ci的类概率；对于所有的类M，可以获取sj的一个类概率矢量，这个矢量包含属于所有类C的每一个超像素sj的似然函数，把sj分派给具有最大概率的类。
8.基于权利要求书5所述的选择，其特征在于，给定一个具有超像素S(v)的预划分图像和与之对应的虚拟特征Fv，利用最小冗余最大相关算法，根据特征选择过程获取特定类的特征子集。
9.基于权利要求书1所述的情景类表决的传播(三)，其特征在于，首先获取所有超像素的最可能的类，然后采用表决策略以获得每一个超像素的情景类表决；
具体来说，给定一个在块Bk2里面的超像素sj、其最可能的类阳类概率可以接收到来自块的所有剩下部分的超像素S的Q个表决，即：
其中，是一个用于来自超像素sq表决的权重，是sq里面所有像素的总数目；
假设p＝1，2，…，P是sj毗邻超像素的集合，sp是的第p个元素，sj接收来自它的所有临近sp的P个表决，即：
其中，wp的计算同wq一样；Vg(C|sj)和Vl(C|sj)分别表征使用全局和使用局部情景的所有类中关于超像素的置信度。
10.基于权利要求书1所述的虚拟特征的一体化(四)，其特征在于，获取线性回归模型的特定类最优参数，这些参数用于解释虚拟特征的不同贡献程度；
为了保持类概率Pv(C|sj)的一致性，同时把全局和局部类表决Vg(C|sj)和Vl(C|sj)转化为概率Pg(ci|sj)和Pl(ci|sj)；采用一个线性回归模型整合三种概率，预测类ci关于超像素sj的概率，即：
其中，是一个常数，和分别是Pv(ci|sj)、Pl(ci|sj)和Pg(ci|sj)的系数；这些系数通过学习以最大化关于标记的训练数据的似然函数；
通过表决策略，超像素sj最终被分派给具有最大概率的类
CN201810383058.7A 2018-04-26 2018-04-26 一种基于空间约束的位置优先场景解析方法 Withdrawn CN108596257A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810383058.7A CN108596257A (zh) 2018-04-26 2018-04-26 一种基于空间约束的位置优先场景解析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810383058.7A CN108596257A (zh) 2018-04-26 2018-04-26 一种基于空间约束的位置优先场景解析方法

Publications (1)

Publication Number Publication Date
CN108596257A true CN108596257A (zh) 2018-09-28

Family

ID=63609325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810383058.7A Withdrawn CN108596257A (zh) 2018-04-26 2018-04-26 一种基于空间约束的位置优先场景解析方法

Country Status (1)

Country Link
CN (1) CN108596257A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217436A (zh) * 2014-09-16 2014-12-17 西安电子科技大学 基于多特征联合稀疏图的sar图像分割方法
CN106408529A (zh) * 2016-08-31 2017-02-15 浙江宇视科技有限公司 一种阴影去除方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217436A (zh) * 2014-09-16 2014-12-17 西安电子科技大学 基于多特征联合稀疏图的sar图像分割方法
CN106408529A (zh) * 2016-08-31 2017-02-15 浙江宇视科技有限公司 一种阴影去除方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIGANG ZHANG: "Spatially Constrained Location Prior for Scene Parsing", 《2016 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 *

Similar Documents

Publication Publication Date Title
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
Campos-Taberner et al. Processing of extremely high-resolution Lidar and RGB data: outcome of the 2015 IEEE GRSS data fusion contest–part a: 2-D contest
US9558268B2 (en) Method for semantically labeling an image of a scene using recursive context propagation
He et al. Learning and incorporating top-down cues in image segmentation
US7995841B2 (en) Hybrid graph model for unsupervised object segmentation
CN105528575B (zh) 基于上下文推理的天空检测方法
CN107624189A (zh) 用于生成预测模型的方法和设备
CN111428619B (zh) 基于有序回归和软标签的三维点云头部姿态估计***和方法
US11495055B1 (en) Pedestrian trajectory prediction method and system based on multi-interaction spatiotemporal graph network
Marcos et al. Semantically Interpretable Activation Maps: what-where-how explanations within CNNs
CN114332586A (zh) 小目标检测方法及其装置、设备、介质、产品
Chakraborty et al. Ten years of generative adversarial nets (GANs): a survey of the state-of-the-art
CN114283281A (zh) 目标检测方法及其装置、设备、介质、产品
Li et al. Adv-depth: Self-supervised monocular depth estimation with an adversarial loss
Kaur et al. A systematic review of object detection from images using deep learning
Qin et al. Depth estimation by parameter transfer with a lightweight model for single still images
Chen et al. Colorization of infrared images based on feature fusion and contrastive learning
CN112101154B (zh) 视频分类方法、装置、计算机设备和存储介质
CN113052121A (zh) 一种基于遥感影像的多层级网络地图智能生成方法
CN114742996A (zh) 图像语义分割方法、装置、电子设备及存储介质
CN114973305B (zh) 一种针对拥挤人群的精确人体解析方法
CN108596257A (zh) 一种基于空间约束的位置优先场景解析方法
Jia et al. Novel hybrid neural network for dense depth estimation using on-board monocular images
Yang et al. Visual Skeleton and Reparative Attention for Part-of-Speech image captioning system
Xiang et al. A Precipitation Nowcasting Mechanism for Real‐World Data Based on Machine Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180928