CN111611919A - 一种基于结构化学习的道路场景布局分析方法 - Google Patents

一种基于结构化学习的道路场景布局分析方法 Download PDF

Info

Publication number
CN111611919A
CN111611919A CN202010431561.2A CN202010431561A CN111611919A CN 111611919 A CN111611919 A CN 111611919A CN 202010431561 A CN202010431561 A CN 202010431561A CN 111611919 A CN111611919 A CN 111611919A
Authority
CN
China
Prior art keywords
sub
scene
region
labels
hidden variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010431561.2A
Other languages
English (en)
Other versions
CN111611919B (zh
Inventor
李垚辰
袁建
董子坤
王雨潇
刘跃虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XI'AN JIAOTONG UNIVERSITY SUZHOU ACADEMY
Original Assignee
XI'AN JIAOTONG UNIVERSITY SUZHOU ACADEMY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XI'AN JIAOTONG UNIVERSITY SUZHOU ACADEMY filed Critical XI'AN JIAOTONG UNIVERSITY SUZHOU ACADEMY
Priority to CN202010431561.2A priority Critical patent/CN111611919B/zh
Publication of CN111611919A publication Critical patent/CN111611919A/zh
Application granted granted Critical
Publication of CN111611919B publication Critical patent/CN111611919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于结构化学***台分类进行标注和预处理；对图像进行子区域分割，先对图像进行超像素分割，用超像素的特征和标签训练增强决策树回归器，得到初始分割结果，再用马尔科夫随机场优化初始分割结果得到最终分割结果；然后在子区域上提取特征，用子区域特征和隐变量标签训练SVM分类器，预测出每张图片子区域隐变量的组合；最后用子区域隐变量的组合和场景平台标签的对应关系构建决策树，通过决策树找到这组标签最终对应的场景平台的标签；本发明基于简单道路交通场景环境的道路场景图片和视频，能够有效实现交通场景平台的预测，预测效果较准确，方法简单有效。

Description

一种基于结构化学习的道路场景布局分析方法
技术领域
本发明属于图像处理、计算机视觉及模式识别领域，具体涉及一种基于结构化学习的道路场景布局分析方法。
背景技术
交通场景的布局估计在无人驾驶领域具有极为重要的应用。在一些实际应用中，如道路场景的三维重建等问题中都具有广泛的应用前景。常见的交通场景布局估计方法是基于概率图模型推断和基于卷积神经网络的预测。但是基于概率图模型推断的方法比如Geiger等提出的方法(参考Geiger的方法：Geiger A,Lauer M,Wojek C,et al.3D TrafficScene Understanding From Movable Platforms[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,2014,36(5):1012-1025.)，将图片中的信息按像素为单位处理，提取图片中的车辆轨迹、消失点、场景流等信息，构建概率图模型，用计算条件概率的方法推断出场景中包含的几何语义标签，从而确定场景的布局。但是这种方法计算量较大，不易处理；基于卷积神经网络的预测方法，比如FANG-YU等提出的方法(参考FANG-YU的方法：F.-Y.Wu,S.-Y.Yan,J.S.Smith,and B.-L.Zhang,“Traffic scene recognitionbased on deep CNN and VLAD spatial pyramids,”in Machine Learning andCybernetics(ICMLC),2017International Conference on,vol.1,pp.156–161,IEEE,2017.)，用CNN提取region proposal算法生成的一些image patches的特征，并用PCA降维，之后用VLAD编码，再放入SVM分类器中进行分类，最终可以把交通场景分为10类。但是这种方法步骤复杂，计算量也比较大。
发明内容
为了解决上述现有技术存在的问题，本发明的目的在于提供一种基于结构化学习的道路场景布局分析方法。
为了达到上述目的，本发明采用如下的技术方案：
一种基于结构化学习的道路场景布局分析方法，包括以下步骤：
步骤1：采集交通场景图像，形成交通场景图像数据集，对交通场景图像数据集按场景平台分类进行标注和预处理；
步骤2：对标注和预处理之后的图像基于有监督训练和图模型优化进行子区域分割，得到子区域的分割结果；
步骤3：用隐变量对分割结果中的子区域的子主题进行建模，并采用带有N个松弛变量的切平面结构化SVM方法训练分类器，不断迭代更新权重，直到损失函数的值最小时，停止训练，得到分类器的最优化参数，利用分类器的最优化参数推断隐变量标签，得到子区域隐变量；
步骤4：采用CART算法构建决策树，推断子区域隐变量标签组合对应的场景平台标签。
本发明进一步的改进在于，步骤1中，标注和预处理的具体过程为：为交通场景图像数据集中的每个像素标注一个子区域标签，对标注后的数据集进行数据清洗，筛除掉标注有缺漏的数据，然后将图片尺寸重设为256×256。
本发明进一步的改进在于，步骤2的具体过程为：将标注和预处理之后的的交通场景图像数据集分为训练集和测试集，对训练集中的所有图像进行超像素分割并提取每个超像素的特征，然后利用子区域标签和提取到的超像素的特征，训练提升决策树回归器，回归器的输出为初始分割结果，最后对初始分割结果构建马尔科夫随机场进行优化，得到子区域的分割结果。
本发明进一步的改进在于，每个超像素的特征包括sift特征、颜色的RGB均值和方差、外观的GIST特征和位置特征；
对初始分割结果构建马尔科夫随机场进行优化，得到子区域的分割结果的具体过程为：最小化能量函数J(c)：
Figure BDA0002500782530000031
其中，SP是超像素的集合，si是第i个超像素，ci是第i个超像素对应的子区域类别标签；sj是第j个超像素，cj是第j个超像素对应的子区域类别标签；A是相邻超像素对的集合，si和sj是相邻超像素对的集合A中的一个相邻超像素对；Edata和Esmooth分别是数据项和平滑项，λ是平滑项的权重。
本发明进一步的改进在于，数据项Edata和平滑项Esmooth的具体形式为：
Edata＝-wiσ(L(si,ci)) (2)
Esmooth(ci,cj)＝-log[(P(ci|cj)+P(cj|ci))/2]×δ[ci≠cj] (3)
数据项中L(si,ci)是第i个超像素属于子区域ci的似然比值，σ是sigmoid函数，wi是第i个超像素的权重；δ是事件函数。
本发明进一步的改进在于，平滑项中P(ci|cj)是某个超像素属于子区域ci时，相邻超像素属于子区域cj的条件概率；当满足条件ci≠cj时事件函数δ为1，当不满足条件ci≠cj时事件函数δ为0。
本发明进一步的改进在于，步骤3的具体过程如下：首先，用隐变量对分割结果中的子区域的子主题进行建模，然后，采用带有N个松弛变量的切平面结构化SVM方法训练分类器，不断迭代更新权重，直到损失函数的值最小时，停止训练，得到分类器的最优化参数。
本发明进一步的改进在于，步骤3的具体过程如下：训练SVM分类器时，输入提取的子区域的特征向量xi和隐变量标签zi进行有监督的训练；其中，提取的子区域的特征包括HOG、Gabor、LBP与RGB，损失函数定义如下：
Figure BDA0002500782530000041
Figure BDA0002500782530000042
ξi≥Δ(zi,z)+F(z,xi；ω)-F(zi,xi；ω)
其中，ξ是松弛变量，ω是权重，λ是惩罚参数，xi是一个L维的特征向量，zi是第i个样本的隐变量标签，z是隐变量标签集合中包含的所有标签，Δ(zi,z)是第i个样本的隐变量标签和隐变量标签集合中某个标签之间的距离值，F是目标函数，定义如下：
Figure BDA0002500782530000043
其中，xi是一个L维的特征向量，ω是权重，φ(xi,zi)为特征映射函数，M是子区域样本个数；特征映射函数φ(xi,zi)的形式形如：
Figure BDA0002500782530000044
其中，
Figure BDA0002500782530000045
是φ(xi,zi)中的一段非零向量，
Figure BDA0002500782530000046
的值与xi的值相同，且在φ(xi,zi)的第zi个位置；ω*为使损失函数最小的最优化参数。
本发明进一步的改进在于，推断隐变量标签时，穷举隐变量标签z，求得使目标函数F(x,z；ω)最大的隐变量标签z*作为推断结果：
z*＝argmaxz∈Z F(x,z；ω*) (7)
其中，ω*是使损失函数最小的最优化参数，Z是隐变量标签的集合。
本发明进一步的改进在于，步骤4的具体过程如下：根据场景布局和结构定义14个场景平台的标签，并找出与每一类场景平台相关的隐变量组合z*为数据；采用CART算法构建决策树，向决策树中输入一组隐变量标签，通过决策树即可找到这组隐变量标签最终对应的场景平台标签。
本发明和现有技术相比较，具有如下有益效果：
本发明首先采集和扩充交通场景图像数据集，并且对数据集按场景平台分类进行标注和预处理；其次对图像进行超像素分割，用超像素的特征和标签训练增强决策树回归器，对图像进行子区域分割，再用马尔科夫随机场优化初始分割结果得到最终分割结果；然后在分割好的子区域上提取特征，用子区域特征和人为定义的隐变量标签训练SVM分类器，预测出每张图片子区域隐变量的组合；最后用子区域隐变量的组合和场景平台标签的对应关系构建决策树，通过决策树可以简单方便的找到一组子区域隐变量的标签对应的场景平台的标签。本发明准确率高，简单有效。使用本发明进行图像子区域分割时，相比于已有方法，如无监督聚类法等，本发明利用图像的底层特征进行有监督训练，并用图模型优化结果，因此结果更加精确。使用本发明进行场景平台预测时，相较于基于神经网络分析图片布局和结构的方法，本发明利用隐变量对子区域的子主题进行建模，提取底层特征，自底向上挖掘图像各部分的高级语义，弥补了整体表示可能无法模拟一张图片的不足，无需复杂的网络结构，且训练所需的消耗更小，置信度更高；另一方面，利用决策树推断隐变量组合对应的场景平台标签，相较于有监督训练法，构建决策树的计算量比较小，且在输入的隐变量组合预测正确的情况下，推断准确率可达到100％。
附图说明
图1为道路场景平台示意图。
图2为道路图像分割原理图。
图3为道路场景平台推断示意图。
图4为多种SVM模型试验对比图。
图5为道路场景平台决策树。
具体实施方式
下面结合附图和具体实施方式，对本发明做详细描述。
本发明具体方法如下：
步骤1：采集交通场景图像，形成交通场景图像数据集，并且对交通场景图像数据集按场景平台分类进行标注和预处理；标注和预处理的具体过程为：为交通场景图像数据集中的每个像素标注一个子区域标签，对标注后的数据集进行数据清洗，筛除掉标注有缺漏的数据，然后将图片尺寸重设为256×256。
步骤2：对重设之后的图像进行子区域分割：本发明是基于有监督训练和图模型优化对图像进行子区域分割，得到子区域的分割结果；具体过程如下：
将图像重设之后的交通场景图像数据集分为训练集和测试集，对训练集中的所有图像进行超像素分割并提取每个超像素的特征，提取的特征包括sift特征、颜色的RGB均值和方差、外观的GIST特征和位置特征。然后利用子区域标签和提取到的超像素的特征，训练提升决策树回归器，回归器的输出为初始分割结果，即每个超像素属于每个子区域类别的似然比，超像素属于似然比值最大的子区域。
最后对初始分割结果构建马尔科夫随机场进行优化，得到最终分割结果，即子区域的分割结果，具体过程为：最小化如下能量函数J(c)：
Figure BDA0002500782530000061
其中，其中，SP是超像素的集合，si是第i个超像素，ci是第i个超像素对应的子区域类别标签；sj是第j个超像素，cj是第j个超像素对应的子区域类别标签；A是相邻超像素对的集合，si和sj是相邻超像素对的集合A中的一个相邻超像素对；，λ是平滑项的权重，Edata和Esmooth分别是数据项和平滑项。具体形式为：
Edata＝-wiσ(L(si,ci)) (2)
Esmooth(ci,cj)＝-log[(P(ci|cj)+P(cj|ci))/2]×δ[ci≠cj] (3)
数据项中L(si,ci)是第i个超像素属于子区域ci的似然比值，σ是sigmoid函数，wi是第i个超像素的权重；平滑项中P(ci|cj)是某个超像素属于子区域ci时，相邻超像素属于子区域cj的条件概率，反之同理；δ是事件函数，当满足条件ci≠cj时为1，反之为0。
步骤3：预测子区域隐变量：用隐变量对分割结果中的子区域的子主题进行建模，并采用带有N个松弛变量的切平面结构化SVM方法训练分类器，不断迭代更新权重，直到损失函数的值最小时，停止训练，得到分类器的最优化参数，利用分类器的最优化参数推断隐变量标签，得到子区域隐变量。具体过程如下：
首先，用隐变量对分割结果中的子区域的子主题进行建模，具体过程为：用K个数值代表子区域的子主题对应的隐变量标签z，则z形如z∈{1,2,...,k,...,K}。隐变量可以表示天空、道路、左树木、右树木等子主题。
然后，采用带有N个松弛变量的切平面结构化SVM方法训练分类器，不断迭代更新权重，直到损失函数的值最小时，停止训练，得到分类器的最优化参数，具体过程如下：
在训练SVM分类器时，输入提取的子区域的特征向量xi和隐变量标签zi进行有监督的训练。其中，提取的子区域的特征包括HOG、Gabor、LBP与RGB等。采用带有N个松弛变量的切平面结构化SVM方法训练分类器，损失函数定义如下：
Figure BDA0002500782530000071
Figure BDA0002500782530000072
ξi≥Δ(zi,z)+F(z,xi；ω)-F(zi,xi；ω)
其中，ξ是松弛变量，ω是权重，λ是惩罚参数，xi是一个L维的特征向量，zi是第i个样本的隐变量标签，z是隐变量标签集合中包含的所有标签，Δ(zi,z)是第i个样本的隐变量标签和隐变量标签集合中某个标签之间的距离值，F是目标函数，定义如下：
Figure BDA0002500782530000081
其中，xi是一个L维的特征向量，ω是权重，权重ω是一个C×L维的向量矩阵，φ(xi,zi)为特征映射函数，M是子区域样本个数。特征映射函数φ(xi,zi)的形式形如：
Figure BDA0002500782530000082
其中，
Figure BDA0002500782530000083
是φ(xi,zi)中的一段非零向量，其值与xi的值相同，且在φ(xi,zi)的第z个位置，可知权重ω与特征映射函数φ(xi,zi)的乘积为一个常数。ω*为使损失函数最小的最优化参数。通过梯度下降法不断迭代，求得使损失函数最小的权重ω*。
在推断隐变量标签时，穷举隐变量标签z，求得使目标函数F(x,z；ω)最大的隐变量标签z*作为推断结果：
z*＝argmaxz∈Z F(x,z；ω*) (7)
其中，ω*是使损失函数最小的最优化参数，Z是隐变量标签的集合。
步骤4：预测场景平台标签：采用CART算法构建决策树，推断子区域隐变量标签组合对应的场景平台标签y。具体过程如下：
根据场景布局和结构定义出14个场景平台的标签，并找出与每一类场景平台相关的隐变量组合作为数据；采用CART算法构建决策树，该算法以基尼指数来度量属性的选择，选择基尼指数最小的属性进行***，对两个子节点递归的调用计算基尼指数和***的过程，直到数据已经没有新的属性可再分并且没有未处理的数据，完成构建。向决策树中输入一组子区域隐变量标签，通过决策树即可找到这组隐变量标签最终对应的场景平台标签y。
相比于已有的基于基于概率图模型推断的方法，和相比于基于卷积神经网络的预测方法，本算法预测准确率高，能有效生成交通场景的整体模型，计算量较小，方法简单有效。
本发明算法的框架基于SSVM和决策树实现。实验数据选取了不同场景下1000张图片作为数据集，以7:3的比例将单幅道路图像数据集拆分为训练集与测试集。图1中，展示了6种场景平台，包括真实场景及其对应的场景线框模型，根据图像内容将道路划分为“背景”、“左墙”、“右墙”、“地面”、“天空”等区域，用四角星填充的面片表示“背景”，五角星填充的面片表示“左墙”，菱形填充的面片表示“右墙”，圆形填充的面片表示“地面”，直线填充的面片表示“天空”。
图2展示了道路图像分割原理，流程可分为分类和优化两个步骤。
图3展示了道路场景平台推断过程，整个流程分为由子区域特征预测子区域隐变量和由隐变量组合预测场景平台标签。
图4展示了在预测子区域隐变量时，使用带有N个松弛变量的切平面结构化SVM方法训练分类器与单个松弛变量的Structured SVM模型、LibSVM模型、SubgradientStructured SVM模型、Frankwolf Block Structured SVM模型、Frankwolf BatchStructured SVM模型提取RGB特征、HOG特征、Gabor特征、LBP特征的实验对比。可以看到本文所使用的N个松弛变量的Structured SVM模型在不同的特征下均有良好的精度。
图5展示了在预测场景平台标签时，根据CART算法构建的决策树。
将本发明的算法与卷积神经网络进行比较，如表1所示，比较的数据来源于不同场景下的1000张图片，以7:3的比例将单幅道路图像数据集拆分为训练集与测试集。将本发明的算法与AlexNet、VGG16、ResNet_101三种神经网络模型进行比较，定量评估的标准为准确率、精确率、召回率和F1分数。比较的结果说明了本发明算法有更高的分类准确率。
表1场景平台分类结果的定量评估
Figure BDA0002500782530000091
Figure BDA0002500782530000101
本发明基于简单道路交通场景环境的道路场景图片和视频，能够有效实现交通场景平台的预测，预测效果较准确，方法简单有效。

Claims (10)

1.一种基于结构化学习的道路场景布局分析方法，其特征在于，包括以下步骤：
步骤1：采集交通场景图像，形成交通场景图像数据集，对交通场景图像数据集按场景平台分类进行标注和预处理；
步骤2：对标注和预处理之后的图像基于有监督训练和图模型优化进行子区域分割，得到子区域的分割结果；
步骤3：用隐变量对分割结果中的子区域的子主题进行建模，并采用带有N个松弛变量的切平面结构化SVM方法训练分类器，不断迭代更新权重，直到损失函数的值最小时，停止训练，得到分类器的最优化参数，利用分类器的最优化参数推断隐变量标签，得到子区域隐变量；
步骤4：采用CART算法构建决策树，推断子区域隐变量标签组合对应的场景平台标签。
2.根据权利要求1所述的一种基于结构化学习的道路场景布局分析方法，其特征在于，步骤1中，标注和预处理的具体过程为：为交通场景图像数据集中的每个像素标注一个子区域标签，对标注后的数据集进行数据清洗，筛除掉标注有缺漏的数据，然后将图片尺寸重设为256×256。
3.根据权利要求1所述的一种基于结构化学习的道路场景布局分析方法，其特征在于，步骤2的具体过程为：将标注和预处理之后的的交通场景图像数据集分为训练集和测试集，对训练集中的所有图像进行超像素分割并提取每个超像素的特征，然后利用子区域标签和提取到的超像素的特征，训练提升决策树回归器，回归器的输出为初始分割结果，最后对初始分割结果构建马尔科夫随机场进行优化，得到子区域的分割结果。
4.根据权利要求3所述的一种基于结构化学习的道路场景布局分析方法，其特征在于，每个超像素的特征包括sift特征、颜色的RGB均值和方差、外观的GIST特征和位置特征；
对初始分割结果构建马尔科夫随机场进行优化，得到子区域的分割结果的具体过程为：最小化能量函数J(c)：
Figure FDA0002500782520000021
其中，SP是超像素的集合，si是第i个超像素，ci是第i个超像素对应的子区域类别标签；sj是第j个超像素，cj是第j个超像素对应的子区域类别标签；A是相邻超像素对的集合，si和sj是相邻超像素对的集合A中的一个相邻超像素对；Edata和Esmooth分别是数据项和平滑项，λ是平滑项的权重。
5.根据权利要求4所述的一种基于结构化学***滑项Esmooth的具体形式为：
Edata＝-wiσ(L(si,ci)) (2)
Esmooth(ci,cj)＝-log[(P(ci|cj)+P(cj|ci))/2]×δ[ci≠cj] (3)
数据项中L(si,ci)是第i个超像素属于子区域ci的似然比值，σ是sigmoid函数，wi是第i个超像素的权重；δ是事件函数。
6.根据权利要求5所述的一种基于结构化学***滑项中P(ci|cj)是某个超像素属于子区域ci时，相邻超像素属于子区域cj的条件概率；当满足条件ci≠cj时事件函数δ为1，当不满足条件ci≠cj时事件函数δ为0。
7.根据权利要求1所述的一种基于结构化学***面结构化SVM方法训练分类器，不断迭代更新权重，直到损失函数的值最小时，停止训练，得到分类器的最优化参数。
8.根据权利要求1所述的一种基于结构化学习的道路场景布局分析方法，其特征在于，步骤3的具体过程如下：训练SVM分类器时，输入提取的子区域的特征向量xi和隐变量标签zi进行有监督的训练；其中，提取的子区域的特征包括HOG、Gabor、LBP与RGB，损失函数定义如下：
Figure FDA0002500782520000031
Figure FDA0002500782520000032
ξi≥Δ(zi,z)+F(z,xi；ω)-F(zi,xi；ω)
其中，ξ是松弛变量，ω是权重，λ是惩罚参数，xi是一个L维的特征向量，zi是第i个样本的隐变量标签，z是隐变量标签集合中包含的所有标签，Δ(zi,z)是第i个样本的隐变量标签和隐变量标签集合中某个标签之间的距离值，F是目标函数，定义如下：
Figure FDA0002500782520000033
其中，xi是一个L维的特征向量，ω是权重，φ(xi,zi)为特征映射函数，M是子区域样本个数；特征映射函数φ(xi,zi)的形式形如：
Figure FDA0002500782520000034
其中，
Figure FDA0002500782520000035
是φ(xi,zi)中的一段非零向量，
Figure FDA0002500782520000036
的值与xi的值相同，且在φ(xi,zi)的第zi个位置；ω*为使损失函数最小的最优化参数。
9.根据权利要求8所述的一种基于结构化学习的道路场景布局分析方法，其特征在于，推断隐变量标签时，穷举隐变量标签z，求得使目标函数F(x,z；ω)最大的隐变量标签z*作为推断结果：
z*＝arg maxz∈ZF(x,z；ω*) (7)
其中，ω*是使损失函数最小的最优化参数，Z是隐变量标签的集合。
10.根据权利要求1所述的一种基于结构化学***台的标签，并找出与每一类场景平台相关的隐变量组合z*为数据；采用CART算法构建决策树，向决策树中输入一组隐变量标签，通过决策树即可找到这组隐变量标签最终对应的场景平台标签。
CN202010431561.2A 2020-05-20 2020-05-20 一种基于结构化学习的道路场景布局分析方法 Active CN111611919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010431561.2A CN111611919B (zh) 2020-05-20 2020-05-20 一种基于结构化学习的道路场景布局分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010431561.2A CN111611919B (zh) 2020-05-20 2020-05-20 一种基于结构化学习的道路场景布局分析方法

Publications (2)

Publication Number Publication Date
CN111611919A true CN111611919A (zh) 2020-09-01
CN111611919B CN111611919B (zh) 2022-08-16

Family

ID=72200816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010431561.2A Active CN111611919B (zh) 2020-05-20 2020-05-20 一种基于结构化学习的道路场景布局分析方法

Country Status (1)

Country Link
CN (1) CN111611919B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818775A (zh) * 2021-01-20 2021-05-18 北京林业大学 基于区域边界像素交换的林区道路快速识别方法及***
CN115374498A (zh) * 2022-10-24 2022-11-22 北京理工大学 一种考虑道路属性特征参数的道路场景重构方法及***

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413307A (zh) * 2013-08-02 2013-11-27 北京理工大学 一种基于超图的图像共分割方法
CN103440501A (zh) * 2013-09-01 2013-12-11 西安电子科技大学 基于非参数空间判决隐狄利克雷模型的场景分类方法
CN104809187A (zh) * 2015-04-20 2015-07-29 南京邮电大学 一种基于rgb-d数据的室内场景语义标注方法
CN105389584A (zh) * 2015-10-13 2016-03-09 西北工业大学 基于卷积神经网络与语义转移联合模型的街景语义标注方法
CN105844292A (zh) * 2016-03-18 2016-08-10 南京邮电大学 一种基于条件随机场和二次字典学习的图像场景标注方法
US20160253816A1 (en) * 2014-02-27 2016-09-01 Andrew Niemczyk Method of Carrying Out Land Based Projects Using Aerial Imagery Programs
CN106446914A (zh) * 2016-09-28 2017-02-22 天津工业大学 基于超像素和卷积神经网络的道路检测
CN107292253A (zh) * 2017-06-09 2017-10-24 西安交通大学 一种道路行驶区域的视觉检测方法
CN107292234A (zh) * 2017-05-17 2017-10-24 南京邮电大学 一种基于信息边缘和多模态特征的室内场景布局估计方法
CN107369158A (zh) * 2017-06-13 2017-11-21 南京邮电大学 基于rgb‑d图像的室内场景布局估计及目标区域提取方法
CN109829449A (zh) * 2019-03-08 2019-05-31 北京工业大学 一种基于超像素时空上下文的rgb-d室内场景标注方法
CN109993082A (zh) * 2019-03-20 2019-07-09 上海理工大学 卷积神经网络道路场景分类与道路分割方法
CN110032952A (zh) * 2019-03-26 2019-07-19 西安交通大学 一种基于深度学习的道路边界点检测方法
CN110084136A (zh) * 2019-04-04 2019-08-02 北京工业大学 基于超像素crf模型的上下文优化室内场景语义标注方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413307A (zh) * 2013-08-02 2013-11-27 北京理工大学 一种基于超图的图像共分割方法
CN103440501A (zh) * 2013-09-01 2013-12-11 西安电子科技大学 基于非参数空间判决隐狄利克雷模型的场景分类方法
US20160253816A1 (en) * 2014-02-27 2016-09-01 Andrew Niemczyk Method of Carrying Out Land Based Projects Using Aerial Imagery Programs
CN104809187A (zh) * 2015-04-20 2015-07-29 南京邮电大学 一种基于rgb-d数据的室内场景语义标注方法
CN105389584A (zh) * 2015-10-13 2016-03-09 西北工业大学 基于卷积神经网络与语义转移联合模型的街景语义标注方法
CN105844292A (zh) * 2016-03-18 2016-08-10 南京邮电大学 一种基于条件随机场和二次字典学习的图像场景标注方法
CN106446914A (zh) * 2016-09-28 2017-02-22 天津工业大学 基于超像素和卷积神经网络的道路检测
CN107292234A (zh) * 2017-05-17 2017-10-24 南京邮电大学 一种基于信息边缘和多模态特征的室内场景布局估计方法
CN107292253A (zh) * 2017-06-09 2017-10-24 西安交通大学 一种道路行驶区域的视觉检测方法
CN107369158A (zh) * 2017-06-13 2017-11-21 南京邮电大学 基于rgb‑d图像的室内场景布局估计及目标区域提取方法
CN109829449A (zh) * 2019-03-08 2019-05-31 北京工业大学 一种基于超像素时空上下文的rgb-d室内场景标注方法
CN109993082A (zh) * 2019-03-20 2019-07-09 上海理工大学 卷积神经网络道路场景分类与道路分割方法
CN110032952A (zh) * 2019-03-26 2019-07-19 西安交通大学 一种基于深度学习的道路边界点检测方法
CN110084136A (zh) * 2019-04-04 2019-08-02 北京工业大学 基于超像素crf模型的上下文优化室内场景语义标注方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
CHOI SHER PEI 等: "Saliency detection using superpixel belief propagation", 《ICIP》 *
JIAN YUAN 等: "3D Traffic Scenes Construction and Simulation based on Scene Stages", 《 2018 CHINESE AUTOMATION CONGRESS》 *
KYOUNGOKKIM: "A hybrid classification algorithm by subspace partitioning through semi-supervised decision tree", 《PATTERN RECOGNITION》 *
YUXIAO WANG 等: "Bottom-up Estimation of Geometric Layout for Indoor Images", 《ICUS》 *
ZHONGYU LOU等: "Extracting 3D Layout From a Single Image Using Global Image Structures", 《IEEE TRANSACTIONS ON IMAGE PROCESSING 》 *
邓燕子等: "采用多层图模型推理的道路场景分割算法", 《西安交通大学学报》 *
陆泮于: "基于信息边缘和多模态特征的室内场景布局估计", 《中国硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818775A (zh) * 2021-01-20 2021-05-18 北京林业大学 基于区域边界像素交换的林区道路快速识别方法及***
CN112818775B (zh) * 2021-01-20 2023-07-25 北京林业大学 基于区域边界像素交换的林区道路快速识别方法及***
CN115374498A (zh) * 2022-10-24 2022-11-22 北京理工大学 一种考虑道路属性特征参数的道路场景重构方法及***
CN115374498B (zh) * 2022-10-24 2023-03-10 北京理工大学 一种考虑道路属性特征参数的道路场景重构方法及***

Also Published As

Publication number Publication date
CN111611919B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
Hackel et al. Semantic3d. net: A new large-scale point cloud classification benchmark
US10846566B2 (en) Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
Ghadai et al. Learning localized features in 3D CAD models for manufacturability analysis of drilled holes
US8331669B2 (en) Method and system for interactive segmentation using texture and intensity cues
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN108830237B (zh) 一种人脸表情的识别方法
CN105809672B (zh) 一种基于超像素和结构化约束的图像多目标协同分割方法
CN114220035A (zh) 一种基于改进yolo v4的快速害虫检测方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN103514456A (zh) 基于压缩感知多核学习的图像分类方法及其装置
Dutta et al. A comparative study of deep learning models for medical image classification
Ramesh et al. Cell segmentation using a similarity interface with a multi-task convolutional neural network
Veeravasarapu et al. Adversarially tuned scene generation
Xie et al. Robust segmentation of nucleus in histopathology images via mask R-CNN
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN111611919B (zh) 一种基于结构化学习的道路场景布局分析方法
Mishra et al. Medical image retrieval using self-organising map on texture features
Sun et al. Perceptual multi-channel visual feature fusion for scene categorization
Chouhan et al. Image segmentation using fuzzy competitive learning based counter propagation network
Bressan et al. Semantic segmentation with labeling uncertainty and class imbalance
Lima et al. Automatic design of deep neural networks applied to image segmentation problems
CN113096080A (zh) 图像分析方法及***
CN116993760A (zh) 一种基于图卷积和注意力机制的手势分割方法、***、设备及介质
Chang Research on sports video image based on fuzzy algorithms
Kansal et al. Comparative analysis of convolutional neural network in object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant