CN112036466A - 一种混合地形分类方法 - Google Patents

一种混合地形分类方法 Download PDF

Info

Publication number
CN112036466A
CN112036466A CN202010873934.1A CN202010873934A CN112036466A CN 112036466 A CN112036466 A CN 112036466A CN 202010873934 A CN202010873934 A CN 202010873934A CN 112036466 A CN112036466 A CN 112036466A
Authority
CN
China
Prior art keywords
pixel
terrain classification
segnet
result
terrain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010873934.1A
Other languages
English (en)
Inventor
惠阳
李梦
王杰
罗凯璐
罗丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN202010873934.1A priority Critical patent/CN112036466A/zh
Publication of CN112036466A publication Critical patent/CN112036466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种混合地形分类方法，1.使用相机获取相同地理环境的彩色图像和深度图像；2.将彩色图像进行SLIC超像素分割，得到若干个地形边界分割区域；3.得到SegNet地形分类结果及语义填充结果，语义填充结果用RGB颜色识别标记；4.将SLIC边界分割结果与SegNet地形分类结果结合，像素点对应，找出SegNet地形分类区域包含所有像素点RGB分量的众数，把三个分量的众数作为SegNet地形分类区域的RGB值，赋值给SegNet地形分类区域内的所有像素点；5.将RGB分量的众数作为该分类区域的语义填充值，赋值给SLIC超像素分割处理结果中分割区域所对应像素点；得到地形分类结果。

Description

一种混合地形分类方法
技术领域
本发明属于机器视觉领域，涉及一种混合地形分类方法。
背景技术
室外移动机器人保持正常工作的前提是具备自主导航能力和地形识别能力。机器人对环境的感知和检测主要取决于获得的视觉信息，基于视觉的地形识别有助于机器人快速获取即将到来的地形环境，并做出合理的预测。通过适当的地形分类方法对地形进行分类，从而将有关环境信息反馈给机器人以选择最合适的步态。目前，使用最广泛的分类方法有SVM，神经网络，偏差分类器和高斯混合，它们大多具有良好的适应性和较高的识别精度。然而，由于多足机器人主要用于复杂、非结构化的恶劣环境，这些地形分类器有一定的局限性，不能满足混合地形中移动机器人的分类要求。地形分类中，大多数分类方法具有有限的可识别地形样本，不能应用于复杂多变的非结构化室外环境，导致地形识别错误或者出现无法识别的地形类型。另外，混合地形的分类结果以及地形边界信息的确定决定了机器人所采用的步态，为多足机器人及时做出适合在该种地形上行走的步态变换提供重要依据。地形分类过程可以通过地形分类方法快速实现，但总是无法获得清晰的边界信息，导致机器人在不适当的时刻改变步态，影响机器人的平衡。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供一种混合地形分类方法，提高地形分类的准确度及边界清晰度。
为达到上述目的，本发明采用以下技术方案予以实现：
一种混合地形分类方法，包括以下步骤；
步骤一，使用相机获取相同地理环境的彩色图像和深度图像；
步骤二，将彩色图像进行SLIC超像素分割，得到若干个地形边界分割区域；
步骤三，利用彩色图像和深度图像得到SegNet地形分类结果及语义填充结果，语义填充结果用RGB颜色识别标记，将SegNet地形分类结果和RGB颜色识别标记标识在深度图像上；
步骤四，将步骤二进行SLIC超像素分割处理的彩色图像与步骤三中深度图像重叠，SLIC边界分割结果与SegNet地形分类结果结合，将SegNet地形分类结果与SLIC边界分割结果的像素点对应，找出SegNet地形分类区域包含所有像素点RGB分量的众数，把三个分量的众数作为SegNet地形分类区域的RGB值，赋值给SegNet地形分类区域内的所有像素点；
步骤五，将SegNet地形分类结果中所对应像素点中RGB分量的众数作为该分类区域的语义填充值，赋值给SLIC超像素分割处理结果中分割区域所对应像素点；得到地形分类结果。
进一步，步骤二中，彩色图像进行SLIC超像素分割包括以下步骤；
a，初始化聚类中心：生成设定的超像素数量，并将种子点均匀的分布在彩色图像中；
b，聚类中心的校正：在种子点的n*n邻域内计算所有像素点的梯度值，并在该邻域内梯度最小的地方替换原种子点；
c，像素点的标签分配：为种子点邻域内的所有像素点分配类标签，判断其所属的聚类中心；
d，相似性度量：分别计算每个种子点与搜索到的每个像素点之间的距离，及目标像素点与种子点之间的颜色相似性和图像坐标的距离；
e，迭代优化：重复步骤a至步骤d不断迭代，直到误差收敛至每个像素点聚类中心不再发生变化。
进一步，步骤a中，具体先对每个需要分割的区域随机找一个种子像素作为生长的起点，然后将种子像素周围邻域中与种子像素具有相同或相似性质的像素合并到种子像素所在的区域中，将这些新像素当做新的种子像素继续进行上面的过程，直到再没有满足条件的像素被包括进来，最终形成一个区域。
进一步，迭代优化完成后，对于尺寸过小以及不连续的超像素，将其重新分配并归到最邻近的超像素块中，把像素点分配给相应的标签，直到遍历所有的点。
进一步，步骤e中，迭代次数为10次。
优选的，步骤二中，将每一块分割区域标记出来，记为：A1，A2，A3，…，An，其中An代表每块分割区域像素点的集合，记为IAn(x，y)，并按照像素点集合的大小进行赋值标记，令An＝n。
与现有技术相比，本发明具有以下有益效果：
本发明把SegNet地形分类结果中每个像素点和SLIC分类结果的像素点对应起来，再将SegNet中对应像素点的颜色值的众数赋给SLIC分割结果，得到了边界清晰，且具有语义填充的地形分类结果。并简化了分类过程，提高地形分类的准确性和高效性，同时也优化了分割结果。
附图说明
图1为本发明的SLIC-SegNet地形分类流程图；
图2为本发明的相机采集的地形环境图；
图3为本发明的SLIC超像素分割结果图；
图4为本发明的SegNet地形分类结果图；
图5为本发明的SLIC-SegNet地形分类结果图。
具体实施方式
下面结合附图1对本发明做进一步详细描述：
步骤一，采用Kinect v2.0相机采集图像k，获取彩色图像和深度图像，如图2所示，其中彩色图像和深度图像的像素点一一对应。图像大小为480*360，每个像素点坐标记为：(xi,yj)。
步骤二，将彩色图像进行SLIC超像素分割以及聚类处理，得到地形边界分割结果，如图3所示。并将每一块分割区域标记出来，记为：A1,A2,A3,...An，其中An代表每块分割区域像素点的集合，记为IAn(x，y)，并按照像素点集合的大小进行赋值标记，令An＝n。其中SLIC超像素分割算法如下：
a.初始化聚类中心：生成设定的超像素数量，并将多个种子点均匀的分布在彩色图像中，具体先对每个需要分割的区域随机找一个种子像素作为生长的起点，然后将种子像素周围邻域中与种子像素具有相同或相似性质的像素合并到种子像素所在的区域中。将这些新像素当做新的种子像素继续进行上面的过程，直到再没有满足条件的像素可被包括进来，最终形成一个区域。
假设彩色图像有P个像素点，预分隔的超像素块为N个，则每个超像素大小为P/N，超像素间的步长为
Figure BDA0002652023000000041
以确保生成形状规则、分布均匀紧凑的超像素块。
b.聚类中心的校正：在种子点的n*n邻域内计算所有像素点的梯度值，并在该邻域内梯度最小的地方替换原种子点，从而避免中心落在梯度较大的轮廓边界上，影响聚类效果。
c.像素点的标签分配：为每个种子点邻域内的每个像素点分配类标签，判断其属于哪一个聚类中心。
d.相似性度量：分别计算种子点与搜索到的每个像素点之间的距离，包括目标像素点与种子点之间的颜色相似性和图像坐标的距离。
Figure BDA0002652023000000051
Figure BDA0002652023000000052
Figure BDA0002652023000000053
其中l，a，b为像素在Lab色彩空间内的特性参数，dc为像素点i，j的色彩差异度，ds为像素点i，j的欧氏距离，Ns为类内最大空间距离，取值与步长值相等。Nc为最大颜色距离，通常我们取固定常数m，取值范围为[1，40]，通常取10。
e.迭代优化：重复上述过程不断迭代直到误差收敛至每个像素点聚类中心不再发生变化。根据实验证明当迭代次数到达10次的时候大多图像即可达到理想效果，因此一般取迭代次数为10。
f.增强连通性：对于尺寸过小以及不连续的超像素，将其重新分配并归到最邻近的超像素块中，把像素点分配给相应的邻近超像素块所处标签，直到遍历所有的点。
步骤三，利用彩色图像和深度图像得到SegNet地形分类及语义填充结果，彩色图像和深度图像中的每块分类区域标记为：B1,B2,B3,...Bm，其中Bm代表其中一块分类区域像素点的集合，语义填充结果用RGB颜色识别标记，每个像素点对应的RGB颜色为(R(xi,yj),G(xi,yj),B(xi,yj))。在SegNet中，参数求解过程主要包括：卷积层和子采样层的残差，以及相应的权值参数和偏置参数的导数计算。在卷积层中，上一层的特征maps与可学习的卷积核进行卷积运算，通过一个激活函数得到输出特征map。每个输出map可由多个输入maps组合卷积得来，得到SegNet地形分类结果，如图4所示，：
Figure BDA0002652023000000061
其中
Figure BDA0002652023000000062
为像素点j在坐标轴x方向第l层的输出值，Mj表示所选输入maps的集合，并且卷积是“有效的”边界处理。每个输出map给出一个加性偏差b，
Figure BDA0002652023000000063
代表卷积核。然后通过批量归一化加快网络学习速度，并且解决了梯度消失和梯度***的问题。对于给定的map，可以通过计算得到其灵敏度map。通过对l层中灵敏度map中所有节点求和快速计算出bias基的梯度，并且卷积核权值的梯度可以用BP算法计算求得。在子采样层中，N个输入maps有N个输出maps，只是每个输出map都会变小。其中down(.)为下采样函数。每个输出map都有一个乘性偏置β和一个加性偏置b与之对应。然后计算加性偏置b和乘性偏置β的梯度。
步骤四，依据SLIC边界分割结果A1,A2,A3,...AN，将SegNet地形分类结果中每个像素点和SLIC分割结果的像素点对应，并找出该地形分类区域包含所有像素点RGB分量的众数，把三个分量的众数作为该区域的RGB值，赋值给该区域内的所有像素点。
步骤五，将SegNet中所对应像素点中RGB分量的众数作为该分类区域的语义填充值，赋值给SLIC中An所对应像素点。
步骤六，如图5所示，得到边界清晰且具有语义填充的地形分类结果。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (6)

1.一种混合地形分类方法，其特征在于，包括以下步骤；
步骤一，使用相机获取相同地理环境的彩色图像和深度图像；
步骤二，将彩色图像进行SLIC超像素分割，得到若干个地形边界分割区域；
步骤三，利用彩色图像和深度图像得到SegNet地形分类结果及语义填充结果，语义填充结果用RGB颜色识别标记，将SegNet地形分类结果和RGB颜色识别标记标识在深度图像上；
步骤四，将步骤二进行SLIC超像素分割处理的彩色图像与步骤三中深度图像重叠，SLIC边界分割结果与SegNet地形分类结果结合，将SegNet地形分类结果与SLIC边界分割结果的像素点对应，找出SegNet地形分类区域包含所有像素点RGB分量的众数，把三个分量的众数作为SegNet地形分类区域的RGB值，赋值给SegNet地形分类区域内的所有像素点；
步骤五，将SegNet地形分类结果中所对应像素点中RGB分量的众数作为该分类区域的语义填充值，赋值给SLIC超像素分割处理结果中分割区域所对应像素点；得到地形分类结果。
2.根据权利要求1所述的混合地形分类方法，其特征在于，步骤二中，彩色图像进行SLIC超像素分割包括以下步骤；
a，初始化聚类中心：生成设定的超像素数量，并将种子点均匀的分布在彩色图像中；
b，聚类中心的校正：在种子点的n*n邻域内计算所有像素点的梯度值，并在该邻域内梯度最小的地方替换原种子点；
c，像素点的标签分配：为种子点邻域内的所有像素点分配类标签，判断其所属的聚类中心；
d，相似性度量：分别计算每个种子点与搜索到的每个像素点之间的距离，及目标像素点与种子点之间的颜色相似性和图像坐标的距离；
e，迭代优化：重复步骤a至步骤d不断迭代，直到误差收敛至每个像素点聚类中心不再发生变化。
3.根据权利要求2所述的混合地形分类方法，其特征在于，步骤a中，具体先对每个需要分割的区域随机找一个种子像素作为生长的起点，然后将种子像素周围邻域中与种子像素具有相同或相似性质的像素合并到种子像素所在的区域中，将这些新像素当做新的种子像素继续进行上面的过程，直到再没有满足条件的像素被包括进来，最终形成一个区域。
4.根据权利要求2所述的混合地形分类方法，其特征在于，迭代优化完成后，对于尺寸过小以及不连续的超像素，将其重新分配并归到最邻近的超像素块中，把像素点分配给相应的标签，直到遍历所有的点。
5.根据权利要求2所述的混合地形分类方法，其特征在于，步骤e中，迭代次数为10次。
6.根据权利要求1所述的混合地形分类方法，其特征在于，步骤二中，将每一块分割区域标记出来，记为：A1，A2，A3，…，An，其中An代表每块分割区域像素点的集合，记为IAn(x，y)，并按照像素点集合的大小进行赋值标记，令An＝n。
CN202010873934.1A 2020-08-26 2020-08-26 一种混合地形分类方法 Pending CN112036466A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010873934.1A CN112036466A (zh) 2020-08-26 2020-08-26 一种混合地形分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010873934.1A CN112036466A (zh) 2020-08-26 2020-08-26 一种混合地形分类方法

Publications (1)

Publication Number Publication Date
CN112036466A true CN112036466A (zh) 2020-12-04

Family

ID=73581602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010873934.1A Pending CN112036466A (zh) 2020-08-26 2020-08-26 一种混合地形分类方法

Country Status (1)

Country Link
CN (1) CN112036466A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861669A (zh) * 2021-01-26 2021-05-28 中国科学院沈阳应用生态研究所 地表坡向约束的高分辨率dem地形特征增强提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741341A (zh) * 2018-12-20 2019-05-10 华东师范大学 一种基于超像素和长短时记忆网络的图像分割方法
CN110096961A (zh) * 2019-04-04 2019-08-06 北京工业大学 一种超像素级别的室内场景语义标注方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741341A (zh) * 2018-12-20 2019-05-10 华东师范大学 一种基于超像素和长短时记忆网络的图像分割方法
CN110096961A (zh) * 2019-04-04 2019-08-06 北京工业大学 一种超像素级别的室内场景语义标注方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAGUANG ZHU 等: ""Superpixel Segmentation Based SyntheticClassifications with Clear Boundary Information for a Legged Robot"", 《SENSORS》 *
张弘 等, 机械工业出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861669A (zh) * 2021-01-26 2021-05-28 中国科学院沈阳应用生态研究所 地表坡向约束的高分辨率dem地形特征增强提取方法

Similar Documents

Publication Publication Date Title
CN109410321B (zh) 基于卷积神经网络的三维重建方法
Song et al. Road extraction using SVM and image segmentation
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN111259936B (zh) 一种基于单一像素标注的图像语义分割方法及***
CN111652892A (zh) 一种基于深度学习的遥感影像建筑物矢量提取及优化方法
CN107784657A (zh) 一种基于颜色空间分类的无人机遥感图像分割方法
CN115032648B (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
CN109543634B (zh) 定位过程中的数据处理方法、装置、电子设备和存储介质
CN110634142B (zh) 一种复杂车路图像边界优化方法
CN116229205A (zh) 基于小样本特征迁移的口红产品表面缺陷数据增广方法
CN112036466A (zh) 一种混合地形分类方法
CN114820668A (zh) 一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法
Liu et al. Comparison of 2D image models in segmentation performance for 3D laser point clouds
CN114140485A (zh) 一种三七主根切割轨迹生成方法及***
CN117496401A (zh) 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法
CN112767429A (zh) 一种地面-雪面点云快速分割方法
CN111104942A (zh) 一种模板匹配网络训练方法、识别方法及装置
WO2023202062A1 (zh) 基于图像识别的目标对接方法、终端设备及其介质
CN108921194B (zh) 一种地形坡位分类自适应的聚类方法
CN113096048B (zh) 一种广义云驱动与几何协同遥感影像辐射校正方法及***
Zhang et al. Point clouds classification of large scenes based on blueprint separation convolutional neural network
CN114463534A (zh) 一种目标关键点检测方法、装置、设备及存储介质
Guo et al. 3D Lidar SLAM Based on Ground Segmentation and Scan Context Loop Detection
CN113052231A (zh) 一种基于体素和全局形状分布特征的三维模型分类方法
Gonzalez-Huitron et al. Jaccard distance as similarity measure for disparity map estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201204

RJ01 Rejection of invention patent application after publication