CN109101874B - 一种基于深度图像的图书馆机器人障碍识别方法 - Google Patents

一种基于深度图像的图书馆机器人障碍识别方法 Download PDF

Info

Publication number
CN109101874B
CN109101874B CN201810644120.3A CN201810644120A CN109101874B CN 109101874 B CN109101874 B CN 109101874B CN 201810644120 A CN201810644120 A CN 201810644120A CN 109101874 B CN109101874 B CN 109101874B
Authority
CN
China
Prior art keywords
area
image
plane
thre
threshold parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810644120.3A
Other languages
English (en)
Other versions
CN109101874A (zh
Inventor
陈力军
梁雨
李雪健
申富饶
刘佳
张晓聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201810644120.3A priority Critical patent/CN109101874B/zh
Publication of CN109101874A publication Critical patent/CN109101874A/zh
Priority to EP19822360.4A priority patent/EP3745300A4/en
Priority to PCT/CN2019/082717 priority patent/WO2019242388A1/zh
Application granted granted Critical
Publication of CN109101874B publication Critical patent/CN109101874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度图像识别障碍的方法，包括：步骤1，将采集到的深度图像截取一定距离范围；步骤2，使用腐蚀膨胀操作对图像去噪并平滑边界；步骤3，用卷积运算做边缘检测；步骤4，找出书架平面并画出分界线；步骤5，根据卷积结果找出突出书的平面；步骤6，筛掉面积小的区域，若仍存在面积大的区域，对区域判断是否能够识别出障碍物。

Description

一种基于深度图像的图书馆机器人障碍识别方法
技术领域
本发明涉及基于深度图像识别障碍物的图像处理方法，特别是涉及图书馆书架上书凸出的识别的数字图像处理方法。
背景技术
近年来，由于视觉理论及计算机科学与技术的迅速发展，越来越多的学者投入到机器人的视觉研究中。机器人视觉***在移动机器人中的应用也倍受人们的重视并表现出良好的发展前景，对障碍物识别的研究已经成为诸多应用中的热点之一，并且取得了***的成果。而针对图书馆机器人行进过程中碰到书架上凸出的书的检测并没有很好的方法。
目前，国内外基于视觉的障碍物的检测总体可以分为两类：基于激光雷达的障碍物检测方法与基于视觉的障碍物检测方法。与激光雷达传感器相比，视觉传感器成本低，且对复杂环境的适应性强，不易受环境或障碍物形态的影响，可以获得外界环境信息的图像信号，图像信号包含大量的图像信息，在描述目标的宽广性、完整性等方面具有很大优势。
利用边缘信息进行障碍物检测与基于立体视觉对障碍物进行检测都是应用非常广泛的方法，并且保证了不错的性能。边缘是最基本的图像特征，它信息丰富，可以通过边缘将障碍物和背景分离，但是对于障碍物和背景颜色非常接近或者光照过暗时表现很差；基于立体视觉的检测方法可以从物体的二维图像获取三维信息，但是该检测方法也有计算量大，图像对间的匹配较复杂等缺点。
对于图书馆机器人行进过程中碰到书架上凸出的书的检测，已有的障碍物检测算法并不适用。对于彩色图像，凸出的书与书架背景及相邻的书颜色接近，很难进行区分，边缘特征也就不能用于这种场景。
发明内容
发明目的：本发明克服现有边缘检测算法不能有效识别图书馆书架凸出的书的弱点，以及现有基于立体视觉的检测方法运行速度慢的问题，采用深度图像，对深度图像进行处理，检测边缘，判定是否遇到障碍物，以提高算法性能。
为了解决上述技术问题，本发明公开了一种基于深度图像的图书馆机器人障碍识别的方法，该方法可以用于障碍物识别，图书馆机器人，图像处理等应用中，包括以下步骤：
步骤1，将采集到的深度图像截取一定距离范围，在实际中使用的是像素值位于40-60之间的像素；
步骤2，使用形态学运算中的开运算，即先腐蚀后膨胀的操作对图像去噪并平滑边界；
步骤3，用卷积运算做边缘检测；
步骤4，找出书架平面并画出分界线；
步骤5，根据卷积结果找出突出的书的平面；
步骤6，筛掉面积小的区域，若仍存在面积大的区域，对区域判断是否能够识别出障碍物。
步骤1中，设定参数，取一定距离范围内的图像。本发明取像素值在40～60之间的像素。
步骤2中，去除图像噪声并平滑图像边界。
步骤3中，做卷积运算，采用如下的卷积公式：
Figure BDA0001703098820000021
其中，x和y分别代表某一像素在图像中的行号和列号，f代表原始的二维图像的函数，g代表卷积核的函数，通常卷积核的大小比原始图像小很多，n1与n2代表图像范围中的某一个位置，卷积运算就是指用卷积核对图像中的每个像素及其邻域构成的块进行点积运算，结果取绝对值并做归一化后赋给该像素。本发明为了提取图像边缘与确定平面，采用Sobel卷积核进行处理，即
Figure BDA0001703098820000022
步骤4中，找出书架平面，采用如下的方法：在步骤1的深度图中，找到梯度最大的区域，该区域在图像中的平均列号就是书架的平面。
步骤5中，利用步骤3得到的结果，因为平面经过卷积运算后像素值会接近0，设定阈值参数dep_threshold，像素值小于阈值参数dep_threshold的像素即被认为是平面。
步骤6中，筛掉面积小的区域，若仍存在面积大的区域，对区域判断是否能够识别出障碍物；包括如下步骤：
步骤6-1，将步骤5中所得平面结果按照邻域寻找连通区域；
步骤6-2，设定面积阈值参数area_thre；
步骤6-3，取第一个连通区域，跳转至步骤6-4；
步骤6-4，对于该连通区域，统计出该连通区域的面积，若该面积小于阈值参数area_thre，则将此连通区域删除，取下一个连通区域，跳转至步骤6-4，若每个连通区域均经过判定，则stop＝0，说明不存在障碍物，结束步骤6；若该连通区域面积大于阈值参数area_thre，跳转至步骤6-5；
步骤6-5，计算书突出书架的距离col_ave，设定阈值参数col-thre，当书突出部分超过阈值参数col_thre时，即如果col_ave＞col_thre，则stop＝1，说明存在障碍物图书，结束步骤6；否则取下一个连通区域，跳转至步骤6-4，若每个连通区域均经过判定，则stop＝0，结束步骤6。
有益效果：本发明的显著优点是对于图书馆书凸出时，凸出的书与书架背景以及相邻的书很难区分的情况检测效果很好，采用卷积结果找出平面，算法运行速度快，适合处理机器人行走过程中实时获取到的图像，同时判断也非常精准，从而提升了算法性能。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/ 或其他方面的优点将会变得更加清楚。
图1为本发明识别障碍物的流程图。
图2为本发明中根据归一化后的卷积结果判断是否需要停止的流程图。
图3为本发明的中间结果图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚明晰，本章结合附图对发明做更近一步的详细描述。
图1是本发明识别障碍物的流程图，包括6个步骤。
在第一个步骤中，将采集到的深度图像截取一定距离范围，在实际中使用的是像素值位于40-60之间的像素。
在第二个步骤中，使用形态学运算中的开运算，即先腐蚀后膨胀的操作对图像去噪并平滑边界。
在第三个步骤中，做卷积运算，采用如下的卷积公式：
Figure BDA0001703098820000041
其中，f代表原始的二维图像的函数，g代表卷积核的函数，通常卷积核的大小比原始图像小很多，n1与n2代表图像范围中的某一个位置，卷积运算就是指用卷积核对图像中的每个像素及其邻域构成的块进行点积运算，结果取绝对值并做归一化后赋给该像素。
卷积运算是像素图像边缘检测中最重要的方法之一，在机器学习、数字媒体、计算机视觉等信息科技领域起着举足轻重的作用。
目前有很多的卷积核得到了广泛的应用，此处为了提取边缘与确定平面，使用Sobel卷积核对图像进行处理，本发明中Sobel卷卷积核包含两组矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别检测出横向及纵向的边缘。如果以A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像，用公式表示如下：
Figure BDA0001703098820000042
本发明中使用Gx得到的梯度结果，取绝对值并做归一化处理来找出图像的纵向边缘。
在第四个步骤中，找出书架平面，采用如下的方法：在原始的深度图中，找到梯度最大的区域，该区域在图像中的平均列号就是书架的平面。
在第五个步骤中，利用步骤3得到的结果，如果是平面，经过卷积归一化后像素值接近0，设定阈值参数dep_threshold，像素值小于阈值参数dep_threshold即被认为是平面。
在第六个步骤中，筛掉面积小的区域，若仍存在面积大的区域，对区域判断是否能够识别出障碍物。这一过程的流程图如图2，包括如下步骤：
步骤6-1，将步骤5中所得平面结果按照邻域寻找连通区域，即对于位于(x，y)的像素，x和y分别代表该像素在图像中的行号和列号，如果在邻域位置处存在像素值不等于0的像素，则该像素与之前的像素邻接，处于同一连通区域；
步骤6-2，设定面积阈值参数area_thre；
步骤6-3，取第一个连通区域，跳转至步骤6-4；
步骤6-4，对于该连通区域，统计出该连通区域的面积，若该面积小于阈值参数area_thre，则将此连通区域删除，取下一个连通区域，跳转至步骤6-4，若每个连通区域均经过判定，则stop＝0，说明不存在障碍物，结束步骤6；若该连通区域面积大于阈值参数area_thre，跳转至步骤6-5；
步骤6-5，计算书突出书架的距离col-ave，设定阈值参数col-thre，当书突出部分超过阈值参数col_thre时，即如果col_ave＞col_thre，则stop＝1，说明存在障碍物图书，结束步骤6；否则取下一个连通区域，跳转至步骤6-4，若每个连通区域均经过判定，则stop＝0，结束步骤6。
若最终找到的可能平面的面积小于一定值，说明该障碍物并不会阻挡机器人的前进过程，同时，若面积大于这个值，并且平均下来，障碍物所占的列数小于一定值，说明图书凸出距离很小，同样不会阻碍到机器人的前进过程。
实施例
为了验证算法的有效性，在8个实际采集的视频片断上进行实例验证。其中包括 5个机器人都不会撞到的视频片段与3个机器人可能会撞到的视频片段，对这些视频片段的每帧图像进行处理，判断机器人是否应当停下来。
以这8个视频片段为例，对于视频片段中的每一帧图像，按照以下步骤判断机器人是否碰到需要停下来的障碍物：
1、将采集到的深度RGB图像转为灰度图，截取一定距离范围内的图像，深度图中灰度值代表实际物与摄像头的距离，再对图像进行处理，去掉不可能出现障碍物的部分区域。
2、采用形态学运算中的开运算对图像进行去噪并平滑边界。
3、对图像做卷积运算，卷积后对结果取绝对值并作归一化处理。
4、找出书架平面，采用如下的方法：在步骤1的深度图中，找到梯度最大的区域，该区域在图像中的平均列号就是书架的平面。
5、根据步骤3得到的归一化处理后的结果，设定阈值参数dep_threshold，卷积结果中像素值小于阈值参数dep_threshold的部分即为可能的平面。
6、对于每个邻域的像素构成的平面，首先判断其面积是否大于面积阈值参数area_thre，然后判断其占的列数是否大于阈值参数col_thre，若两者均成立，那么对于这幅图像，判定机器人应该停下来。
在图3中，展示了对于一个障碍物图像实施算法的中间结果图，其中，图3中 (a)是彩色图原始图像，图3中(b)是深度图截取一定距离后的结果，图3中(c)是去噪之后的图，图3中(d)是卷积结果图，图3中 (d)是根据卷积结果画出的边界区域图，图3中(e)是找到的书架平面，图3中(f)是最终得到可能突出书的平面。经过在数据上的验证可以表明，本发明的准确度和速度都表现出了令人满意的结果。
本发明提供了一种基于深度图像识别障碍物的方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.一种基于深度图像的图书馆机器人障碍识别方法，其特征在于，包括如下步骤：
步骤1，将采集到的深度图像截取一定距离范围；
步骤2，对图像去噪并平滑边界；
步骤3，用卷积运算做边缘检测；
步骤4，找出书架平面并画出分界线；
步骤5，根据卷积结果找出突出书架的书的平面；
步骤6，筛掉面积小于阈值参数area_thre的区域，若仍存在面积大的区域，对区域判断是否能够识别出障碍物；
步骤1中，设定参数，截取一定距离范围的图像，所述距离范围的图像像素值位于40-60之间；
步骤2中通过形态学运算中的开运算，即先腐蚀后膨胀对图像去除噪声并平滑图像边界；
步骤3中，做卷积运算，采用如下的卷积公式：
Figure FDA0003337422750000011
其中，x和y分别代表一像素在图像中的行号和列号，f代表原始的二维图像的函数，g代表卷积核的函数，n1与n2代表图像范围中的一个位置；
步骤4中，找出书架平面，采用如下的方法：在步骤1的深度图中，找到梯度最大的区域，该区域在图像中的平均列号就是书架的平面；
步骤5中，利用步骤3得到的结果，设定阈值参数dep_threshold，像素值小于dep_threshold即被认为是平面；
步骤6中，筛掉面积小于阈值参数area_thre的区域，若仍存在面积大的区域，对区域判断是否能够识别出障碍物；包括如下步骤：
步骤6-1，将步骤5中所得平面结果按照邻域寻找连通区域；
步骤6-2，设定面积阈值参数area_thre；
步骤6-3，取第一个连通区域，跳转至步骤6-4；
步骤6-4，对于该连通区域，统计出该连通区域的面积，若该面积小于阈值参数area_thre，则将此连通区域删除，进行步骤6-5；若该连通区域面积大于阈值参数area_thre，跳转至步骤6-6；
步骤6-5，取下一个连通区域，若每个连通区域均经过判定，则判定不存在障碍物，结束步骤6，否则返回步骤6-4；
步骤6-6，计算书突出书架的距离col_ave，设定阈值参数col_thre，当书突出部分超过阈值参数col_thre时，则判断存在障碍物图书，结束步骤6；否则取下一个连通区域，跳转至步骤6-4，若每个连通区域均经过判定，则判定不存在障碍物，结束步骤6。
CN201810644120.3A 2018-06-21 2018-06-21 一种基于深度图像的图书馆机器人障碍识别方法 Active CN109101874B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810644120.3A CN109101874B (zh) 2018-06-21 2018-06-21 一种基于深度图像的图书馆机器人障碍识别方法
EP19822360.4A EP3745300A4 (en) 2018-06-21 2019-04-15 LIBRARY ROBOT OBSTACLE RECOGNITION PROCESS BASED ON DEPTH IMAGE
PCT/CN2019/082717 WO2019242388A1 (zh) 2018-06-21 2019-04-15 一种基于深度图像的图书馆机器人障碍识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810644120.3A CN109101874B (zh) 2018-06-21 2018-06-21 一种基于深度图像的图书馆机器人障碍识别方法

Publications (2)

Publication Number Publication Date
CN109101874A CN109101874A (zh) 2018-12-28
CN109101874B true CN109101874B (zh) 2022-03-18

Family

ID=64845021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810644120.3A Active CN109101874B (zh) 2018-06-21 2018-06-21 一种基于深度图像的图书馆机器人障碍识别方法

Country Status (3)

Country Link
EP (1) EP3745300A4 (zh)
CN (1) CN109101874B (zh)
WO (1) WO2019242388A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101874B (zh) * 2018-06-21 2022-03-18 南京大学 一种基于深度图像的图书馆机器人障碍识别方法
CN111609852A (zh) * 2019-02-25 2020-09-01 北京奇虎科技有限公司 语义地图构建方法、扫地机器人及电子设备
CN113139927A (zh) * 2020-01-02 2021-07-20 深圳怡化电脑股份有限公司 纸币裂痕检测方法、装置、设备及可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651836A (zh) * 2016-11-04 2017-05-10 中国科学院上海微***与信息技术研究所 一种基于双目视觉的地平面检测方法
CN107330925A (zh) * 2017-05-11 2017-11-07 北京交通大学 一种基于激光雷达深度图像的多障碍物检测和跟踪方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318206B (zh) * 2014-09-30 2017-09-29 东软集团股份有限公司 一种障碍物检测方法和装置
KR20170121933A (ko) * 2016-04-26 2017-11-03 삼성에스디에스 주식회사 깊이 센서를 이용한 충돌 회피 방법 및 그 장치
CN106096559A (zh) * 2016-06-16 2016-11-09 深圳零度智能机器人科技有限公司 障碍物检测方法及***以及运动物体
CN107397658B (zh) * 2017-07-26 2020-06-19 成都快眼科技有限公司 一种多尺度全卷积网络及视觉导盲方法和装置
CN109101874B (zh) * 2018-06-21 2022-03-18 南京大学 一种基于深度图像的图书馆机器人障碍识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651836A (zh) * 2016-11-04 2017-05-10 中国科学院上海微***与信息技术研究所 一种基于双目视觉的地平面检测方法
CN107330925A (zh) * 2017-05-11 2017-11-07 北京交通大学 一种基于激光雷达深度图像的多障碍物检测和跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Kinect与二维激光雷达结合的机器人障碍检测;肖宇峰 等;《电子科技大学学报》;20180531;第47卷(第3期);第337-342页 *
基于超高频RFID的图书盘点机器人的设计和实现;沈奎林 等;《图书馆学研究》;20160731;第24-28页 *

Also Published As

Publication number Publication date
EP3745300A1 (en) 2020-12-02
WO2019242388A1 (zh) 2019-12-26
CN109101874A (zh) 2018-12-28
EP3745300A4 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
Wu et al. Lane-mark extraction for automobiles under complex conditions
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
CN111382704B (zh) 基于深度学习的车辆压线违章判断方法、装置及存储介质
EP2725520A2 (en) Method and apparatus for detecting road
CN111444778B (zh) 一种车道线检测方法
CN109101874B (zh) 一种基于深度图像的图书馆机器人障碍识别方法
Youjin et al. A robust lane detection method based on vanishing point estimation
US9747507B2 (en) Ground plane detection
CN113221861B (zh) 一种多车道线检测方法、装置及检测设备
KR101483742B1 (ko) 지능형 차량의 차선 검출방법
Joshi et al. A low cost and computationally efficient approach for occlusion handling in video surveillance systems
CN111696072A (zh) 彩色图像的直线检测方法、装置、电子设备及存储介质
CN109978916B (zh) 基于灰度图像特征匹配的Vibe运动目标检测方法
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN111062415B (zh) 基于对比差异的目标对象图像提取方法、***及存储介质
CN101604380B (zh) 人头识别直径搜索法
CN103337080A (zh) 基于梯度方向Hausdorff 距离的红外图像和可见光图像配准技术
CN110348363B (zh) 基于多帧角度信息融合消除相似车辆干扰的车辆跟踪方法
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN111178111A (zh) 二维码检测方法、电子设备、存储介质及***
CN107273801B (zh) 一种视频多目标跟踪检测异常点的方法
KR101910256B1 (ko) 카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템
CN113409334B (zh) 一种基于质心的结构光角点检测方法
Gu et al. Robust road lane detection using extremal-region enhancement
CN107247953B (zh) 一种基于边缘率的特征点类型选择方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant