CN110097592B - 地面信息的语义性描述方法 - Google Patents
地面信息的语义性描述方法 Download PDFInfo
- Publication number
- CN110097592B CN110097592B CN201910273803.7A CN201910273803A CN110097592B CN 110097592 B CN110097592 B CN 110097592B CN 201910273803 A CN201910273803 A CN 201910273803A CN 110097592 B CN110097592 B CN 110097592B
- Authority
- CN
- China
- Prior art keywords
- mobile robot
- stereo camera
- max
- binocular stereo
- ground information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
公开一种地面信息的语义性描述方法,包括设置在移动机器人前部的双目立体摄像机,焦距为f,高度为h,双目立体摄像机的光轴与移动机器人的底盘平行,还包括与双目立体摄像机连接的处理器,处理器设置路面状况快速检测方法,包括以下步骤:获取深度信息z=f1(X,Y);投影点的摄像机坐标为(x,y,z),并计算x和y;计算地面信息图f2(X,Y)=h‑y,二值化得到f3(X,Y);将二值图f3(X,Y)进行优化处理;用二值图f3(X,Y)与优化f2(X,Y);扫描地面信息图f2(X,Y),获取路面的不平整区域的面积,最大不平整度,距离,方位角,并形成语义描述算子。该方法将原始距离信息进行精炼,形成语义描述算子方便移动机器人及其他协同工作的机器人使用。
Description
技术领域
本发明涉及地面信息的语义性描述方法,属于机器视觉的图像处理领域。
背景技术
在处理复杂任务的时候,多机器人协同工作的效率会显著提高,可以实现单个机器人无法完成的任务。当多机器人协同工作的时候,除了进行任务的分解,还需要进行检测数据的共享,比如由于各方面原因A机器人和B机器人配置了不同的环境感知传感器,A机器人配置了双目立体摄像机,B机器人配置了红外及超声波传感器,因此检测的数据具有不同的精度和范围,两个机器人相互交换检测数据可以大大弥补自身传感器的不足。但是,交换原始检测数据,会增加通讯和处理负担,并且进行多次处理,造成计算上的浪费。
发明内容
针对上述问题,本发明提供地面信息的语义性描述方法,将移动机器人检测地面信息进行抽象化,形成语义描述算子,方便自己及其他机器人使用。
本发明解决其技术问题所采用的技术方案是:
地面信息的语义性描述方法,包括设置在移动机器人前部的双目立体摄像机,焦距为f,基线宽度为b,高度为h,所述的移动机器人的高度为H,所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行,还包括与所述的双目立体摄像机连接的处理器,所述的处理器设置路面状况快速检测方法,包括以下步骤:
(1) 所述的处理器获取所述的双目立体摄像机的图像对fL和fR,形成深度信息z=f1 (X,Y),X,Y为像素坐标,z为对应的深度,对应的投影点的摄像机坐标为(x,y,z), X=x·f/z,投影角度θ=arctan(Y/f), y=z·tanθ=z·Y/f;
(2) 计算地面信息图f2(X,Y)=h-y,如果| f2(X,Y)|<T或者f2(X,Y)>H,则记为f3(X,Y)=0,否则f3(X,Y)=1,其中阈值T为所述的移动机器人能够跨越的最大不平整度;
(3) 将二值图f3(X,Y)进行先腐蚀后膨胀的操作,去除二值图f3(X,Y)中多余的杂质点;在此基础上再进行先膨胀后腐蚀的操作,填充二值图f3(X,Y)中细小的空洞,最终得到优化后的二值图f3`(X,Y); 计算二值图f3`(X,Y)与f2(X,Y)的hadamard积,去除f2(X,Y)中的杂散数据,即f2`(X,Y)=f3`(X,Y)*f2(X,Y);
(4) 扫描地面信息图f2(X,Y)上的所有的点,如果f2(X0, Y0)≠0,则搜索所有与
(X0, Y0)联通的所有非零点,记为(Xi, Yi),i>0,则不平整路面的面积s=,Spix为传感器像素尺寸;在 (Xi, Yi)中,i≥0,搜索
(Xmax, Ymax)使f2`(Xi,Yi)绝对值最大,得到最大不平整度amax= f2`(Xmax, Ymax);计算点(Xi,
Yi)对应的投影点到所述移动机器人的距离,D=sqrt(xi 2+zi 2),比较出距离最小的点(xmin,
ymin),Dmin=sqrt(xmin 2+zmin 2),方位角α=arctan(xmin/zmin);最后,形成语义描述算子d={α,
Dmin, amax,s},即距离所述的移动机器人α方向上,Dmin距离处,存在不平整区域,不平整度为
amax,区域大小为s。
本发明的有益效果主要表现在:将检测数据进行抽象化,形成语义描述算子,方便自己及其他机器人使用;并且降低了通讯量,避免重复计算。
附图说明
图1是双目立体摄像机设置示意图;
图2 是不平整度计算示意图;
图3是摄像机坐标和像素坐标示意图。
具体实施方式
下面结合附图对本发明作进一步描述:
参照图1-3,地面信息的语义性描述方法,包括设置在移动机器人前部的双目立体摄像机,焦距为f,基线宽度为b,高度为h,所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行,所述的移动机器人的总高度为H。
还包括与所述的双目立体摄像机连接的处理器,所述的处理器设置路面状况快速检测方法,包括以下步骤:
(1) 所述的处理器获取所述的双目立体摄像机的图像对fL和fR,形成深度信息z=f1 (X,Y),X,Y为像素坐标,z为对应的深度,X∈(-M/2,M/2),Y∈(-N/2,N/2),M为X方向上的像素个数,N为Y方向上的像素个数;对应的投影点的摄像机坐标为(x,y,z), X=x·f/z,投影角度θ=arctan(Y/f), y=z·tanθ=z·Y/f;
所述的处理器是根据视差原理来计算深度信息,结合所述的双目立体摄像机的参数,可得z=f(X,Y)=f*b/d,其中d是根据图像对fL和fR计算得到的位置(X,Y)的视差。同时,根据相似三角形的比例关系,建立像素坐标与摄像机坐标的比例关系:X=x·f/z,y=z·Y/f。
(2) 计算地面信息图f2(X,Y)=h-y,如果| f2(X,Y)|<T或者f2(X,Y)>H,则记为f3(X,Y)=0,否则f3(X,Y)=1,其中阈值T为所述的移动机器人能够跨越的最大不平整度;
由于计算误差,平整路面也会产生计算上的不平整情况,同时一些小的不平整,不会影响所述的移动机器人的运行,并且高于所述的移动机器人高度的障碍物也不会影响所述的移动机器人的运行,因此在计算地面信息图f2(X,Y)的时候进行了部分数据的忽略。
(3) 将二值图f3(X,Y)进行先腐蚀后膨胀的操作,去除二值图f3(X,Y)中多余的杂质点;在此基础上再进行先膨胀后腐蚀的操作,填充二值图f3(X,Y)中细小的空洞,最终得到优化后的二值图f3`(X,Y); 计算二值图f3`(X,Y)与f2(X,Y)的hadamard积,去除f2(X,Y)中的杂散数据,即f2`(X,Y)=f3`(X,Y)*f2(X,Y);
将二值图f3(X,Y)进行优化处理,去除杂散点和漏检点,然后通过矩阵运算hadamard积去优化f2(X,Y)。
(4) 扫描地面信息图f2`(X,Y)上的所有的点,如果f2`(X0, Y0)≠0,则搜索所有与
(X0, Y0)联通的所有非零点,记为(Xi, Yi),i>0,则不平整路面的面积s=,Spix为传感器像素尺寸;在 (Xi, Yi)中,其中i≥0,
搜索(X max, Y max)使f2`(Xi, Yi)绝对值最大,得到最大不平整度amax= f2`(Xmax, Ymax);计算
点(Xi, Yi)对应的投影点到所述移动机器人的距离,D=sqrt(xi 2+zi 2),比较出距离最小的点
(xmin,ymin),Dmin=sqrt(xmin 2+zmin 2),方位角α=arctan(xmin/zmin);最后,形成语义描述算子d=
{α, Dmin, amax,s},即距离所述的移动机器人α方向上,Dmin距离处,存在不平整区域,不平整
度为amax,区域大小为s。
在步骤4中,扫描地面信息图f2`(X,Y)上的所有非零点,将相互连通的点作为一个独立区域,然后计算这些非零点的对应路面的面积s,然后比较出最大不平整度amax以及到所述的移动机器人的最小距离Dmin和方位角α,最终形成语义描述算子d={α, Dmin, amax,s}。因此,所述的移动机器人基于语义描述算子d与其他机器人进行数据共享,数据量小,避免重复计算,而其他机器人根据相互之间的位置关系,将语义描述算子d转换到自己的坐标系下,就可直接使用。
Claims (1)
1.地面信息的语义性描述方法,包括设置在移动机器人前部的双目立体摄像机,焦距为f,基线宽度为b,高度为h,所述的移动机器人的高度为H,所述的双目立体摄像机的光轴与所述的移动机器人的底盘平行,其特征在于:还包括与所述的双目立体摄像机连接的处理器,所述的处理器设置路面状况快速检测方法,包括以下步骤:
(1) 所述的处理器获取所述的双目立体摄像机的图像对fL和fR,根据视差原理,结合所述的双目立体摄像机的参数,形成深度信息z=f1 (X,Y)=f*b/d,其中X,Y为像素坐标,d是根据图像对fL和fR计算得到的位置(X,Y)的视差,z为对应的深度,对应的投影点的摄像机坐标为(x,y,z), X=x·f/z,投影角度θ=arctan(Y/f), y=z·tanθ=z·Y/f;
(2)计算地面信息图f2(X,Y)=h-y,如果| f2(X,Y)|<T或者f2(X,Y)>H,则记为f3(X,Y)=0,否则f3(X,Y)=1,其中阈值T为所述的移动机器人能够跨越的最大不平整度;
(3)将二值图f3(X,Y)进行先腐蚀后膨胀的操作,去除二值图f3(X,Y)中多余的杂质点;在此基础上再进行先膨胀后腐蚀的操作,填充二值图f3(X,Y)中细小的空洞,最终得到优化后的二值图f3`(X,Y); 计算二值图f3`(X,Y)与f2(X,Y)的hadamard积,去除f2(X,Y)中的杂散数据,即f2`(X,Y)=f3`(X,Y)*f2(X,Y);
(4)扫描地面信息图f2`(X,Y)上的所有的点,如果f2`(X0, Y0)≠0,则搜索所有与(X0,
Y0)联通的所有非零点,记为(Xi, Yi),i>0,则不平整路面的面积s=,Spix为传感器像素尺寸;在 (Xi, Yi)中,i≥0,搜索
(Xmax, Ymax)使f2`(Xi,Yi)绝对值最大,得到最大不平整度amax= f2`(Xmax, Ymax);计算点(Xi,
Yi)对应的投影点到所述移动机器人的距离,D=sqrt(xi 2+zi 2),比较出距离最小的点(xmin,
ymin),Dmin=sqrt(xmin 2+zmin 2),方位角α=arctan(xmin/zmin);最后,形成语义描述算子d={α,
Dmin, amax,s},即距离所述的移动机器人α方向上,Dmin距离处,存在不平整区域,不平整度为
amax,区域大小为s。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910273803.7A CN110097592B (zh) | 2019-04-07 | 2019-04-07 | 地面信息的语义性描述方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910273803.7A CN110097592B (zh) | 2019-04-07 | 2019-04-07 | 地面信息的语义性描述方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110097592A CN110097592A (zh) | 2019-08-06 |
CN110097592B true CN110097592B (zh) | 2020-12-15 |
Family
ID=67444386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910273803.7A Active CN110097592B (zh) | 2019-04-07 | 2019-04-07 | 地面信息的语义性描述方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110097592B (zh) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101852609B (zh) * | 2010-06-02 | 2011-10-19 | 北京理工大学 | 一种基于机器人双目立体视觉的地面障碍物检测方法 |
CN104864909A (zh) * | 2015-05-08 | 2015-08-26 | 苏州科技学院 | 一种基于车载双目视觉的路面坑槽检测装置 |
TW201727418A (zh) * | 2016-01-26 | 2017-08-01 | 鴻海精密工業股份有限公司 | 分析地面紋理並結合資料記錄的自動行走建議系統及方法 |
US10422639B2 (en) * | 2016-12-30 | 2019-09-24 | DeepMap Inc. | Enrichment of point cloud data for high-definition maps for autonomous vehicles |
CN106897405B (zh) * | 2017-02-15 | 2018-06-15 | 中国地质大学(武汉) | 一种地理空间传感网本体的构建方法及装置 |
FR3063374B1 (fr) * | 2017-02-27 | 2019-06-07 | Stmicroelectronics Sa | Procede et dispositif de determination d'une carte de profondeurs d'une scene |
CN107272690B (zh) * | 2017-07-07 | 2023-08-22 | 中国计量大学 | 基于双目立体视觉的惯性导引车导航方法及惯性导引车 |
CN108221603B (zh) * | 2018-01-08 | 2019-08-09 | 重庆大学 | 一种道路的路面三维信息检测装置、方法及*** |
WO2019144271A1 (zh) * | 2018-01-23 | 2019-08-01 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、设备和无人机 |
CN108362235A (zh) * | 2018-02-28 | 2018-08-03 | 四川斐讯信息技术有限公司 | 一种基于图像处理的地面平整度的测试***和方法 |
CN108960096B (zh) * | 2018-06-22 | 2021-08-17 | 深圳市恒天伟焱科技股份有限公司 | 基于立体视觉和红外成像的人体识别方法 |
CN108898095B (zh) * | 2018-06-26 | 2021-07-02 | 广东唯仁医疗科技有限公司 | 基于自学习的红外图像人体识别方法 |
-
2019
- 2019-04-07 CN CN201910273803.7A patent/CN110097592B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110097592A (zh) | 2019-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111897349B (zh) | 一种基于双目视觉的水下机器人自主避障方法 | |
CN108520536B (zh) | 一种视差图的生成方法、装置及终端 | |
Alismail et al. | Automatic calibration of a range sensor and camera system | |
CN105021124B (zh) | 一种基于深度图的平面零件三维位置和法向量计算方法 | |
EP1394761A2 (en) | Obstacle detection device and method therefor | |
CN103824318A (zh) | 一种多摄像头阵列的深度感知方法 | |
KR101676656B1 (ko) | 장애물 검출 장치 및 장애물 검출 방법 | |
CN107450885A (zh) | 一种工业机器人与三维传感器的坐标变换求解方法 | |
CN111178150A (zh) | 车道线检测方法、***及存储介质 | |
WO2021195939A1 (zh) | 一种双目拍摄装置的外参的标定方法、可移动平台及*** | |
WO2020133888A1 (zh) | 一种三维图像的尺度不变深度图映射方法 | |
CN116129037B (zh) | 视触觉传感器及其三维重建方法、***、设备及存储介质 | |
CN108694713B (zh) | 一种基于立体视觉的星箭对接环局部环段识别与测量方法 | |
Mutahira et al. | Focus measurement in color space for shape from focus systems | |
TWI571099B (zh) | 深度估測裝置及方法 | |
CN110097592B (zh) | 地面信息的语义性描述方法 | |
CN109919139B (zh) | 基于双目立体视觉的路面状况快速检测方法 | |
Hamzah et al. | An obstacle detection and avoidance of a mobile robot with stereo vision camera | |
CN108917721B (zh) | 一种失稳卫星星箭对接环双目测量方法 | |
CN109947108B (zh) | 移动机器人前方路况预测方法 | |
CN109903325B (zh) | 基于立体视觉深度信息的地面精确描述方法 | |
KR20160063039A (ko) | 3차원 데이터를 이용한 도로 인식 방법 | |
Hamzah et al. | Software Calibration for Stereo Camera on Stereo Vision Mobile Robot using Tsai's Method | |
CN112308897B (zh) | 一种基于邻域信息约束与自适应窗口的立体匹配方法 | |
Alagöz | A note on depth estimation from stereo imaging systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |