CN110344621A - 一种面向智能车库的车轮点云检测方法 - Google Patents
一种面向智能车库的车轮点云检测方法 Download PDFInfo
- Publication number
- CN110344621A CN110344621A CN201910511231.1A CN201910511231A CN110344621A CN 110344621 A CN110344621 A CN 110344621A CN 201910511231 A CN201910511231 A CN 201910511231A CN 110344621 A CN110344621 A CN 110344621A
- Authority
- CN
- China
- Prior art keywords
- wheel
- cloud
- point
- point cloud
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- E—FIXED CONSTRUCTIONS
- E04—BUILDING
- E04H—BUILDINGS OR LIKE STRUCTURES FOR PARTICULAR PURPOSES; SWIMMING OR SPLASH BATHS OR POOLS; MASTS; FENCING; TENTS OR CANOPIES, IN GENERAL
- E04H6/00—Buildings for parking cars, rolling-stock, aircraft, vessels or like vehicles, e.g. garages
- E04H6/08—Garages for many vehicles
- E04H6/12—Garages for many vehicles with mechanical means for shifting or lifting vehicles
- E04H6/18—Garages for many vehicles with mechanical means for shifting or lifting vehicles with means for transport in vertical direction only or independently in vertical and horizontal directions
- E04H6/182—Garages for many vehicles with mechanical means for shifting or lifting vehicles with means for transport in vertical direction only or independently in vertical and horizontal directions using car-gripping transfer means
-
- E—FIXED CONSTRUCTIONS
- E04—BUILDING
- E04H—BUILDINGS OR LIKE STRUCTURES FOR PARTICULAR PURPOSES; SWIMMING OR SPLASH BATHS OR POOLS; MASTS; FENCING; TENTS OR CANOPIES, IN GENERAL
- E04H6/00—Buildings for parking cars, rolling-stock, aircraft, vessels or like vehicles, e.g. garages
- E04H6/42—Devices or arrangements peculiar to garages, not covered elsewhere, e.g. securing devices, safety devices, monitoring and operating schemes; centering devices
- E04H6/422—Automatically operated car-parks
- E04H6/424—Positioning devices
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种面向智能车库的车轮点云检测方法,包括:利用二维单线激光雷达采集停车区域场景三维点云;数据集标注;基于非结构化点云的三维目标检测网络模型定位车轮位置;基于设定的空间候选框确定目标点云范围,提取感兴趣区域的车轮目标点云;基于预测六自由度的空间最小外接包围框表示车轮目标,同时包含车轮的位置和姿态信息。本发明面向智能车库场景提出了车轮目标检测的深度学习算法,该方法与传统的目标检测方法相比,具有效率高、定位能力强,姿态识别准确,可移植性强等特点,并在城市智能车库中得到了初步应用。
Description
技术领域
本发明涉及计算机视觉和人工智能领域,特别涉及一种基于二维单线激光采集的面向智能车库的车轮点云检测方法,能够准确定位车轮位置和识别车轮姿态。
背景技术
自动化车库大多通过智能机器人将车辆移动至指定的停车位。目前市面上很多停车机器人都可以在一定程度上利用有限的土地面积,获得成倍的停车位。但这些车库采用的存取车方法基本上属于被动式。如托盘式机器人需要司机将车停在载车板上,再通过搬运机器人移动车辆至相应停车位,但载车板空间狭小,要求驾驶员具有良好的停车技巧,将车辆必须以正确角度停放于专门的载车托盘或区域内。
智能车库的泊车方法放弃了压电传感器等接触式传感器,不借助载车板,利用布局在停车区域上方和机械手上的激光雷达采集的数据,在空间中识别以任意位姿停放的车辆,将其抓取到悬空位置再放置于空间中任意停车位,可以大大降低对场地和驾驶员停车技巧的要求。在停车过程中,***准确定位待停车辆的位置是实现智能泊车的关键,其中对车轮位置信息的获取决定抓取车辆成功与否,更是其中一个重要的内容。因此,需要通过激光雷达扫描得到的车辆点云准确检测出四个车轮的中心位置,安全抓取车辆至指定停车位的问题即被转化为对车轮的目标检测问题。
目前在智能车库场景下还没有利用激光点云检测车轮目标的方法。与本方案较接近的包括:专利文献公开的一种激光雷达设置方法和停车场(公开号:CN109581414A、申请公布),在车辆经过目标车道时,通过分布在车道两侧的激光雷达扫描车轮内侧,获取具有厚度特征的车轮信息,进而进行车辆定位,但该方法需要布置多个激光雷达,成本较高。一种基于点云数据的3D目标检测方法(公开号:CN109581414A、申请公布)设计了基于点云数据的3D目标检测网络模型主体结构,用以检测出相关道路场景中的感兴趣目标,但这种方法需要结合点云和相机采集的图像进行场景感知。文献(王海.基于激光雷达的自动泊车环境感知技术研究.大连理工大学,2013)应用激光扫描仪获得前方范围的车辆、墙体、行人等障碍,分析出可行的泊车车位,但该方法基于传统算法提取车辆特征,鲁棒性差。专利文献公开的一种车辆定位方法、自动驾驶控制方法及相关***(公开号:CN109596140A、申请公布),通过向行进中车辆的车轮发射探测信号,并利用激光雷达接收所述车轮反射回的信号的方式,获得所述车轮相对于所述激光雷达的距离和方向,这种方法同样要求车辆沿固定车道运动,并且无法识别车轮姿态。
发明内容
针对现有技术的问题,本发明的目的是提供一种智能车库场景下的车轮点云检测方法。为实现上述目的,本发明的技术方案提供一种基于深度学习的车轮目标检测技术,包括以下步骤:
步骤1,利用二维单线激光雷达采集停车区域场景三维点云,制作相应数据集;
步骤2,基于非结构化点云的三维目标检测模型确定目标位姿信息;
步骤3,基于非结构化点云的三维目标检测模型确定预测到的目标类别;
步骤4,分析由三维目标检测模型预测得到的车轮位姿信息,判断车轮是否会回正、车轮在机械手坐标系中的位置,进而反馈给智能车库上方安装的机械手以是否进行抓取和抓取点位置的信号。
进一步的,步骤1的具体实现方式包括以下子步骤,
步骤1.1,取车机械手固定连接在垂直机械架上,机械手上固定有用于夹取车辆的取车罩,取车罩包括取车罩壳体,壳体底部与车辆的四个轮胎对应位置处分别设有一个用于夹取轮胎的夹取机构,四个激光雷达分别安装在夹取机构上,当取车罩壳体随机械手下落至车轮附近时,激光雷达开始工作,采集四个车轮原始的三维点云数据;
步骤1.2,建立激光三维坐标系,以激光下降前的初始位置为坐标系原点,激光垂直下降时的运动方向为z轴正方向,二维激光扫描时的0°方向为x轴正方向,90°方向为y轴正方向,激光每次下落过程将扫描得到的距离值信息转化至激光三维坐标系,得到一个含车轮目标的点云样本;
步骤1.3,由步骤1.1,1.2得到以三维坐标表示的车库场景点云样本,逐点标记样本中属于车轮部分的点云,利用主成分分析法计算得到每个车轮目标点云的最小外接立方体八个顶点和立方体形心的坐标,取其中固定的三个共面顶点和形心的三维坐标共12个参数作为每个目标的位置标签;对每个车轮目标设置(1,0)向量作为类别标签,将点云数据集按合适比例分为训练集和测试集。
进一步的,步骤1.3中利用主成分分析法计算得到每个车轮目标点云的最小外接立方体八个顶点和立方体形心的坐标,取其中固定的三个共面顶点和形心的三维坐标共12个参数作为每个目标的位置标签的具体实现方式如下,
(1)计算输入点云的质心pcenteroid;
(2)根据输入点云和pcenteroid获取点云的协方差矩阵Mcloud,并计算点云协方差矩阵特征值和特征向量,特征向量方向即为点云的主方向;
(3)校正主方向间垂直后,沿三个主方向找到点云的最小外接立方体,得到标记点云的最小包围框,对每个标记的车轮最小包围框,取其中固定的三个共面顶点p0,p1,p2和形心pctr的三维坐标共12个参数,即pctr(xctr,yctr,zctr),p0(x0,y0,z0),p1(x1,y1,z1),p2(x2,y2,z2)作为每个目标的位置标签。
进一步的,步骤2的具体实现包括如下子步骤,
步骤2.1,对大小不一的点云样本进行采样,使进入三维目标检测模型的每个样本的大小统一,所述三维目标检测网络基于PointNet网络,并加入了目标定位模块;
步骤2.2,对一帧点云Cloud,包含最大目标数为nobj,将Cloud中的车轮目标部分点云等效复制,直到Cloud包含的目标数为nobj,保证输入至三维目标检测模型的点云大小固定;
步骤2.3,确定所有点云样本在三维空间xyz方向的范围,沿xyz方向将三维空间等分为n个候选区域;将Cloud输入三维目标检测模型的定位模块进行特征提取,输出预测的车轮位置信息;
步骤2.4,在n个候选区域中心中找到与标记的车轮目标中心最近的候选区域中心从而确定车轮所在候选框Cchs,根据共筛选出nobj个候选区域,将其对应的nobj组预测标志点与标记的车轮目标标志点共同输入损失层计算回归损失Lreg,通过不断迭代训练优化损失函数,使Lreg收敛。
进一步的,步骤2.1中对大小不一的点云样本进行采样,使进入三维目标检测模型的每个样本的大小统一的具体实现方式如下,
设N为每个样本的大小,待采样原始点云Cori大小为Ninput,标记为目标的点云Ctgt点的个数为Ntgt,相应地背景点云Cbgd点的个数为Nbgd=Ninput-Ntgt,若原始点云大小比N小,则对原始点云Cori随机采样加入原始点云,直到点云大小被扩展至N;若原始点云大小比N大,则仍需进一步判断Ntgt和N的大小,N>Ntgt时,从Cbgd中随机采样加入Cori直到点云大小为N;N<Ntgt时,不再考虑背景点,只从Ctgt中采样N个点作为采样点云Csmp。
进一步的,步骤2.3的具体实现方式为:根据所有输入的点云数据,确定点云的坐标范围(xmin,xmax,ymin,ymax,zmin,zmax)并建立大的点云空间立方体C,将C沿x,y,z方向以某种设定比例等分,生成n个立方体候选框C0,C1,…Cn;将Cloud输入三维目标检测模型的定位模块进行特征提取,输出预测的车轮位置信息,具体操作为:大小为i×3的Cloud输入三维目标检测模型定位模块,经过空间变换网络进行校正,再经过两层3×3的卷积层生成n×64的特征向量,特征向量进入第二次空间变换网络进行特征对齐,再经过三层3×3的卷积层生成n×1024的特征向量,由全连接层提取隐性特征后,输出n×4×3的向量,表示为n个候选区域各自回归一组标志点偏移量△ctr,△0,△1,△2;每个候选区域输出回归点的位置为候选区域三个共面顶点及中心点坐标Cctr,C0,C1,C2与△ctr,△0,△1,△2的和;回归点位置p为候选框的四个标志点与偏移量的和:
进一步的,步骤2.3的具体实现方式为:步骤2.4中的损失函数如下,
其中ppred,pgt分别为预测的标志点坐标和标记的标志点坐标,ppred由网络回归得到,pgt由步骤1.3获取的最小包围框得到;在求得中心点偏移量△pctr及顶点偏移量△pi的情况下,对车轮目标定位模型,总的定位损失Lreg为:
通过多次迭代,Lreg收敛,表明车轮目标定位模型已近似达到最优。
进一步的,步骤3的具体实现包括如下子步骤,
步骤3.1,根据步骤2中预测到的车轮目标所在候选框Cchs截取筛选候选框中包含的点云,得到新的目标点云CloudROI,非目标部分候选框全部分类为(0,1);
步骤3.2,将CloudROI输入三维目标检测模型的分类模块,对每个包含目标的候选区域计算分类得分,最终所有包含和不包含车轮目标的候选区域分类得分合并为长度为n的一维向量,与标记类别共同计算Softmax交叉熵损失Lcls,并采用Adams优化器使Lcls最小;
步骤3.3,将测试集中的点云样本输入训练好的三维目标检测模型,得到测试点云样本中的预测车轮目标的最小外接包围框位置及预测得分,若前景得分高于背景得分,则判断该包围框为车轮目标的最小外接包围框,若前景得分低于背景得分,则判断该包围框中包含的点云属于背景。
进一步的,步骤4的具体实现包括如下子步骤,
步骤4.1,计算预测到每个车轮目标最小外接包围框与激光三维坐标系yz平面的夹角,具体实现方式为:根据预测得到的标志点坐标得到向量yz平面的法向量为求得向量与yz平面的法向量夹角为
向量与yz平面的夹角分别为θ1’=90°-θ1,θ2’=90°-θ2,比较θ1’和θ2’,较小的角度作为预测得到的车轮目标与yz平面的夹角θpred,在已知车身整体朝向与激光三维坐标系yz平面的夹角θcar的情况下,得到车身和车轮点云在激光三维坐标系yz平面上的夹角△θ=|θpred-θcar|;
步骤4.2,比较车轮车身夹角与预先设定的阈值,若夹角小于阈值,则***反馈给机械手“允许抓取”的信号,机械手根据预测车轮最小包围框信息计算抓取点并完成抓取车辆上升的过程;若△θ>阈值,则***反馈给机械手“车轮未回正,不允许抓取”的信号,机械手直接上升回到激光三维坐标系原点处,并发出信息提醒驾驶员进一步操作,调整车轮姿态。
本发明提供的技术方案的有益效果为:(1)提出了一种基于深度学习,面向智能车库的车轮点云检测方法,实现了对静态车轮目标高度自动化的实时在线检测;(2)通过两次特征提取分别对目标进行定位和分类,并引入3DRPN接口对回归目标位置,形成完整的多目标识别流程;(3)对识别结果的表示方式,放弃现有的基于点云体素化的方法,用最小外接立方体取代3D网格,使预测包围框内车轮目标体积占比尽量达到最大,达到最优表示效果。
附图说明
图1为本发明的车轮点云检测流程图。
图2为激光雷达扫描距离值-二维坐标转换示意图。
图3为利用主成分分析法标记的车轮目标最小包围框效果图,(a)(b)(c)分别表示沿三个主方向找到点云的最小外接立方体。
图4为车轮目标检测网络通过预测标志点表征目标的示意图。
图5输入点云采样流程图。
图6为车轮目标检测网络定位模块结构图。
图7为车轮目标检测网络定位模块筛选候选框过程示意图。
图8为车轮目标检测网络整体结构图。
图9为模型定位评判标准三维IoU示意图(a)及离散式判断点的内外性方法示意图(b)。
图10为模型姿态准确度评判方式示意图。
具体实施方式
为了更好地理解本发明的技术方案,下面结合附图对本发明做进一步的详细说明。实施例中的流程主要步骤如图1,具体实施过程如下:
步骤1,利用二维单线激光雷达采集停车区域场景三维点云,制作智能车库场景下的点云数据集。在制作数据集之前,首先需要将扫描得到的原始距离信息转换至以三维坐标表示的点云数据形式。方法如下:
步骤1.1,取车机械手固定连接在垂直机械架上,机械手上固定有用于夹取车辆的取车罩。取车罩包括取车罩壳体,壳体底部与车辆的四个轮胎对应位置处分别设有一个用于夹取轮胎的夹取机构,四个激光雷达分别安装在夹取机构上。当取车罩壳体随机械手下落至车轮附近时,激光雷达开始工作,采集四个车轮原始的三维点云数据。
步骤1.2,建立激光三维坐标系。以激光下降前的初始位置为坐标系原点,激光垂直下降时的运动方向为z轴正方向,z方向坐标由控制机械手的PLC提供,以高于地面1.8m处为z轴零点,z轴正方向垂直指向地面。激光获取的距离信息被解析为xy平面坐标,如图2,O为激光原点,激光扫描时的0°方向为x轴正方向,90°方向为y轴正方向。d为第i个扫描点pi到O的直线距离,激光雷达的扫描分辨率为φ=0.25°,pi与O之间的连线同y轴正方向间的夹角为θ,则由三角关系,
px,py即为pi在x轴、y轴上的坐标。激光每次下落过程将扫描得到的距离值信息转化至激光三维坐标系,得到一个含车轮目标的点云样本。
步骤1.3,由步骤1.1,1.2得到以三维坐标表示的车库场景点云样本。逐点标记样本中属于车轮部分的点云。利用主成分分析法计算得到每个车轮目标点云的最小外接立方体八个顶点和立方体形心的坐标。主成分分析法实现如下:
(4)计算输入点云的质心pcenteroid;
(5)根据输入点云和pcenteroid获取点云的协方差矩阵Mcloud,并计算点云协方差矩阵特征值和特征向量,特征向量方向即为点云的主方向;
(6)校正主方向间垂直后,沿三个主方向找到点云的最小外接立方体。
以该方法标记的点云最小包围框如图3。
对每个标记的车轮最小包围框,取其中固定的三个共面顶点p0,p1,p2和形心pctr的三维坐标共12个参数,即pctr(xctr,yctr,zctr),p0(x0,y0,z0),p1(x1,y1,z1),p2(x2,y2,z2)作为每个目标的位置标签,如图4;对每个车轮目标设置(1,0)向量作为类别标签。按上述方法得到的点云数据集共有1260个单目标样本。将两个不同的单车轮目标样本拼接在一起即得到多目标样本;为进一步扩展数据集,引入随机偏移量,将每片点云沿xyz方向随机平移△L(1m<△L<2m)。得到衍生的样本和原始样本共660个,每个样本中点的数目从8192到32768不等。从1920个样本中随机选取900个样本作为训练集,1020个样本作为测试集。
步骤2,将训练集输入基于非结构化点云的三维目标检测网络,该网络基于PointNet网络,并加入了目标定位模块,进行训练后确定车轮目标位姿信息,其中PointNet网络为现有技术,具体结构可参见文献Qi C R,Su H,Mo K,et al.Pointnet:DeepLearning on Point Sets for 3d Classification and Segmentation[J].Proc.Computer Vision and Pattern Recognition(CVPR),IEEE,2017,1(2):4.
步骤2的具体实现方法如下:
步骤2.1,对大小不一的点云样本进行采样,使进入网络的每个样本大小都统一为N=16384,实现过程如图5,待采样原始点云Cori大小为Ninput,标记为目标的点云Ctgt点的个数为Ntgt,相应地背景点云Cbgd点的个数为Nbgd=Ninput-Ntgt,若原始点云大小比N小,则对原始点云Cori随机采样加入原始点云,直到点云大小被扩展至N;若原始点云大小比N大,则仍需进一步判断Ntgt和N的大小。N>Ntgt时,从Cbgd中随机采样加入Cori直到点云大小为N;N<Ntgt时,不再考虑背景点,只从Ctgt中采样N个点作为采样点云Csmp。
步骤2.2,对一帧点云Cloud,包含最大目标数为nobj=2。由于目标检测网络要求每次迭代训练时网络输入点云大小固定,先将Cloud中的标记的车轮目标等效复制(可以对一个目标复制也可以随机复制),直到Cloud包含的目标数为nobj,保证输入至步骤3中分类网络的点云大小固定。
步骤2.3,根据所有输入的点云数据,确定点云的坐标范围(xmin,xmax,ymin,ymax,zmin,zmax)并建立大的点云空间立方体C,将C沿x,y,z方向以某种设定比例等分,生成n个立方体候选框C0,C1,…Cn;将Cloud输入三维目标检测模型的定位模块进行特征提取,输出预测的车轮位置信息。模型的定位模块如图6,具体操作为:大小为i×3的Cloud输入模型定位模块,经过空间变换网络进行校正,再经过两层3×3的卷积层生成n×64的特征向量,特征向量进入第二次空间变换网络进行特征对齐,再经过三层3×3的卷积层生成n×1024的特征向量,由全连接层提取隐性特征后,输出n×4×3的向量,表示为n个候选区域各自回归一组标志点偏移量△ctr,△0,△1,△2。每个候选区域输出回归点的位置为候选区域三个共面顶点及中心点坐标Cctr,C0,C1,C2与△ctr,△0,△1,△2的和。回归点位置p为候选框的四个标志点与偏移量的和:
步骤2.4,判断每个标记车轮目标落在哪个候选框内。通过找到与标记车轮目标中心最近的候选框中心,从而确定车轮所在候选框Cchs;共筛选出nobj个候选框,筛选候选框过程如图7;计算nobj×4个标志点和标记目标的标志点之间的欧氏距离平方和,通过防止优化算法陷入局部最小的L2范数作为四个点的回归损失函数,进而求得回归损失:
其中ppred,pgt分别为预测的标志点坐标和标记的标志点坐标,ppred由网络回归得到,pgt由步骤1.3获取的最小包围框得到。在求得中心点偏移量△pctr及顶点偏移量△pi的情况下,对车轮目标定位模型,总的定位损失Lreg为:
通过1000次迭代,Lreg收敛,表明车轮目标定位模型已近似达到最优。
步骤3,基于非结构化点云的三维目标检测模型确定预测到的目标类别,实现方式包括以下步骤:
步骤3.1,根据步骤2中预测到的车轮目标所在候选框Cchs截取筛选候选框中包含的点云,得到新的目标点云,
CloudROI=∑Cchs
具体实现方式为:Cchs中的点坐标不变,其余候选框Celm中的点坐标置为(0,0,0),且Celm全部分类为(0,1)向量,表示为背景。
步骤3.2,CloudROI被送入目标分类网络,定位与分类网络构成整个车轮目标检测网络,如图8,分类模块与定位模块在网络结构上完全相同,但分类模块输入的是截取后的点云CloudROI,经全连接层输出的是nobj×1024的特征向量,经softmax分类器得到nobj×2的向量,表示对每个Cchs中目标的分类得分。将所有Cchs和Celm的分类得分合并为长度为n的一维向量hpred,与标签h共同计算Softmax交叉熵损失Lcls,采用Adams优化器使Lcls最小。通过1000次迭代,Lcls收敛,表明车轮目标分类模型已近似达到最优。
步骤3.3,保存1000次迭代训练后的模型至model.ckpt。测试阶段,程序从model.ckpt读取训练好的模型,将测试集中的点云样本输入车轮目标检测模型中,分别经定位和分类模块,得到测试点云样本中的预测车轮目标的最小外接包围框位置及分类得分(sfg,sbg),若前景得分sfg高于背景得分sbg,则判断该包围框为车轮目标的最小外接包围框;若前景sfg低于背景得分sbg,则判断该包围框中包含的点云属于背景。
步骤4,分析由三维目标检测模型预测得到的车轮位姿信息,判断车轮是否回正、车轮在机械手坐标系中的位置,进而反馈给智能车库上方安装的机械手以是否进行抓取和抓取点位置的信号,实现方式包括以下步骤:
步骤4.1,计算预测到每个车轮目标最小外接包围框与激光三维坐标系yz平面的夹角θpred,具体实现方式为:根据预测得到的标志点坐标得到向量yz平面的法向量为求得向量与yz平面的法向量夹角为
向量与yz平面的夹角分别为θ1’=90°-θ1,θ2’=90°-θ2,比较θ1’和θ2’,较小的角度作为预测得到的车轮目标与yz平面的夹角θpred。在已知车身整体朝向与激光三维坐标系yz平面的夹角θcar的情况下,得到车身和车轮点云在激光三维坐标系yz平面上的夹角△θ=|θpred-θcar|。
步骤4.2,比较△θ与预先设定的阈值θthreshold=5°,若△θ<θthreshold,则***反馈给机械手“允许抓取”的信号,机械手根据预测车轮最小包围框信息计算抓取点并完成抓取车辆上升的过程。若△θ>θthreshold,则***反馈给机械手“车轮未回正,不允许抓取”的信号,机械手直接上升回到激光三维坐标系原点处,并发出信息提醒驾驶员进一步操作,调整车轮姿态。至此,程序结束,一次完整的车辆抓取流程执行完毕。
以下通过实验来验证本发明的有效性。
实验:样本类别只有前景和背景两类,因此对车轮目标检测模型性能的评价主要集中在预测车轮的定位和姿态结果两方面。对预测定位部分,模型测试时以预测框与标记框在三维空间的交并比IoU作为评价指标。预测框体积为Vpred,标记框体积为Vgt,则有
如图9(a)为立方体IoU示意图,在空间范围内,两个立方体可能在任何面的任何一点处相交,并集部分是完全不规则的,现有的数学方法也不可能求得并集体积的确定值。在无法获得准确解的情况下,本实验采用离散式计算,将包围框沿长宽高三个方向各等分m份,使每个立方体以包含m3个点的点集形式表示。通过判断在立方体中离散点的比例近似表示IoU。如图9(b),只要被检测点在包围框任意两个平行面的同一侧,则被判断为外部点(如点B),反之,被检测点在包围框任意两个平行面的异侧则被判断为内部点(如点A)。具体判断方法是观察被测点与任意一边顶点连线同该边方向向量的夹角。对内部点A,θa,θb必然一个为锐角一个为钝角;而对外部点B,必存在一条边或一个面的法向量,使θc,θd同为锐角或同为钝角;即
若求得同时属于标记框和预测框中的内部点有nIoU个,则IoU可近似表示为
对预测姿态部分,根据标记与预测的顶点间连线的方向向量间夹角作为评判标准。如图10,回归的标志点p0,p0和p1连线的方向向量为预测点p0’和标志中心p1’连线的方向向量为则预测与标记方向向量间夹角为
同理得到其余两个点对应的姿态角θ1,θ2。θ0,θ1,θ2代表着预测最小外接包围框长宽高朝向的准确度,姿态角越小说明预测框的姿态与标记框越接近。
本实验在GTX1080Ti显卡上运行,***环境为Ubuntu16.04,软件环境为Python2.7+Tensorflow1.2+CUDA8.0+CUDNN6.0,所有点云样本被保存为txt格式,网络训练学习率为0.001,每次迭代向网络输入8个点云样本训练。实验结果如表1:
表1实验检测指标及结果
从表中实验数据易得,预测包围框与标记包围框的姿态平均偏差4.26°,三维交并比IoU为75.67%,对单个点云测试样本的检测速度达到21fps。
综上所述,针对智能车库中自动泊车实时获取待停车辆车轮位置和姿态信息的需求,本文结合点云数据中车轮目标的特性,基于深度卷积神经网络提出并实现了一种满足自动泊车要求的三维点云车轮目标检测方法,具有一定的车轮目标定位能力,且对车轮姿态识别比较准确;整个检测过程用时少,效率高,能够在智能立体车库场景中推广应用。
Claims (9)
1.一种面向智能车库的车轮点云检测方法,其特征在于,包括以下步骤:
步骤1,利用二维单线激光雷达采集停车区域场景三维点云,制作相应数据集;
步骤2,基于非结构化点云的三维目标检测模型确定目标位姿信息;
步骤3,基于非结构化点云的三维目标检测模型确定预测到的目标类别;
步骤4,分析由三维目标检测模型预测得到的车轮位姿信息,判断车轮是否会回正、车轮在机械手坐标系中的位置,进而反馈给智能车库上方安装的机械手以是否进行抓取和抓取点位置的信号。
2.根据权利要求1所述的一种面向智能车库的车轮点云检测方法,其特征在于:步骤1的具体实现方式包括以下子步骤,
步骤1.1,取车机械手固定连接在垂直机械架上,机械手上固定有用于夹取车辆的取车罩,取车罩包括取车罩壳体,壳体底部与车辆的四个轮胎对应位置处分别设有一个用于夹取轮胎的夹取机构,四个激光雷达分别安装在夹取机构上,当取车罩壳体随机械手下落至车轮附近时,激光雷达开始工作,采集四个车轮原始的三维点云数据;
步骤1.2,建立激光三维坐标系,以激光下降前的初始位置为坐标系原点,激光垂直下降时的运动方向为z轴正方向,二维激光扫描时的0°方向为x轴正方向,90°方向为y轴正方向,激光每次下落过程将扫描得到的距离值信息转化至激光三维坐标系,得到一个含车轮目标的点云样本;
步骤1.3,由步骤1.1,1.2得到以三维坐标表示的车库场景点云样本,逐点标记样本中属于车轮部分的点云,利用主成分分析法计算得到每个车轮目标点云的最小外接立方体八个顶点和立方体形心的坐标,取其中固定的三个共面顶点和形心的三维坐标共12个参数作为每个目标的位置标签;对每个车轮目标设置(1,0)向量作为类别标签,将点云数据集按合适比例分为训练集和测试集。
3.根据权利要求2所述的一种面向智能车库的车轮点云检测方法,其特征在于:步骤1.3中利用主成分分析法计算得到每个车轮目标点云的最小外接立方体八个顶点和立方体形心的坐标,取其中固定的三个共面顶点和形心的三维坐标共12个参数作为每个目标的位置标签的具体实现方式如下,
(1)计算输入点云的质心pcenteroid;
(2)根据输入点云和pcenteroid获取点云的协方差矩阵Mcloud,并计算点云协方差矩阵特征值和特征向量,特征向量方向即为点云的主方向;
(3)校正主方向间垂直后,沿三个主方向找到点云的最小外接立方体,得到标记点云的最小包围框,对每个标记的车轮最小包围框,取其中固定的三个共面顶点p0,p1,p2和形心pctr的三维坐标共12个参数,即pctr(xctr,yctr,zctr),p0(x0,y0,z0),p1(x1,y1,z1),p2(x2,y2,z2)作为每个目标的位置标签。
4.根据权利要求3所述的一种面向智能车库的车轮点云检测方法,其特征在于:步骤2的具体实现包括如下子步骤,
步骤2.1,对大小不一的点云样本进行采样,使进入三维目标检测模型的每个样本的大小统一,所述三维目标检测网络基于PointNet网络,并加入了目标定位模块;
步骤2.2,对一帧点云Cloud,包含最大目标数为nobj,将Cloud中的车轮目标部分点云等效复制,直到Cloud包含的目标数为nobj,保证输入至三维目标检测模型的点云大小固定;
步骤2.3,确定所有点云样本在三维空间xyz方向的范围,沿xyz方向将三维空间等分为n个候选区域;将Cloud输入三维目标检测模型的定位模块进行特征提取,输出预测的车轮位置信息;
步骤2.4,在n个候选区域中心中找到与标记的车轮目标中心最近的候选区域中心从而确定车轮所在候选框Cchs,根据共筛选出nobj个候选区域,将其对应的nobj组预测标志点与标记的车轮目标标志点共同输入损失层计算回归损失Lreg,通过不断迭代训练优化损失函数,使Lreg收敛。
5.根据权利要求4所述的一种面向智能车库的车轮点云检测方法,其特征在于:步骤2.1中对大小不一的点云样本进行采样,使进入三维目标检测模型的每个样本的大小统一的具体实现方式如下,
设N为每个样本的大小,待采样原始点云Cori大小为Ninput,标记为目标的点云Ctgt点的个数为Ntgt,相应地背景点云Cbgd点的个数为Nbgd=Ninput-Ntgt,若原始点云大小比N小,则对原始点云Cori随机采样加入原始点云,直到点云大小被扩展至N;若原始点云大小比N大,则仍需进一步判断Ntgt和N的大小,N>Ntgt时,从Cbgd中随机采样加入Cori直到点云大小为N;N<Ntgt时,不再考虑背景点,只从Ctgt中采样N个点作为采样点云Csmp。
6.根据权利要求4所述的一种面向智能车库的车轮点云检测方法,其特征在于:步骤2.3的具体实现方式为:根据所有输入的点云数据,确定点云的坐标范围(xmin,xmax,ymin,ymax,zmin,zmax)并建立大的点云空间立方体C,将C沿x,y,z方向以某种设定比例等分,生成n个立方体候选框C0,C1,…Cn;将Cloud输入三维目标检测模型的定位模块进行特征提取,输出预测的车轮位置信息,具体操作为:大小为i×3的Cloud输入三维目标检测模型定位模块,经过空间变换网络进行校正,再经过两层3×3的卷积层生成n×64的特征向量,特征向量进入第二次空间变换网络进行特征对齐,再经过三层3×3的卷积层生成n×1024的特征向量,由全连接层提取隐性特征后,输出n×4×3的向量,表示为n个候选区域各自回归一组标志点偏移量△ctr,△0,△1,△2;每个候选区域输出回归点的位置为候选区域三个共面顶点及中心点坐标Cctr,C0,C1,C2与△ctr,△0,△1,△2的和;回归点位置p为候选框的四个标志点与偏移量的和:
7.根据权利要求4所述的一种面向智能车库的车轮点云检测方法,其特征在于:步骤2.3的具体实现方式为:步骤2.4中的损失函数如下,
其中ppred,pgt分别为预测的标志点坐标和标记的标志点坐标,ppred由网络回归得到,pgt由步骤1.3获取的最小包围框得到;在求得中心点偏移量△pctr及顶点偏移量△pi的情况下,对车轮目标定位模型,总的定位损失Lreg为:
通过多次迭代,Lreg收敛,表明车轮目标定位模型已近似达到最优。
8.根据权利要求4所述的一种面向智能车库的车轮点云检测方法,其特征在于:步骤3的具体实现包括如下子步骤,
步骤3.1,根据步骤2中预测到的车轮目标所在候选框Cchs截取筛选候选框中包含的点云,得到新的目标点云CloudROI,非目标部分候选框全部分类为(0,1);
步骤3.2,将CloudROI输入三维目标检测模型的分类模块,对每个包含目标的候选区域计算分类得分,最终所有包含和不包含车轮目标的候选区域分类得分合并为长度为n的一维向量,与标记类别共同计算Softmax交叉熵损失Lcls,并采用Adams优化器使Lcls最小;
步骤3.3,将测试集中的点云样本输入训练好的三维目标检测模型,得到测试点云样本中的预测车轮目标的最小外接包围框位置及预测得分,若前景得分高于背景得分,则判断该包围框为车轮目标的最小外接包围框,若前景得分低于背景得分,则判断该包围框中包含的点云属于背景。
9.根据权利要求8所述的一种面向智能车库的车轮点云检测方法,其特征在于:步骤4的具体实现包括如下子步骤,
步骤4.1,计算预测到每个车轮目标最小外接包围框与激光三维坐标系yz平面的夹角,具体实现方式为:根据预测得到的标志点坐标得到向量yz平面的法向量为求得向量与yz平面的法向量夹角为
向量与yz平面的夹角分别为θ1’=90°-θ1,θ2’=90°-θ2,比较θ1’和θ2’,较小的角度作为预测得到的车轮目标与yz平面的夹角θpred,在已知车身整体朝向与激光三维坐标系yz平面的夹角θcar的情况下,得到车身和车轮点云在激光三维坐标系yz平面上的夹角△θ=|θpred-θcar|;
步骤4.2,比较车轮车身夹角与预先设定的阈值,若夹角小于阈值,则***反馈给机械手“允许抓取”的信号,机械手根据预测车轮最小包围框信息计算抓取点并完成抓取车辆上升的过程;若△θ>阈值,则***反馈给机械手“车轮未回正,不允许抓取”的信号,机械手直接上升回到激光三维坐标系原点处,并发出信息提醒驾驶员进一步操作,调整车轮姿态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910511231.1A CN110344621B (zh) | 2019-06-13 | 2019-06-13 | 一种面向智能车库的车轮点云检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910511231.1A CN110344621B (zh) | 2019-06-13 | 2019-06-13 | 一种面向智能车库的车轮点云检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110344621A true CN110344621A (zh) | 2019-10-18 |
CN110344621B CN110344621B (zh) | 2020-05-26 |
Family
ID=68181950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910511231.1A Active CN110344621B (zh) | 2019-06-13 | 2019-06-13 | 一种面向智能车库的车轮点云检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110344621B (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110853103A (zh) * | 2019-11-12 | 2020-02-28 | 佛山智能装备技术研究院 | 一种用于深度学习姿态估计的数据集制作方法 |
CN110909644A (zh) * | 2019-11-14 | 2020-03-24 | 南京理工大学 | 基于强化学习的机械臂末端执行器抓取姿态调整方法及*** |
CN111161202A (zh) * | 2019-12-30 | 2020-05-15 | 上海眼控科技股份有限公司 | 车辆行为信息获取方法、装置、计算机设备和存储介质 |
CN111368653A (zh) * | 2020-02-19 | 2020-07-03 | 杭州电子科技大学 | 一种基于r-d图与深度神经网络的低空小目标检测方法 |
CN111428619A (zh) * | 2020-03-20 | 2020-07-17 | 电子科技大学 | 基于有序回归和软标签的三维点云头部姿态估计***和方法 |
CN111472592A (zh) * | 2020-04-09 | 2020-07-31 | 张钊 | 一种基于大数据的智能*** |
CN111562591A (zh) * | 2020-05-11 | 2020-08-21 | 清华大学 | 基于激光雷达的汽车位置测量方法及装置 |
CN111652060A (zh) * | 2020-04-27 | 2020-09-11 | 宁波吉利汽车研究开发有限公司 | 一种基于激光雷达的限高预警方法、装置、电子设备及存储介质 |
CN112071119A (zh) * | 2020-08-31 | 2020-12-11 | 安徽中科美络信息技术有限公司 | 基于车联网的智能辅助出入库方法及*** |
CN112070835A (zh) * | 2020-08-21 | 2020-12-11 | 达闼机器人有限公司 | 机械臂位姿预测方法、装置、存储介质及电子设备 |
CN112560800A (zh) * | 2021-01-12 | 2021-03-26 | 知行汽车科技(苏州)有限公司 | 路沿检测方法、装置及存储介质 |
CN112614186A (zh) * | 2020-12-28 | 2021-04-06 | 上海汽车工业(集团)总公司 | 目标位姿计算方法及计算模块 |
CN113177477A (zh) * | 2021-04-29 | 2021-07-27 | 湖南大学 | 一种基于三维点云分析的目标检测识别方法 |
CN113223091A (zh) * | 2021-04-29 | 2021-08-06 | 达闼机器人有限公司 | 三维目标检测方法、抓取方法、装置及电子设备 |
CN113505653A (zh) * | 2021-06-15 | 2021-10-15 | 杭州飞步科技有限公司 | 目标检测方法、装置、设备、介质及程序产品 |
CN113628177A (zh) * | 2021-07-29 | 2021-11-09 | 北京好运达智创科技有限公司 | 一种梁体双层存梁检测*** |
CN113888463A (zh) * | 2021-08-31 | 2022-01-04 | 广州文远知行科技有限公司 | 车轮转角的检测方法、装置、电子设备及存储介质 |
CN115015963A (zh) * | 2021-12-22 | 2022-09-06 | 江苏小白兔智造科技有限公司 | 一种基于激光雷达的停车道车辆检测方法 |
CN115457496A (zh) * | 2022-09-09 | 2022-12-09 | 北京百度网讯科技有限公司 | 自动驾驶的挡墙检测方法、装置及车辆 |
CN116091437A (zh) * | 2022-12-30 | 2023-05-09 | 苏州思卡信息***有限公司 | 一种基于3d点云的轮轴个数检测方法 |
CN118072360A (zh) * | 2024-04-19 | 2024-05-24 | 浙江华是科技股份有限公司 | 一种周界入侵单个人体完整识别方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2079982A1 (de) * | 2006-10-16 | 2009-07-22 | Robert Bosch GmbH | Verfahren zum ermitteln der drehachse eines fahrzeugrades |
CN107514167A (zh) * | 2017-07-18 | 2017-12-26 | 武汉智象机器人有限公司 | 基于固定雷达和移动雷达的车辆识别***及入库方法 |
CN108868268A (zh) * | 2018-06-05 | 2018-11-23 | 西安交通大学 | 基于点到面距离和互相关熵配准的无人车位姿估计方法 |
CN109386155A (zh) * | 2018-09-20 | 2019-02-26 | 同济大学 | 面向自动化停车场的无人泊车搬运机器人的对位方法 |
CN109596140A (zh) * | 2019-01-30 | 2019-04-09 | 东软睿驰汽车技术(沈阳)有限公司 | 一种车辆定位方法、自动驾驶控制方法及相关*** |
-
2019
- 2019-06-13 CN CN201910511231.1A patent/CN110344621B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2079982A1 (de) * | 2006-10-16 | 2009-07-22 | Robert Bosch GmbH | Verfahren zum ermitteln der drehachse eines fahrzeugrades |
CN107514167A (zh) * | 2017-07-18 | 2017-12-26 | 武汉智象机器人有限公司 | 基于固定雷达和移动雷达的车辆识别***及入库方法 |
CN108868268A (zh) * | 2018-06-05 | 2018-11-23 | 西安交通大学 | 基于点到面距离和互相关熵配准的无人车位姿估计方法 |
CN109386155A (zh) * | 2018-09-20 | 2019-02-26 | 同济大学 | 面向自动化停车场的无人泊车搬运机器人的对位方法 |
CN109596140A (zh) * | 2019-01-30 | 2019-04-09 | 东软睿驰汽车技术(沈阳)有限公司 | 一种车辆定位方法、自动驾驶控制方法及相关*** |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110853103A (zh) * | 2019-11-12 | 2020-02-28 | 佛山智能装备技术研究院 | 一种用于深度学习姿态估计的数据集制作方法 |
CN110909644A (zh) * | 2019-11-14 | 2020-03-24 | 南京理工大学 | 基于强化学习的机械臂末端执行器抓取姿态调整方法及*** |
CN111161202A (zh) * | 2019-12-30 | 2020-05-15 | 上海眼控科技股份有限公司 | 车辆行为信息获取方法、装置、计算机设备和存储介质 |
CN111368653A (zh) * | 2020-02-19 | 2020-07-03 | 杭州电子科技大学 | 一种基于r-d图与深度神经网络的低空小目标检测方法 |
CN111368653B (zh) * | 2020-02-19 | 2023-09-08 | 杭州电子科技大学 | 一种基于r-d图与深度神经网络的低空小目标检测方法 |
CN111428619A (zh) * | 2020-03-20 | 2020-07-17 | 电子科技大学 | 基于有序回归和软标签的三维点云头部姿态估计***和方法 |
CN111428619B (zh) * | 2020-03-20 | 2022-08-05 | 电子科技大学 | 基于有序回归和软标签的三维点云头部姿态估计***和方法 |
CN111472592B (zh) * | 2020-04-09 | 2021-08-24 | 陕西天诚软件有限公司 | 一种基于大数据的智能*** |
CN111472592A (zh) * | 2020-04-09 | 2020-07-31 | 张钊 | 一种基于大数据的智能*** |
CN111652060A (zh) * | 2020-04-27 | 2020-09-11 | 宁波吉利汽车研究开发有限公司 | 一种基于激光雷达的限高预警方法、装置、电子设备及存储介质 |
CN111652060B (zh) * | 2020-04-27 | 2024-04-19 | 宁波吉利汽车研究开发有限公司 | 一种基于激光雷达的限高预警方法、装置、电子设备及存储介质 |
CN111562591A (zh) * | 2020-05-11 | 2020-08-21 | 清华大学 | 基于激光雷达的汽车位置测量方法及装置 |
CN112070835A (zh) * | 2020-08-21 | 2020-12-11 | 达闼机器人有限公司 | 机械臂位姿预测方法、装置、存储介质及电子设备 |
CN112071119A (zh) * | 2020-08-31 | 2020-12-11 | 安徽中科美络信息技术有限公司 | 基于车联网的智能辅助出入库方法及*** |
CN112614186A (zh) * | 2020-12-28 | 2021-04-06 | 上海汽车工业(集团)总公司 | 目标位姿计算方法及计算模块 |
CN112560800A (zh) * | 2021-01-12 | 2021-03-26 | 知行汽车科技(苏州)有限公司 | 路沿检测方法、装置及存储介质 |
CN112560800B (zh) * | 2021-01-12 | 2024-05-28 | 知行汽车科技(苏州)股份有限公司 | 路沿检测方法、装置及存储介质 |
WO2022227678A1 (zh) * | 2021-04-29 | 2022-11-03 | 达闼机器人股份有限公司 | 三维目标检测方法、抓取方法、装置及电子设备 |
CN113177477A (zh) * | 2021-04-29 | 2021-07-27 | 湖南大学 | 一种基于三维点云分析的目标检测识别方法 |
CN113223091A (zh) * | 2021-04-29 | 2021-08-06 | 达闼机器人有限公司 | 三维目标检测方法、抓取方法、装置及电子设备 |
CN113505653A (zh) * | 2021-06-15 | 2021-10-15 | 杭州飞步科技有限公司 | 目标检测方法、装置、设备、介质及程序产品 |
CN113505653B (zh) * | 2021-06-15 | 2023-06-30 | 杭州飞步科技有限公司 | 目标检测方法、装置、设备、介质及程序产品 |
CN113628177A (zh) * | 2021-07-29 | 2021-11-09 | 北京好运达智创科技有限公司 | 一种梁体双层存梁检测*** |
CN113888463A (zh) * | 2021-08-31 | 2022-01-04 | 广州文远知行科技有限公司 | 车轮转角的检测方法、装置、电子设备及存储介质 |
CN113888463B (zh) * | 2021-08-31 | 2024-07-16 | 广州文远知行科技有限公司 | 车轮转角的检测方法、装置、电子设备及存储介质 |
CN115015963A (zh) * | 2021-12-22 | 2022-09-06 | 江苏小白兔智造科技有限公司 | 一种基于激光雷达的停车道车辆检测方法 |
CN115457496A (zh) * | 2022-09-09 | 2022-12-09 | 北京百度网讯科技有限公司 | 自动驾驶的挡墙检测方法、装置及车辆 |
CN115457496B (zh) * | 2022-09-09 | 2023-12-08 | 北京百度网讯科技有限公司 | 自动驾驶的挡墙检测方法、装置及车辆 |
CN116091437A (zh) * | 2022-12-30 | 2023-05-09 | 苏州思卡信息***有限公司 | 一种基于3d点云的轮轴个数检测方法 |
CN116091437B (zh) * | 2022-12-30 | 2024-02-02 | 苏州思卡信息***有限公司 | 一种基于3d点云的轮轴个数检测方法 |
CN118072360A (zh) * | 2024-04-19 | 2024-05-24 | 浙江华是科技股份有限公司 | 一种周界入侵单个人体完整识别方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN110344621B (zh) | 2020-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110344621A (zh) | 一种面向智能车库的车轮点云检测方法 | |
CN108171748B (zh) | 一种面向机器人智能抓取应用的视觉识别与定位方法 | |
CN110175576B (zh) | 一种结合激光点云数据的行驶车辆视觉检测方法 | |
CN109977813B (zh) | 一种基于深度学习框架的巡检机器人目标定位方法 | |
US9327406B1 (en) | Object segmentation based on detected object-specific visual cues | |
CN110163904A (zh) | 对象标注方法、移动控制方法、装置、设备及存储介质 | |
CN106225787B (zh) | 一种无人机视觉定位方法 | |
CN111958592B (zh) | 一种变电站巡检机器人图像语义分析***及方法 | |
CN106595630B (zh) | 一种基于激光导航变电站巡检机器人的建图***与方法 | |
US6826293B2 (en) | Image processing device, singular spot detection method, and recording medium upon which singular spot detection program is recorded | |
CN109283538A (zh) | 一种基于视觉和激光传感器数据融合的海上目标大小检测方法 | |
CN108828621A (zh) | 基于三维激光雷达的障碍检测和路面分割算法 | |
CN109460709A (zh) | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 | |
CN110334678A (zh) | 一种基于视觉融合的行人检测方法 | |
CN102073846A (zh) | 基于航拍图像的交通信息获取方法 | |
CN106446785A (zh) | 基于双目视觉的可行道路检测方法 | |
CN116277025A (zh) | 一种智能制造用机器人的物件分拣控制方法及*** | |
CN113642529B (zh) | 基于ga-bp神经网络的障碍物尺寸预测***及方法 | |
Zelener et al. | Cnn-based object segmentation in urban lidar with missing points | |
CN114140539A (zh) | 一种室内物体的位置获取方法和装置 | |
CN117115784A (zh) | 目标数据融合的车辆检测方法及检测装置 | |
Tomono et al. | Mobile robot navigation in indoor environments using object and character recognition | |
Jiang et al. | Vision-guided active tactile perception for crack detection and reconstruction | |
CN114137564A (zh) | 一种室内物体自动标识定位方法和装置 | |
Sun et al. | Real-time and fast RGB-D based people detection and tracking for service robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |