CN112598699A - 一种针对机器人工作场景中提取障碍物运动信息的方法 - Google Patents
一种针对机器人工作场景中提取障碍物运动信息的方法 Download PDFInfo
- Publication number
- CN112598699A CN112598699A CN202011499514.8A CN202011499514A CN112598699A CN 112598699 A CN112598699 A CN 112598699A CN 202011499514 A CN202011499514 A CN 202011499514A CN 112598699 A CN112598699 A CN 112598699A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- point cloud
- layer
- point
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种针对机器人工作场景中提取障碍物运动信息的方法。由于在工业动态场景中,机器人或机械臂运行的时候,不可避免地会出现有物体或者人突发进入到机器人的工作范围内造成安全问题,本发明利用工业场景中搜集到的点云信息,应用基于神经网络的点云处理算法,对突发进入机器人或机械臂工作范围的物体或人进行检测,并对检测到的障碍物点云信息进行后续处理,计算该障碍物的位置、速度等信息,通过障碍物的位置、速度信息判断是否需要机器人或机械臂停止或改变运动轨迹,从而避免碰撞等安全事故。
Description
技术领域
本发明涉及机器视觉技术领域,具体涉及一种针对机器人工作场景中提取障碍物运动信息的方法。
背景技术
随着智能制造的发展,自动化机器人、机械臂等的应用也越来越广泛。随着工业机器人的数量以及种类越来越多,它们的智能化程度越来越高,其能够胜任的工作也越来越多,机器人之间的配合协作、以及人机协作等越来越常见,机器人的安全控制研究方面也越来越重要。
针对工业机器人或机械臂的工作过程中,若有行人或者其他物体突然进入到机器人的工作范围内,可能会造成安全事故。为避免机器人与障碍物的碰撞发生,需要有检测障碍物的方法并根据障碍物的运动信息对机器人作出闪避动作指令。
目前大多为使用超声波、激光雷达或者多目视觉对障碍物进行探测,但这些方法获取到的障碍物形状以及运动信息极为有限。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷,提供一种针对机器人工作场景中提取障碍物运动信息的方法,该方法在机器人或机械臂工作过程中,利用点云获取***,获得场景点云信息,并对点云进行处理,提取出障碍物的形状以及运动等信息,辅助机器人对障碍物进行闪避动作判断。
本发明的目的可以通过采取如下技术方案达到:
一种针对机器人工作场景中提取障碍物运动信息的方法,其特征在于,所述方法包括以下步骤:
S1、利用结构光***、光探测和测距点云获取***,以一定的时间间隔获取工业场景的点云信息,并对点云信息进行下采样至一定的点数目;
S2、将下采样后的点云信息输入到神经网络中,由神经网络给出识别结果;
S3、根据识别结果,提取出点云中相对应的属于障碍物的点,并针对上述障碍物的点计算出障碍物的运动信息,辅助机器人作出运动判断。
进一步地,所述步骤S1中,对获取工业场景的点云信息使用随机采样算法,将点云信息的数据矩阵在点的数目维度随机地抽取出所需数量的点;或者,对获取工业场景的点云信息使用最远点采样算法,每次采样出距离已采样点的点集最远的一个点并重复进行,使得采样后的点云统一到特定数目。
进一步地,所述步骤S2中神经网络采用动态图卷积神经网络,该动态图卷积神经网络包括输入层、第一边缘卷积算子、第二边缘卷积算子、第三边缘卷积算子、第一共享全连接层、第二共享全连接层、第一池化层和输出层,其中,所述边缘卷积算子包括邻域点云聚集模块、卷积层和第二池化层,所述邻域点云聚集模块采用k近邻算法;该动态图卷积神经网络的输入层与输出层之间各层的连接关系为:输入层依次连接到第一边缘卷积算子、第二边缘卷积算子、第三边缘卷积算子,经过三次边缘卷积后经过第一共享全连接层以及第一池化层得到全局特征;将每个点从各个边缘卷积算子中得到的特征以及全局特征结合,并分别输入到第二共享全连接层中,最终由输出层得到输出;其中,每个边缘卷积算子包括聚集邻域点云模块、卷积层、第二池化层,聚集邻域点云模块进行邻域点云聚集并输入到卷积层,之后由第二池化层聚合出深一层特征,并且下一个边缘卷积算子会以之前得到的所有特征作为输入,继续输出深一层特征。
进一步地,所述动态图卷积神经网络的输出与输入的下采样后的点云信息一一对应。
进一步地,所述动态图卷积神经网络的输出归一化至0到1之间的数值,并定义数值越接近1则识别结果越倾向于该点为障碍物点。
进一步地,所述步骤S3中提取出点云中相对应的属于障碍物的点,得到各个障碍物点的三维信息,利用各个障碍物点的三维信息的平均值替代作为障碍物的重心位置,其中,在某一时刻j,障碍物点的三维信息的平均值计算公式如下:
根据相邻时刻得到的障碍物点重心位置采用逐差法计算该障碍物的运动速度与加速度:
通过障碍物的运动速度与加速度预测障碍物运动轨迹。
进一步地,所述步骤S3中,使用所有障碍物点的数目判断出障碍物的大致体积,同时,使用各个障碍物点的各坐标极差值来判断障碍物体的大致形状。
本发明相对于现有技术具有如下的优点及效果:
1)、发明中使用基于点云的数据形式来对机器人场景进行安全检测,相对于传统的超声波探测、视觉探测等,得到的是三维立体空间中的场景信息。如果机器人工作场景中存在障碍物,那么点云的数据形式除了能够给出障碍物的运动信息之外,还能给出其三维立体形状及大小信息,这对于机器人避障提供更准确的信息。
2)、发明中使用基于神经网络的点云分割处理算法,相对于传统的点云分割算法,能够更加智能化地对场景中的障碍物进行识别以及分割,具有更高的分割准确率,同时也更具有鲁棒性,能够更好地应对不可预测的障碍物情况。
附图说明
图1是本发明实施例中公开的针对机器人工作场景中提取障碍物运动信息的方法流程图;
图2是本发明实施例中的一个实例演示图;
图3是本发明实施例中神经网络结构简图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
本实施例采用基于神经网络的点云识别分割算法以及传统的点云信息处理算法结合的方法对机器人工作场景中可能存在的障碍物信息进行提取。图1是本发明中整个障碍物形状以及运动信息提取的流程图,包括点云的获取、点云的下采样、采用神经网络对场景点云中障碍物点的识别,障碍物点的提取、障碍物信息的计算,图2是本发明的一个示例演示,下面将详细进行说明。
S1、利用结构光***、光探测和测距点云获取***,以一定的时间间隔获取工业场景的点云信息,并对点云信息进行下采样至一定的点数目;
本实施例步骤S1中,对获取工业场景的点云信息使用随机采样算法,将点云信息的数据矩阵在点的数目维度随机地抽取出所需数量的点;或者,对获取工业场景的点云信息使用最远点采样算法,每次采样出距离已采样点的点集最远的一个点并重复进行,使得采样后的点云统一到特定数目。
S2、将下采样后的点云信息输入到神经网络中,由神经网络给出识别结果;
将下采样后的点云信息输入到神经网络中,本实施例中,神经网络采用动态图卷积神经网络,动态图卷积神经网络的结构简图如图3所示,由神经网络给出识别结果。
该动态图卷积神经网络包括输入层、第一边缘卷积算子、第二边缘卷积算子、第三边缘卷积算子、第一共享全连接层、第二共享全连接层、第一池化层和输出层,其中,所述边缘卷积算子包括邻域点云聚集模块、卷积层和第二池化层,所述邻域点云聚集模块采用k近邻算法;该动态图卷积神经网络的输入层与输出层之间各层的连接关系为:输入层依次连接到第一边缘卷积算子、第二边缘卷积算子、第三边缘卷积算子,经过三次边缘卷积后经过第一共享全连接层以及第一池化层得到全局特征;将每个点从各个边缘卷积算子中得到的特征以及全局特征结合,并分别输入到第二共享全连接层中,最终由输出层得到输出;其中,每个边缘卷积算子包括聚集邻域点云模块、卷积层、第二池化层,聚集邻域点云模块进行邻域点云聚集并输入到卷积层,之后由第二池化层聚合出深一层特征,并且下一个边缘卷积算子会以之前得到的所有特征作为输入,继续输出深一层特征。
将每个点从各个边缘卷积层中得到的特征以及全局特征结合,并分别输入到第二共享全连接层中(图3中第二共享全连接层中的(256,128,1)代表其中各层的神经元数量分别为256,128和1),最终由输出层得到输出。
该动态图卷积神经网路中,直接输入点云的各类原始特征信息,包括三维坐标信息、甚至颜色、表面法线向量等等。由动态图卷积神经网路中的边缘卷积算子对每一个点以及在特征维度上距离该点相近的多个点构成的点集,计算出各个点集中的边缘特征,最后聚合起来进行卷积以及池化,作为各个点集的中心点的特征。多次进行边缘卷积操作后,最终把多次得到的特征拼接在一起再次进行卷积以及池化,得到一个全局特征。再把全局特征与之前的每一个点的特征拼接到一起,最后对每一个点的特征分别输入到全连接层中,经过多层全连接层后得到一个0到1的结果,该动态图卷积神经网络的输出与输入的下采样后的点云信息一一对应,该动态图卷积神经网络的输出归一化至0到1之间的数值,并定义数值越接近1则识别结果越倾向于该点为障碍物点。与传统的点云分割算法对比,使用神经网络对点云中的障碍物进行分割更具智能化,也更具有鲁棒性,能够更好地应对不同的障碍物情况。
S3、根据识别结果,提取出点云中相对应的属于障碍物的点,并针对上述障碍物的点计算出障碍物的运动信息,辅助机器人作出运动判断。
本实施例步骤S3中,提取出点云中相对应的属于障碍物的点,得到各个障碍物点的三维信息,利用各个障碍物点的三维信息的平均值替代作为障碍物的重心位置,其中,在某一时刻j,障碍物点的三维信息的平均值计算公式如下:
根据相邻时刻得到的障碍物点重心位置采用逐差法计算各个障碍物点的运动速度与加速度:
其中,上标j代表有时间顺序的第j个时刻所对应的场景点云, 为障碍物在时刻j的速度,为三个坐标方向上在时刻j的速度分量,为障碍物在时刻j的加速度,为三个坐标方向上在时刻j的加速度分量,Δt是两个时刻间隔的时间;
通过障碍物的运动速度与加速度预测障碍物运动轨迹。
综上所述,本实施例中使用所有障碍物点的数目判断出障碍物的大致体积,同时,使用各个障碍物点的各坐标极差值来判断障碍物体的大致形状;上述信息最终辅助机器人作出运动控制判断。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (7)
1.一种针对机器人工作场景中提取障碍物运动信息的方法,其特征在于,所述方法包括以下步骤:
S1、利用结构光***、光探测和测距点云获取***,以一定的时间间隔获取工业场景的点云信息,并对点云信息进行下采样至一定的点数目;
S2、将下采样后的点云信息输入到神经网络中,由神经网络给出识别结果;
S3、根据识别结果,提取出点云中相对应的属于障碍物的点,并针对上述障碍物的点计算出障碍物的运动信息,辅助机器人作出运动判断。
2.根据权利要求1所述的一种针对机器人工作场景中提取障碍物运动信息的方法,其特征在于,所述步骤S1中,对获取工业场景的点云信息使用随机采样算法,将点云信息的数据矩阵在点的数目维度随机地抽取出所需数量的点;或者,对获取工业场景的点云信息使用最远点采样算法,每次采样出距离已采样点的点集最远的一个点并重复进行,使得采样后的点云统一到特定数目。
3.根据权利要求1所述的一种针对机器人工作场景中提取障碍物运动信息的方法,其特征在于,所述步骤S2中神经网络采用动态图卷积神经网络,该动态图卷积神经网络包括输入层、第一边缘卷积算子、第二边缘卷积算子、第三边缘卷积算子、第一共享全连接层、第二共享全连接层、第一池化层和输出层,其中,所述边缘卷积算子包括邻域点云聚集模块、卷积层和第二池化层,所述邻域点云聚集模块采用k近邻算法;该动态图卷积神经网络的输入层与输出层之间各层的连接关系为:输入层依次连接到第一边缘卷积算子、第二边缘卷积算子、第三边缘卷积算子,经过三次边缘卷积后经过第一共享全连接层以及第一池化层得到全局特征;将每个点从各个边缘卷积算子中得到的特征以及全局特征结合,并分别输入到第二共享全连接层中,最终由输出层得到输出;其中,每个边缘卷积算子包括聚集邻域点云模块、卷积层、第二池化层,聚集邻域点云模块进行邻域点云聚集并输入到卷积层,之后由第二池化层聚合出深一层特征,并且下一个边缘卷积算子会以之前得到的所有特征作为输入,继续输出深一层特征。
4.根据权利要求3所述的一种针对机器人工作场景中提取障碍物运动信息的方法,其特征在于,所述动态图卷积神经网络的输出与输入的下采样后的点云信息一一对应。
5.根据权利要求3所述的一种针对机器人工作场景中提取障碍物运动信息的方法,其特征在于,所述动态图卷积神经网络的输出归一化至0到1之间的数值,并定义数值越接近1则识别结果越倾向于该点为障碍物点。
6.根据权利要求1所述的一种针对机器人工作场景中提取障碍物运动信息的方法,其特征在于,所述步骤S3中提取出点云中相对应的属于障碍物的点,得到各个障碍物点的三维信息,利用各个障碍物点的三维信息的平均值替代作为障碍物的重心位置,其中,在某一时刻j,障碍物点的三维信息的平均值计算公式如下:
根据相邻时刻得到的障碍物点重心位置采用逐差法计算该障碍物的运动速度与加速度:
通过障碍物的运动速度与加速度预测障碍物运动轨迹。
7.根据权利要求1所述的一种针对机器人工作场景中提取障碍物运动信息的方法,其特征在于,所述步骤S3中,使用所有障碍物点的数目判断出障碍物的大致体积,同时,使用各个障碍物点的各坐标极差值来判断障碍物体的大致形状。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011499514.8A CN112598699A (zh) | 2020-12-16 | 2020-12-16 | 一种针对机器人工作场景中提取障碍物运动信息的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011499514.8A CN112598699A (zh) | 2020-12-16 | 2020-12-16 | 一种针对机器人工作场景中提取障碍物运动信息的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112598699A true CN112598699A (zh) | 2021-04-02 |
Family
ID=75199300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011499514.8A Pending CN112598699A (zh) | 2020-12-16 | 2020-12-16 | 一种针对机器人工作场景中提取障碍物运动信息的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112598699A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023155389A1 (zh) * | 2022-02-16 | 2023-08-24 | 中国第一汽车股份有限公司 | 三维物体检测方法、装置、存储介质、处理器及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110244322A (zh) * | 2019-06-28 | 2019-09-17 | 东南大学 | 基于多源传感器的路面施工机器人环境感知***及方法 |
CN110441791A (zh) * | 2019-08-14 | 2019-11-12 | 深圳无境智能机器人有限公司 | 一种基于前倾2d激光雷达的地面障碍物检测方法 |
-
2020
- 2020-12-16 CN CN202011499514.8A patent/CN112598699A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110244322A (zh) * | 2019-06-28 | 2019-09-17 | 东南大学 | 基于多源传感器的路面施工机器人环境感知***及方法 |
CN110441791A (zh) * | 2019-08-14 | 2019-11-12 | 深圳无境智能机器人有限公司 | 一种基于前倾2d激光雷达的地面障碍物检测方法 |
Non-Patent Citations (1)
Title |
---|
NIANFENG WANG ET AL.: "Research on Point Cloud Processing Algorithm Applied to Robot Safety Detection", 《SPRINGER NATURE SWITZERLAND AG 2020》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023155389A1 (zh) * | 2022-02-16 | 2023-08-24 | 中国第一汽车股份有限公司 | 三维物体检测方法、装置、存储介质、处理器及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105892471B (zh) | 汽车自动驾驶方法和装置 | |
CN113111887B (zh) | 一种基于相机和激光雷达信息融合的语义分割方法及*** | |
CN113450408B (zh) | 一种基于深度相机的非规则物***姿估计方法及装置 | |
CN109159113B (zh) | 一种基于视觉推理的机器人作业方法 | |
CN109872355B (zh) | 一种基于深度相机的最短距离获取方法及装置 | |
Mane et al. | Real time obstacle detection for mobile robot navigation using stereo vision | |
EP4211651A1 (en) | Efficient three-dimensional object detection from point clouds | |
CN111198496A (zh) | 一种目标跟随机器人及跟随方法 | |
CN111178138A (zh) | 基于激光点云和双目视觉的配网导线作业点检测方法及装置 | |
CN115330734A (zh) | 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊*** | |
CN116503803A (zh) | 障碍物检测方法、装置、电子设备以及存储介质 | |
Zhang et al. | Deep learning-based robot vision: High-end tools for smart manufacturing | |
TWI673190B (zh) | 基於光學雷達之汽車偵測方法 | |
CN112598699A (zh) | 一种针对机器人工作场景中提取障碍物运动信息的方法 | |
CN108460348B (zh) | 基于三维模型的道路目标检测方法 | |
CN114140526A (zh) | 一种基于深度学习的无序工件三维视觉位姿估计方法 | |
CN114049362A (zh) | 一种基于transformer的点云实例分割方法 | |
Wang et al. | GraspFusionNet: a two-stage multi-parameter grasp detection network based on RGB–XYZ fusion in dense clutter | |
Liu et al. | Research on security of key algorithms in intelligent driving system | |
Lee et al. | 3D Pose Estimation of Bin Picking Object using Deep Learning and 3D Matching. | |
CN115464651A (zh) | 一种六组机器人物体抓取*** | |
Guo et al. | Road environment perception for safe and comfortable driving | |
CN115393696A (zh) | 具有旋转补偿的对象料箱拾取 | |
Chen et al. | A Framework for 3D Object Detection and Pose Estimation in Unstructured Environment Using Single Shot Detector and Refined LineMOD Template Matching | |
CN109211222B (zh) | 基于机器视觉的高精度定位***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210402 |
|
WD01 | Invention patent application deemed withdrawn after publication |