CN113298163A - 一种基于LiDAR点云数据的目标识别监测方法 - Google Patents

一种基于LiDAR点云数据的目标识别监测方法 Download PDF

Info

Publication number
CN113298163A
CN113298163A CN202110596783.4A CN202110596783A CN113298163A CN 113298163 A CN113298163 A CN 113298163A CN 202110596783 A CN202110596783 A CN 202110596783A CN 113298163 A CN113298163 A CN 113298163A
Authority
CN
China
Prior art keywords
point cloud
cloud data
feature extraction
point
monitoring method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110596783.4A
Other languages
English (en)
Inventor
刘斌
熊国友
高浦润
卢波
杨泽明
杨斌
曹天恩
杨光灿
杨涛
胡芳芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Boyan Zhongneng Technology Co ltd
Huangshi Power Supply Co of State Grid Hubei Electric Power Co Ltd
Original Assignee
Beijing Boyan Zhongneng Technology Co ltd
Huangshi Power Supply Co of State Grid Hubei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boyan Zhongneng Technology Co ltd, Huangshi Power Supply Co of State Grid Hubei Electric Power Co Ltd filed Critical Beijing Boyan Zhongneng Technology Co ltd
Priority to CN202110596783.4A priority Critical patent/CN113298163A/zh
Publication of CN113298163A publication Critical patent/CN113298163A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种基于LiDAR点云数据的目标识别监测方法，包括以下步骤：1）采用激光雷达探测变电站工作人员获得稀疏的点云数据，将代表三维几何信息的原始点云数据喂入PointRCNN神经网络提取特征，第一阶段提取前景点，生成感兴趣区域RoI，第二阶段对生成的框进行细化；所述PointRCNN的特征提取网络是基于PointNet++的网络，特征提取部分由多层感知器MLP（multi‑layer perception）、T‑Net和Max‑pooling层组成；2）使用基于层的累积模块对点云数据进行累加，以增强对象的语义信息；3）使用随机森林算法对特征进行分类，判断出工作人员是否戴有安全帽；本发明可以实现全体24小时的、大场景的环境感知的、高精度的相关人员监测，克服了远距离小目标语义信息不足的缺点。

Description

一种基于LiDAR点云数据的目标识别监测方法
技术领域
本发明涉及智能识别检测技术领域，具体是一种基于LiDAR点云数据的目标识别监测方法。
背景技术
我国目前的社会经济处于一个稳定的发展状态中，随着时代的不断改革创新，时代的发展对于各项社会工作都提出了崭新的、更高的要求，其中之一就是变电站的相关工作人员的相关要求。我国对变电站的检测，大多是为了对变电站的安全运行进行监测，这样可以保障设备的正常运行。但是对于变电站工作人员的人身安全防护、施工人员的安全生产问题，不能起到预警和监督作用，一些安全意识不够的工作人员进入变电站工作时不带安全头盔，为自身安全带来极大的隐患。
现有的监测手段都是通过光学摄像头传感器的数据进行监测，这样传感器仅能提供二维数据，所提供的信息不符合三维场景的真实信息，监测结果达不到变电站这种高危环境所需要的精度要求；光学摄像头容易受到光照、环境的影响。
LiDAR指的是激光探测和测量(Light Detection And Ranging,简称LiDAR)，也就是激光雷达。LiDAR可以直接获取被拍物体的三维几何信息，所测得的数据是用离散点表示，被称为点云数据；由于点云数据存在稀疏的问题，且随着探测距离的增加，点云数据的稀疏程度越来越大，目前尚没有将点云数据应用于变电站监测***。
发明内容
本发明的目的就是为了解决现有的采用摄像头监测的手段仅能提供二维数据，达不到变电站这种高危环境所需要的精度要求的问题，提供一种基于LiDAR点云数据的目标识别监测方法。
本发明的具体方案是：一种基于LiDAR点云数据的目标识别监测方法，包括以下步骤：
1)采用激光雷达探测变电站工作人员获得稀疏的点云数据，将代表三维几何信息的原始点云数据喂入PointRCNN神经网络提取特征，第一阶段提取前景点，生成感兴趣区域RoI，第二阶段对生成的框进行细化；所述PointRCNN的特征提取网络是基于PointNet++的网络，特征提取部分由多层感知器MLP(multi-layer perception)、T-Net和Max-pooling层组成；PointRCNN神经网络是一种新的三维物体检测网络，它不同于从RGB图像或者先将点云投影到二维平面的检测方法，而是直接用于原始点云，通过将整个场景中的点云分为前景点和背景点，直接从点云中生成少量的高质量的3D感兴趣区域即ROI。同时它的第二阶段将全局特征和局部的空间特征结合起来，提出了新的基于bin的损失函数进行了优化。PointRCNN的主要过程为基于特征提取网络的特征提取过程和基于回归的优化损失过程。
2)使用基于层的累积模块对点云数据进行累加，以增强对象的语义信息；
3)使用随机森林算法对特征进行分类，判断出工作人员是否戴有安全帽。
所述步骤2)中根据ICP算法对连续的点云数据进行刚性变换，通过SVD优化算法得到最适合的转换矩阵，然后累积连续点云并对累积后的点云进行重采样；
ICP算法目的是使用一组映射H矩阵，对源点云进行旋转、平移操作，将不同坐标系下的点云统一到同一坐标系下。旋转矩阵的选择目标是使源点云和目标点云的欧氏距离最小；
ICP算法的具体描述为给定两个点云集合，通过求取两个点云集合之间的对应关系，求得从点云集合A变换到点云集合B的变换矩阵。因此主要的问题是要找出空间点的对应关系。一般情况下是使用欧氏距离最小的方法，即两个点云集合的空间点相互之间的空间距离的和最小的情况下，我们认为此时两个集合的点是一一对应的变换关系。因此具体求解步骤为：首先计算两组点云的质心，然后将点云的坐标更新为以各自质心为原点的坐标系，通过求两者之间距离差最小的情况下的空间变换矩阵，求得ICP的解。
所述步骤3)中基于累积后的人体点云，选择最高点为种子点，使用球半径邻域获取每个点的特征信息，然后使用随机森林算法对特征进行分类；
随机森林算法是一种机器学习算法，随机森林的思想是集成思想，即在随机森林算法中，分成很多的独立的分类树，在对某种情况进行分类时，由于分类树的独立性，所以99％的分类树的预测结果涵盖了所有的情况，少数的分类树对这种分类表现出很好的结果预测，由若干个弱分类器的分类结果进行投票选择，从而组成一个强分类器；
随机森林的随机表现在在抽取训练样本时，每一棵分类树抽取的样本都是随机的，保证了分类树的独立性和分类结果的广泛性和多样性，从而表现出对大多数情况的适应性。每一棵分类树的分类结果生成过程为：1)随机且有放回的从训练结果中抽取N个训练样本；2)如果对每个样本的特征维度进行分析，分类树对每一个维度特征进行***时，选择最优的***方向；3)根据2步骤的***结果，生长到最终的分类结果中。
本发明具有以下有益效果：
1、相比较传统的光学摄像机，使用LiDAR传感器不受光照、外部环境的影响，探测距离远，人员位置定位精度高，可以实现全体24小时的、大场景的环境感知的、高精度的相关人员监测；
2、本发明使用减重的PointRCNN算法，使用更少的参数和执行时间获取目标，采取累积连续点云的方法增加目标的形状信息，克服了远距离小目标语义信息不足的缺点。
附图说明
图1是本发明基于LiDAR的工作人员监控***工作流程图；
图2是现有技术的PointRcnn网络过程图；
图3是本发明改进的PointNet网络结构图；
图4是本发明Bin-Base的损失函数示意图；
图5是本发明训练过程中损失曲线图；
图6是稀疏人体点云示意图；
图7是基于层的累积方法示意图；
具体实施方式
KITTI数据集是目前国际最大的点云的计算机算法评测数据集，该数据集用于评测3D物体检测等计算机视觉技术的性能，KITTI数据集的数据采集使用Velodyne64线激光雷达，以10Hz的频率采样，数据集的分类有‘Road’、‘Person’、‘Campus’、‘Resident’,细分为car、truck、pedestrain等组成。本实例从公开数据集KITTI中提取有pedestrain目标的点云数据帧为网络的训练数据集，以80/20的比例分配为训练集和测试集。
本实施例中为了提高检测的效率，达到实时性的检验要求，将特征提取网络进行减重，具体减重方案为，在特征提取过程中，将特征提取矩阵的维度降低到原来的1/2，由于是3维的计算关系，计算参数量变为原来的1/8，从而大大缩短了特征提取的时间，同时由于应用场景为比较空旷的变压器区域，满足目标检测的要求，检测时间从3FPS提高到了15FPS，满足大于10FPS的要求。
第一步RPN网络的backbone层的输入分配好的训练集共8179帧点云，每帧点云被分成不同大小的batch，每个batch共16380个点，RPN输出是每个点的特征、每个点的分类结果Rpn_cls和每个点对框的回归结果Rpn_reg、每一个点的少量的回归框。Rpn_cls经过sigmoid变换，将分数大于阈值的点认为是人体的点，构造seg_mask，后面作为RCNN的输入。
训练过程中，采用了分类代替回归的方法提出了一种Bin-Base损失函数，在回归时如果要求的参数的范围很大，直接采取回归的方法会产生较大的误差，本方法提出将参数范围划分为小区间如图4所示，首先使用交叉熵损失函数表示目标在哪个区间的分类损失函数，具体公式如下：
Figure BDA0003091440620000051
确定在哪个区间后，在这个小区间使用smoothL1损失函数，具体公式如下：
Figure BDA0003091440620000052
最终的损失函数表达式为：
T_L＝Smooth_L1_Loss+Arg_Cls_EntropyLoss
此损失函数意在不断的减少训练集的真实值与预测值的差值，直到损失值落入阈值内，此时训练结束,训练过程如图5所示，得到训练好的结果矩阵。使用测试集将测试集与训练好的结果矩阵相乘，输出预测的结果，与测试集的真实值比较，得到准确率为87.5％。
PointRCNN网络的输出结果是提取到的稀疏的人体点云如图6，将人体点云与背景点分割。为了后续有足够的形状特征判断是否有安全帽，使用累积连续点云的方法，该积累方法主要使用了最近迭代点(ICP)算法，核心思想是通过一定的旋转和变换，将不同坐标系下的两组或者多组点云数据统一到同一参考坐标系下。本方法使用ICP算法，通过对连续时间内的同一个物体的点云数据进行匹配，累积到同一个物体上，丰富了这个物体的点云信息，增强了物体的几何特征，提高了算法的准确性。
该算法的物理描述是寻找一个平移旋转矩阵，该矩阵找到连续帧之间代表同一物体的点，使连续帧之间的目标点云经过旋转平移后能够重合，算法第一步是找到连续帧之间目标点云的对应关系。也可以描述为目标点云经过矩阵转换后两者的欧式距离最小。公式如下：
Figure BDA0003091440620000061
Figure BDA0003091440620000062
由奇异值分解(SVD)理论求得最优解R＝PQT
与常规的ICP算法不同的地方在于，为了防止ICP后的点云变成2D投影，我们将目标点云划分成如图7所示的基于层的点云，在层的水平忽略Z轴使用ICP算法，得到每层的刚体变换和对应的误差，与常规ICP算法比较，该方法获得鲁棒性更好、更准确的变换结果。
对变换后的点云提取几何形状特征子，本实施例中基于人体佩戴安全帽之后，曲率特征不同于未佩戴安全帽的情况，同时结合光的反射强度与颜色的关系，连结几何曲率特征和强度特征使用统计直方图将局部特征转化为全局特征，然后使用随机森林算法对随机的从检测到的人体点云目标提取标本，做出分类结果，达到判断有无安全帽的目的。

Claims (5)

1.一种基于LiDAR点云数据的目标识别监测方法，其特征是：包括以下步骤：
采用激光雷达探测变电站工作人员获得稀疏的点云数据，将代表三维几何信息的原始点云数据喂入PointRCNN神经网络提取特征，第一阶段提取前景点，生成感兴趣区域RoI，第二阶段对生成的框进行细化；所述PointRCNN的特征提取网络是基于PointNet++的网络，特征提取部分由多层感知器MLP、T-Net和Max-pooling层组成；
使用基于层的累积模块对点云数据进行累加，以增强对象的语义信息；
使用随机森林算法对特征进行分类，判断出工作人员是否戴有安全帽。
2.根据权利要求1所述一种基于LiDAR点云数据的目标识别监测方法，其特征是：所述步骤1）中T-Net是一个微型网络，作用是生成需要的大小的旋转矩阵，不改变数据或者特征图结构的情况下使点云空间旋转不变性，MLP用于神经网络的特征提取，Max-pooling将MLP学到的网络池化，全连接成全局特征，用于分类和分割。
3.根据权利要求2所述一种基于LiDAR点云数据的目标识别监测方法，其特征是：所述步骤1）中将特征提取网络进行减重，具体减重方案为，在特征提取过程中，将特征提取矩阵的维度降低到原来的1/2。
4.根据权利要求1所述一种基于LiDAR点云数据的目标识别监测方法，其特征是：所述步骤2）中根据ICP算法对连续的点云数据进行刚性变换，通过SVD优化算法得到最适合的转换矩阵，然后累积连续点云并对累积后的点云进行重采样，ICP算法目的是使用一组映射H矩阵，对源点云进行旋转、平移操作，将不同坐标系下的点云统一到同一坐标系下，旋转矩阵的选择目标是使源点云和目标点云的欧氏距离最小。
5.根据权利要求1所述一种基于LiDAR点云数据的目标识别监测方法，其特征是：所述步骤3）中基于累积后的人体点云，选择最高点为种子点，使用球半径邻域获取每个点的特征信息，然后使用随机森林算法对特征进行分类。
CN202110596783.4A 2021-05-31 2021-05-31 一种基于LiDAR点云数据的目标识别监测方法 Pending CN113298163A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110596783.4A CN113298163A (zh) 2021-05-31 2021-05-31 一种基于LiDAR点云数据的目标识别监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110596783.4A CN113298163A (zh) 2021-05-31 2021-05-31 一种基于LiDAR点云数据的目标识别监测方法

Publications (1)

Publication Number Publication Date
CN113298163A true CN113298163A (zh) 2021-08-24

Family

ID=77326139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110596783.4A Pending CN113298163A (zh) 2021-05-31 2021-05-31 一种基于LiDAR点云数据的目标识别监测方法

Country Status (1)

Country Link
CN (1) CN113298163A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781639A (zh) * 2021-09-22 2021-12-10 交通运输部公路科学研究所 一种大场景道路基础设施数字化模型快速构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109856643A (zh) * 2018-12-15 2019-06-07 国网福建省电力有限公司检修分公司 基于3d激光的可移动式无感全景感知方法
WO2020108311A1 (zh) * 2018-11-29 2020-06-04 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN112396655A (zh) * 2020-11-18 2021-02-23 哈尔滨工程大学 一种基于点云数据的船舶目标6d位姿估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020108311A1 (zh) * 2018-11-29 2020-06-04 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN109856643A (zh) * 2018-12-15 2019-06-07 国网福建省电力有限公司检修分公司 基于3d激光的可移动式无感全景感知方法
CN112396655A (zh) * 2020-11-18 2021-02-23 哈尔滨工程大学 一种基于点云数据的船舶目标6d位姿估计方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SHAOSHUAI SHI ET AL: "PointRCNN：3D Object Proposal Generation and Detection From Point Cloud", 《2019 IEEECVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
方彦军等: "基于随机森林方法的变电站三维建模点云自动分割", 《制造业自动化》 *
杨淑媛等: "《现代神经网络教程》", 31 August 2020, 西安电子科技大学出版社 *
汤涌等: "基于三维激光点云的复杂道路场景杆状交通设施语义分类", 《热带地理》 *
韩成等: "《基于结构光的计算机视觉》", 31 January 2015, 国防工业出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781639A (zh) * 2021-09-22 2021-12-10 交通运输部公路科学研究所 一种大场景道路基础设施数字化模型快速构建方法
CN113781639B (zh) * 2021-09-22 2023-11-28 交通运输部公路科学研究所 一种大场景道路基础设施数字化模型快速构建方法

Similar Documents

Publication Publication Date Title
Tang et al. Fruit detection and positioning technology for a Camellia oleifera C. Abel orchard based on improved YOLOv4-tiny model and binocular stereo vision
CN107818326B (zh) 一种基于场景多维特征的船只检测方法及***
Liu et al. Tree species classification of LiDAR data based on 3D deep learning
CN105631892B (zh) 一种基于阴影和纹理特征的航空影像建筑物损毁检测方法
CN112101189B (zh) 基于注意力机制的sar图像目标检测方法及测试平台
Kumar et al. Feature relevance analysis for 3D point cloud classification using deep learning
CN114399799A (zh) 一种基于YOLOv5网络的口罩佩戴检测方法
CN117437382B (zh) 一种数据中心部件的更新方法及***
CN115880333A (zh) 一种基于多模态信息融合的三维单目标跟踪方法
Qian et al. Classification of rice seed variety using point cloud data combined with deep learning
Ding et al. Long-distance vehicle dynamic detection and positioning based on Gm-APD LiDAR and LiDAR-YOLO
CN109064444B (zh) 基于显著性分析的轨道板病害检测方法
CN113298163A (zh) 一种基于LiDAR点云数据的目标识别监测方法
Li et al. Safe distance monitoring of live equipment based upon instance segmentation and pseudo-LiDAR
Yin et al. Road Damage Detection and Classification based on Multi-level Feature Pyramids.
CN114627339A (zh) 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质
Bhattacharjee et al. A Deep-Learning-Based Lightweight Model for Ship Localizations in SAR Images
CN111898427A (zh) 一种基于特征融合深度神经网络的多光谱行人检测方法
CN116994029A (zh) 一种用于多源数据的融合分类方法及***
Nacir et al. YOLO V5 for traffic sign recognition and detection using transfer learning
Li et al. Real time obstacle estimation based on dense stereo vision for robotic lawn mowers
Gao et al. Improved binocular localization of kiwifruit in orchard based on fruit and calyx detection using YOLOv5x for robotic picking
Xudong et al. Research of YOLOv5s Model Acceleration Strategy in AI Chip
CN115100741B (zh) 一种点云行人距离风险检测方法、***、设备和介质
Jiang et al. Remote Sensing Image Target Recognition System of Tennis Sports based on CAMSHIFT Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination