CN113255481B - 一种基于无人巡逻车的人群状态检测方法 - Google Patents
一种基于无人巡逻车的人群状态检测方法 Download PDFInfo
- Publication number
- CN113255481B CN113255481B CN202110510907.2A CN202110510907A CN113255481B CN 113255481 B CN113255481 B CN 113255481B CN 202110510907 A CN202110510907 A CN 202110510907A CN 113255481 B CN113255481 B CN 113255481B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- pedestrian
- dimensional
- detection
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 230000008447 perception Effects 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims description 46
- 238000004422 calculation algorithm Methods 0.000 claims description 43
- 239000013598 vector Substances 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 235000005121 Sorbus torminalis Nutrition 0.000 claims description 5
- 244000152100 Sorbus torminalis Species 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 16
- 239000010410 layer Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于无人巡逻车的人群状态检测方法,该方法首先通过欧氏聚类方法在点云空间中对目标物进行聚类识别;然后选用深度学习YOLOv4作为图像目标检测的基础框架,进而获取三维空间行人的坐标;最后根据三维空间行人密度计算方法和行人最小间距计算方法计算人群密度以及行人间距,对密度或间距超过阈值的情况进行报警并疏散人群。本发明该方法通过融合激光雷达和视觉传感器的数据实现对巡逻工作环境中行人的检测,并基于融合检测数据构建行人模型、分析工作环境内人群密度,完成对人群密集状态的感知。
Description
技术领域
本发明属于自动驾驶/智能感知技术领域,具体涉及一种基于无人巡逻车的人群状态检测方法。
背景技术
随着无人车技术迅速发展,对解决能源短缺、提高驾驶安全性有重要意义。因此,近年来国内外掀起对无人车技术研究的热潮。然而,无人车技术目前真正落地实现难度较高,但在特定场景以及限速的情况可为无人车研究找到新的突破口。无人巡逻车具有低速率、巡逻区域固定等点,是无人车技术落地应用的最佳选择之一。无人巡逻车作为无人车技术与智能安防技术的重要结合,极大程度地弥补了传统安保模式的不足,可有效避免巡逻死角并代替安保人员进行一些高风险、高重复性的工作,减少人力成本的同时提升了安防工作的安全性。无人巡逻车为疫情防控提出了新的解决方案,其在减少高昂的人力巡检成本、降低安保人员的感染风险等方面具有巨大的潜能。
根据无人巡逻车的应用现状的研究,无人巡逻车主要具有自动巡逻、环境感知、信息交互等多种功能。其中,感知功能作为无人巡逻车的基础功能,对于促进巡逻车完成巡逻任务,保障巡逻环境安全意义重大,近年来已逐渐成为研究热点。巡逻车环境感知技术是通过各类传感器采集外部环境数据,再通过数据处理、分析提取环境中的有效信息,最后建立模型以表达环境信息。目前常用的传感器有摄像机、红外相机、激光雷达、毫米波雷达、惯性传感器等。对环境中的物体进行目标识别是巡逻车环境感知的重要功能,根据传感器采集数据信息的差异,目标检测技术主要分为三种:基于图像数据的目标识别、基于点云数据的目标识别、基于多传感器信息融合的目标识别。
相关技术
1无人巡逻车技术
无人巡逻车技术是一种依托于自动驾驶技术使汽车或机器人通过人工智能、视觉计算、雷达、监控装置和全球定位***协同合作,让无人巡逻车可以在没有任何人类主动的操作下,在特定区域内通过现代传感器自动安全地操作机动车辆或机器人实现相关功能。
2目标识别技术
目标识别技术是利用传感器通过计算机分析对目标进行辨认的技术,通过对雷达回波中的幅度、相位、频谱和极化等信息或对视频流中像素信息的分析,在数学上的各种多维空间变换来估算目标的大小、形状、重量和表面层的物理特性参数,最后根据大量训练样本所确定的鉴别函数,在分类器中进行识别判决,进而对目标分类和识别。
3异常检测技术
异常检测技术是采用现代传感器对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别,并分析当前状态与标准状态的差异。通常情况下,该技术通过监督式、半监督式或无监督式学习完成对异常数据的定位与分析,可应用于入侵检测、欺诈检测、故障检测、***健康监测、传感器网络事件检测和生态***干扰检测等各种领域。
现有技术不足
1对于检测场景,现有研究多为固定场景下的检测技术,无法满足无人巡逻车动态形式过程中识别的需求,缺少针对特定场景下无人巡逻车的人群状态识别方法和***。
2对于检测算法能力,当前算法虽然可以通过结合多传感器融合的方法进行目标的识别,但是行人的点云数据具有反射率高的特点,无法快速、准确的识别人群状态。
3对于检测方法的有效性,由于当前算法主要通过二维化行人的坐标以检测所在位置,缺少三维空间内的数据量,导致数据准确度确实的问题,需要对三维空间行人密集度的检测方法。
发明内容
针对以上三个相关技术的不足,本发明充分利用多传感器信息融合的优势,提出基于点云数据与图像数据融合的目标检测方法。本发明具体采用如下技术方案:
该方法包括如下步骤:
步骤1:定义行人定位算法总体结构
1.1)对激光雷达与相机的联合标定,确定点云空间与像素平面的刚体变换、投影透视、平移转换的关系;
1.2)分别对点云数据与图像数据进行目标检测,利用点云滤波与聚类分割算法对输入的点云数据进行目标聚类,获取点云数据中的目标聚类框尺度、空间中心点坐标信息;
1.3)利用深度学习YOLOv4算法对输入的图像进行行人目标检测,利用Deep SORT算法对前后帧的行人检测框进行匹配,获取图像中的行人检测框尺度、像素中心点坐标等信息,实现行人目标的实时跟踪;
1.4)对点云的聚类检测结果与图像的行人识别结果进行融合,将点云聚类结果投影到二维图像平面上,计算点云二维投影框与行人目标检测框的交并比,完成匹配;
1.5)输出三维空间的行人目标识别结果,再根据融合后的检测框是否被匹配,筛选出置信度较高的融合结果进行输出;
步骤2:激光雷达和相机联合标定
通过对激光雷达和相机联合标定,获得点云空间与像素平面的坐标转换关系,找到同一时刻内,点云数据的每个点和图像中相应像素的位置;
步骤3:点云数据预处理
在初始状态下,选取巡逻车头正方向,地面平面拟合模型表示:
ax+by+cz+d=0
其中,a、b、c分别表示垂直于x、y、z平面的法向量;d为坐标原点到平面的正交投影距离;
步骤4:点云聚类检测
4.1)初始化:创建三维的kd-tree;
4.2)在点云空间P中随机选取一个点pi,pi=(xi,yi,zi)T,使用kd-tree算法搜索其近邻点Pn={pj,j=1,2,...,n},计算三维点pi和pj之间的欧氏距离:
4.3)当Dij<Eps,将对应的pj划分成一个聚类点云集Q;
4.4)在聚类点云集Q中随机选取一个点pi1,重复步骤1),在Eps范围内的点划分到聚类点云集Q;
4.5)搜索完所有的点,直到没有点可以划入聚类点云集Q;
4.6)检测聚类点云集Q里的点云数量,如果点云数量大于聚类点最小数目MinPts且小于聚类点最大数目MaxPts,则该聚类点云集有效,构成一个聚类结果;
通过欧氏聚类算法对巡逻环境中扫描到的目标物进行聚类,将被检测目标物体分别用三维包围框的形式进行输出,从中提取出被检测目标物体的空间位置信息和长宽高尺度信息;
步骤5:融合匹配方法
5.1)输入一帧包含m个三维检测框的点云数据、一帧包含n个行人目标识别框的图像数据;
5.2)选取第i个三维检测框,第j个行人目标识别框,参数i和j的初始值设为1;
5.3)将第i个三维检测框的点云投影至图像上,生成二维包围框ii;
5.4)计算二维包围框ii与第j个行人目标识别框之间的交并比,并定义为变量IoU,其计算公式为:
union=Sii+Sj-intersetion
5.5)判断IoU是否大于融合阈值,如果IoU大于融合阈值,则更新融合目标标签为第j个行人目标识别框的标签;如果IoU小于融合阈值,则进一步判断是否还有未匹配的目标识别框。如果有未匹配的目标识别框,则进入步骤5.2),如果没有未匹配的目标识别框,则更新融合目标标签为“未知”;
5.6)判断是否所有的三维检测框都进行了融合检测,若是,则输出融合后的行人三维检测框;否则,继续检测下一个三维检测框;
5.7)对融合的结果进行输出。筛选出行人目标融合置信度较高的结果进行输出。
步骤6:基于深度学习的人群密度检测
6.1)人群密集度监测
以巡逻车辆为形心,绘制半径为3米的圆形探测框,统计探测框内的行人数量并计算人群密集度ρpeds,其计算公式如下:
其中,Npeds为探测框内的行人数量;Sdet表示探测框面积;
6.2)行人间距分析
算法输入融合检测得到的行人目标,提取每个行人目标的形心坐标,构建一个三维的kd-tree,通过遍历计算得到每个行人距离最近行人的欧氏距离;
6.3)行人聚集状况预警
根据实际测试选取人群密度阈值为0.5,当人群密度低于0.5时,人群状态将视为稀疏,当人群密度大于0.5时,人群密度将视为稠密;
根据对不同人群状态感知状况,将人群状况划分为四种预警模式,预警级别从低到高依次为蓝色预警、黄色预警、橙色预警以及红色预警;
稀疏状态下,若最小间距与平均间距均大于1,不存在预警措施;
若最小间距小于1,无论最小间距平均值为多少,启动蓝色预警,说明人群存在部分聚集,语音提醒注意出行安全;
稠密状态下,若最小间距与平均间距均大于1,则不存在人群聚集,启动黄色预警与语音提醒;若最小间距小于1而最小间距平均值大于1,则说明存在部分聚集,启动橙色预警与语音提醒;若最小间距小于1且最小间距平均值小于1,启动最高级别红色预警,语音疏散人群。
优选的,所述步骤2中激光雷达和相机联合标定具体步骤为:
1)点云数据中标定板的特征点提取
激光雷达坐标系描述物体以激光雷达为原点的相对位置,激光雷达坐标系中的点坐标表示为(XL,YL,ZL),在点云数据可视化软件PolyWorks中截取出棋格图标定板反射的点云区域作为点云感兴趣区域,然后对其余位置的点云进行滤除处理,对点云ROI区域进行最大化矩形拟合,通过拟合得到的矩形为棋格图标定板在点云空间的特征矩形,选取矩形的四个角和中心点作为点云数据的特征点;
2)图像数据中标定板的特征点提取
相机坐标系描述物体以相机光心为原点的相对位置,物体坐标表示为(XC,YC,ZC);像素坐标系描述以图像左上角为原点,u轴水平向右,v轴竖直向下,某一点在图像中的像素坐标表示为(u,v),从像素坐标系转换为相机坐标系,用相机内参矩阵A表示:
其中,fx和fy为x、y方向的焦距,单位为像素;cx和cy为图像的中心坐标。
通过张正友标定法得到像素坐标系和相机坐标系的转换关系,表示为:
其中,s为缩放因子;
3)激光雷达与相机的坐标变换
激光雷达和相机的外参标定关系为:
T=[t1 t2 t3]T
通过提取点云数据和图像数据中相对应的特征点数据,求得旋转向量R和平移向量T;
点云空间的三维点从激光雷达坐标系变换到相机坐标系,最后投影到像素坐标系并成像显示,完成点云数据与图像数据的像素级融合。
附图说明
图1是传感器位置及其坐标系示意图
图2是人群密集度检测***结构图。
图3是行人识别定位算法结构图。
图4是点云聚类算法流程图。
图5是匹配算法流程图。
图6是无预警状态示意图。
具体实施方式
(一)基于无人巡逻车的人群状态检测方法***设计
(1)无人巡逻车感知平台设计
本发明将激光雷达与RGB摄像头作为输入传感器,搭载于四轮差速驱动底盘的无人巡逻车上。图1所示为传感器在巡逻车上激光雷达和相机的安装位置及坐标系示意图。建立激光雷达与相机的自身坐标系,确立两者间的坐标关系。图中,ol、xl、yl和zl为激光雷达坐标系,以激光雷达中心为坐标原点,定义雷达上方为z轴正方向,巡逻车行进相反方向为x轴正方向,巡逻车车体左侧为y轴正方向;oc、xc、yc和zc为摄像头坐标系,以摄像头中心为坐标原点,定义其上方为z轴正方向,巡逻车行进相反方向为x轴正方向,巡逻车车体左侧为y轴正方向。激光雷达与摄像头坐标系均满足右手准则。传感器位置及其坐标系建立如图1所示。
(2)人群密集度检测***设计
基于无人巡逻车的人群密集度检测***包含感知层、决策层和执行层三个部分,其结构如图2所示。
感知层包含激光雷达和相机,***通过激光雷达获取行人点云信息、摄像头获取行人图像信息,为决策层中的行人目标融合识别定位模块提供数据输入。
决策层包含行人目标融合定位模块以及行人行为识别模块。其中行人目标融合识别定位模块通过点云滤波与地面拟合、聚类算法获得目标物三维检测框,利用深度学习YOLOv4算法实现对行人目标的检测,融合两者数据实现对检测区域内的行人三维空间坐标的获取。行人异常状况检测模块包含三维空间人群密集度计算算法以三维空间行人间距测量算法,以行人目标融合定位模块得到的行人位置数据作为输入,三维空间人群密集度计算过程中以巡逻车为中心划定区域,计算行人密度;三维空间行人间距测量算法在划定的区域内提取行人形心坐标根据欧氏距离计算行人间距。若人群密集度不满足疫情规定,则向无人巡逻车执行层发送预警指令。
执行层包含行人聚集状况预警模块,接收决策层的指令,对人群进行语音驱散。
(二)基于无人巡逻车的人群状态监测
步骤1:定义行人定位算法总体结构
基于激光雷达点云数据与相机图像数据信息融合的巡逻环境行人检测方法的总体架构如图3所示。首先,对激光雷达与相机的联合标定,确定点云空间与像素平面的刚体变换、投影透视、平移转换的关系。其次,分别对点云数据与图像数据进行目标检测。利用点云滤波与聚类分割算法对输入的点云数据进行目标聚类,获取点云数据中的目标聚类框尺度、空间中心点坐标等信息;再利用深度学***面上,计算点云二维投影框与行人目标检测框的交并比,完成匹配。最后,输出三维空间的行人目标识别结果。再根据融合后的检测框是否被匹配,筛选出置信度较高的融合结果进行输出。
步骤2:激光雷达和相机联合标定
为识别点云空间下的行人目标,需要将点云数据与图像数据进行融合。激光雷达和相机由于其固有采样频率和安装位置的不同,在数据融合之前,需要对激光雷达和相机进行联合标定并完成采样数据时间匹配,实现数据的坐标变换和时间一致性的统一。通过对激光雷达和相机联合标定,获得点云空间与像素平面的坐标转换关系,找到同一时刻内,点云数据的每个点和图像中相应像素的位置。联合标定包括以下子步骤:
1)点云数据中标定板的特征点提取
激光雷达坐标系描述物体以激光雷达为原点的相对位置,激光雷达坐标系中的点坐标表示为(XL,YL,ZL),符合右手坐标系规则。在一个相对开阔的环境中架设棋格图标定板,根据棋格图标定板的形状、高度,在点云数据可视化软件PolyWorks中截取出棋格图标定板反射的点云区域作为点云感兴趣区域(region of interest,ROI)区域,然后对其余位置的点云进行滤除处理。对点云ROI区域进行最大化矩形拟合,通过拟合得到的矩形为棋格图标定板在点云空间的特征矩形,选取矩形的四个角和中心点作为点云数据的特征点。
2)图像数据中标定板的特征点提取
相机坐标系描述物体以相机光心为原点的相对位置,物体坐标表示为(XC,YC,ZC);像素坐标系描述以图像左上角为原点,u轴水平向右,v轴竖直向下,某一点在图像中的像素坐标表示为(u,v)。从像素坐标系转换为相机坐标系,用相机内参矩阵A表示:
其中,fx和fy为x、y方向的焦距,单位为像素;cx和cy为图像的中心坐标。
通过张正友标定法[16]可以得到像素坐标系和相机坐标系的转换关系,表示为:
其中,s为缩放因子。
使用相机在激光雷达标定的同一实验环境采集棋格标定板图像,使用openCV中的findChessboardCorners()函数,寻找棋格图的内角点与棋格标定板的中心点像素坐标,已知棋格标定板的大小、内角点数量和尺度,进一步计算得到棋格图标定板四个的角像素坐标。通过变换矩阵(2),求得在相机坐标系下棋格图标定板四个角的三维坐标值以及棋格图标定板中心点坐标,选取这五个点作为图像数据的特征点。
3)激光雷达与相机的坐标变换
激光雷达坐标系与相机坐标系的变换过程为刚体变换,可以用旋转向量R和平移向量T表示,其中R为3×3的矩阵,T为3×1的矩阵,旋转向量R和平移向量T分别表示空间坐标旋转、平移变换的关系。激光雷达和相机的外参标定关系如公式(3)-(5)所示:
T=[t1 t2 t3]T (4)
通过提取点云数据和图像数据中相对应的特征点数据,通过(5)求得旋转向量R和平移向量T。
点云空间的三维点从激光雷达坐标系变换到相机坐标系,最后投影到像素坐标系并成像显示,完成点云数据与图像数据的像素级融合。
由于激光雷达点云的采样频率为10Hz,相机的图像采样频率为25Hz,因此需要解决传感器时间配准问题。本发明采用ROS中的TimeSynchronizer时间同步机制进行处理,在激光雷达和图像采集数据的同时,会给每一帧数据附带时间戳,当匹配到来自不同传感器的数据具有相同的时间戳时,再将各类数据进行回调,随后再进行数据融合处理,实现激光雷达点云数据和相机图像数据的时间一致性配准。
步骤3:点云数据预处理
点云原始数据的预处理操作主要有两部分:重采样与地面拟合。由于激光雷达设备精度、被测目标表面反射率等因素,点云数据不可避免地存在噪声点;同时多线激光雷达的点云数据处理过程中会占用较多的计算资源。本发明采用基于体素栅格的滤波方式进行下采样,在点云数据中创建一个个三维体素栅格,然后在每个体素栅格内,把所有点的形心来表示该体素内所有点,保留这些点作为下采样的输出,利用该方法可以剔除点云数据中的噪声点并降低点云数据的密度。
地面拟合主要是将激光雷达在巡逻车行驶环境中的采集到的地平面点云进行拟合,实现地面点云与非地面点云的分离,以此消除地面点云对聚类结果的影响。本发明采用的点云数据地面拟合方法为平面模型拟合法。在初始状态下,选取巡逻车头正方向,地面平面拟合模型表示如式(6)所示:
ax+by+cz+d=0 (6)
其中,a、b、c分别表示垂直于x、y、z平面的法向量;d为坐标原点到平面的正交投影距离。
判定方法的过程首先设定一个高度阈值,对于点云数据中低于该高度阈值的点构成点集S,点集S代表了整体点云的最低高度信息,利用最小二乘法在点集S中计算出a、b、c、d的值。然后,设定平面距离阈值,若点云数据中的某一点P到拟合地平面的正交投影的距离大于平面距离阈值,则判定该点属于非地面点。
步骤4:点云聚类检测
欧氏聚类(Euclidean Clustering)算法是一种典型的基于KD-Tree数据结构的聚类算法。该算法的核心思想是,对于点云空间中的某个点P,通过近邻搜索算法找到点P附近的点,若某近邻点与点P的欧式距离小于阈值,便将该近邻点聚类成点集Q。该算法中有三个重要参数——聚类半径阈值Eps、聚类点最小数目MinPts和聚类点最大数目MaxPts。根据行人点云的分布特征,由于行人在距离激光雷达较远处时,同一行人反射的点云较稀疏,本发明以激光雷达为原点,根据行人在距离激光雷达不同位置时,反射回的点云密集程度,以点与激光雷达的距离为半径,设置不同的Eps的值为Eps。点的距离与聚类半径阈值的关系如表1所示:
表1点云距离与聚类半径阈值的关系
欧氏聚类算法流程由以下6个子步骤组成:
1)初始化:创建三维的kd-tree;
2)在点云空间P中随机选取一个点pi,pi=(xi,yi,zi)T,使用kd-tree算法搜索其近邻点Pn={pj,j=1,2,...,n},计算三维点pi和pj之间的欧氏距离:
3)当Dij<Eps,将对应的pj划分成一个聚类点云集Q;
4)在聚类点云集Q中随机选取一个点pi1,重复步骤1),在Eps范围内的点划分到聚类点云集Q;
5)搜索完所有的点,直到没有点可以划入聚类点云集Q;
6)检测聚类点云集Q里的点云数量,如果点云数量大于聚类点最小数目MinPts且小于聚类点最大数目MaxPts,则该聚类点云集有效,构成一个聚类结果。
通过欧氏聚类算法对巡逻环境中扫描到的目标物进行聚类,将被检测目标物体分别用三维包围框的形式进行输出,从中可以提取出被检测目标物体的空间位置信息和长宽高尺度信息。点云聚类算法流程图如图4所示。
步骤5:融合匹配方法
通过步骤4介绍的方法,通过对点云数据的处理,完成了被测物在点云空间的聚类,以三维检测框的格式存储被测物的中心点坐标、长宽高尺寸信息;采用深度学***面,根据图像检测结果与投影结果的匹配便可确定点云空间中被检测目标物体的具体类别信息。匹配算法流程图如图5所示,具体步骤如下:
1)输入一帧包含m个三维检测框的点云数据、一帧包含n个行人目标识别框的图像数据;
2)选取第i个三维检测框,第j个行人目标识别框,参数i和j的初始值设为1;
3)将第i个三维检测框的点云投影至图像上,生成二维包围框ii;
4)计算二维包围框ii与第j个行人目标识别框之间的交并比(Intersection ofUnion,IoU),并定义为变量IoU,其计算公式为:
union=Sii+Sj-intersetion (9)
5)判断IoU是否大于融合阈值,如果IoU大于融合阈值,则更新融合目标标签为第j个行人目标识别框的标签;如果IoU小于融合阈值,则进一步判断是否还有未匹配的目标识别框。如果有未匹配的目标识别框,则进入步骤2),如果没有未匹配的目标识别框,则更新融合目标标签为“未知”;
6)判断是否所有的三维检测框都进行了融合检测,若是,则输出融合后的行人三维检测框;否则,继续检测下一个三维检测框;
7)对融合的结果进行输出。筛选出行人目标融合置信度较高的结果进行输出。
步骤6:人群密集度监测
1)传统的人群密集度检测通常由图像识别完成,首先检测图像数据中的人头部位置,再通过回归的方法组成密度图。在实际疫情防控工作中,巡逻车需要根据所处位置实时采集周边行人的数据,通过分析、处理行人数据,计算当前环境下的行人密度,为行人异常状况预警提供可靠的数据基础。
基于基于深度学习的多传感器信息融合感知策略,可以得到行人目标在环境空间中的三维信息。本发明提出的三维空间人群密集度计算算法如表2所示,以巡逻车辆为形心,绘制半径为3米的圆形探测框,统计探测框内的行人数量并计算人群密集度ρpeds,其计算公式如下:
其中,Npeds为探测框内的行人数量;Sdet表示探测框面积。
表2三维空间人群密集度计算算法
2)行人间距分析
巡逻车在重点防控区域工作时,需要对不满足安全社交距离的人群发出提醒。本发明提出的三维空间行人间距测量算法如表3所示。算法输入融合检测得到的行人目标,提取每个行人目标的形心坐标,构建一个三维的kd-tree,通过遍历计算得到每个行人距离最近行人的欧氏距离,即行人最小间距。
表3三维空间行人间距测量算法
3)行人聚集状况预警
对于人群密集程度的判断指标设计如下,根据实际测试选取人群密度阈值为0.5,当人群密度低于0.5时,人群状态将视为稀疏,当人群密度大于0.5时,人群密度将视为稠密,如表4所示。
表4人群密集状态判断指标
根据对不同人群状态感知状况,将人群状况划分为四种预警模式,预警级别从低到高依次为蓝色预警、黄色预警、橙色预警以及红色预警。考虑到稀疏人群状态下最小间距最有代表性而稠密状态下最小间距平均值体现实际情况,结合两者对不同人群状态下情况进行预警。其具体分类如表5所示。
表5人群状态与预警程度对应表
稀疏状态下,若最小间距与平均间距均大于1,不存在预警措施,如图6所示。
若最小间距小于1,无论最小间距平均值为多少,启动蓝色预警,说明人群存在部分聚集,语音提醒注意出行安全。
稠密状态下,若最小间距与平均间距均大于1,则不存在人群聚集,启动黄色预警与语音提醒;若最小间距小于1而最小间距平均值大于1,则说明存在部分聚集,启动橙色预警与语音提醒;若最小间距小于1且最小间距平均值小于1,启动最高级别红色预警,语音疏散人群。
Claims (2)
1.一种基于无人巡逻车的人群状态检测方法,其特征在于,该方法包括如下步骤:
步骤1:定义行人定位算法总体结构
1.1)对激光雷达与相机的联合标定,确定点云空间与像素平面的刚体变换、投影透视、平移转换的关系;
1.2)分别对点云数据与图像数据进行目标检测,利用点云滤波与聚类分割算法对输入的点云数据进行目标聚类,获取点云数据中的目标聚类框尺度、空间中心点坐标信息;
1.3)利用深度学习YOLOv4算法对输入的图像进行行人目标检测,利用Deep SORT算法对前后帧的行人检测框进行匹配,获取图像中的行人检测框尺度、像素中心点坐标等信息,实现行人目标的实时跟踪;
1.4)对点云的聚类检测结果与图像的行人识别结果进行融合,将点云聚类结果投影到二维图像平面上,计算点云二维投影框与行人目标检测框的交并比,完成匹配;
1.5)输出三维空间的行人目标识别结果,再根据融合后的检测框是否被匹配,筛选出置信度较高的融合结果进行输出;
步骤2:激光雷达和相机联合标定
通过对激光雷达和相机联合标定,获得点云空间与像素平面的坐标转换关系,找到同一时刻内,点云数据的每个点和图像中相应像素的位置;
步骤3:点云数据预处理
在初始状态下,选取巡逻车头正方向,地面平面拟合模型表示:
ax+by+cz+d=0
其中,a、b、c分别表示垂直于x、y、z平面的法向量;d为坐标原点到平面的正交投影距离;
步骤4:点云聚类检测
4.1)初始化:创建三维的kd-tree;
4.2)在点云空间P中随机选取一个点pi,pi=(xi,yi,zi)T,使用kd-tree算法搜索其近邻点Pn={pj,j=1,2,...,n},计算三维点pi和pj之间的欧氏距离:
4.3)当Dij<Eps,将对应的pj划分成一个聚类点云集Q;其中,Eps为聚类半径阈值;
4.4)在聚类点云集Q中随机选取一个点pi1,重复步骤1),在Eps范围内的点划分到聚类点云集Q;
4.5)搜索完所有的点,直到没有点可以划入聚类点云集Q;
4.6)检测聚类点云集Q里的点云数量,如果点云数量大于聚类点最小数目MinPts且小于聚类点最大数目MaxPts,则该聚类点云集有效,构成一个聚类结果;
通过欧氏聚类算法对巡逻环境中扫描到的目标物进行聚类,将被检测目标物体分别用三维包围框的形式进行输出,从中提取出被检测目标物体的空间位置信息和长宽高尺度信息;
步骤5:融合匹配方法
5.1)输入一帧包含m个三维检测框的点云数据、一帧包含n个行人目标识别框的图像数据;
5.2)选取第i个三维检测框,第j个行人目标识别框,参数i和j的初始值设为1;
5.3)将第i个三维检测框的点云投影至图像上,生成二维包围框ii;
5.4)计算二维包围框ii与第j个行人目标识别框之间的交并比,并定义为变量IoU,其计算公式为:
union=Sii+Sj-intersetion
5.5)判断IoU是否大于融合阈值,如果IoU大于融合阈值,则更新融合目标标签为第j个行人目标识别框的标签;如果IoU小于融合阈值,则进一步判断是否还有未匹配的目标识别框;如果有未匹配的目标识别框,则进入步骤5.2),如果没有未匹配的目标识别框,则更新融合目标标签为“未知”;
5.6)判断是否所有的三维检测框都进行了融合检测,若是,则输出融合后的行人三维检测框;否则,继续检测下一个三维检测框;
5.7)对融合的结果进行输出;筛选出行人目标融合置信度较高的结果进行输出;
步骤6:基于深度学习的人群密度检测
6.1)人群密集度监测
以巡逻车辆为形心,绘制半径为3米的圆形探测框,统计探测框内的行人数量并计算人群密集度ρpeds,其计算公式如下:
其中,Npeds为探测框内的行人数量;Sdetect表示探测框面积;
6.2)行人间距分析
算法输入融合检测得到的行人目标,提取每个行人目标的形心坐标,构建一个三维的kd-tree,通过遍历计算得到每个行人距离最近行人的欧氏距离;
6.3)行人聚集状况预警
根据实际测试选取人群密度阈值为0.5,当人群密度低于0.5时,人群状态将视为稀疏,当人群密度大于0.5时,人群密度将视为稠密;
根据对不同人群状态感知状况,将人群状况划分为四种预警模式,预警级别从低到高依次为蓝色预警、黄色预警、橙色预警以及红色预警;
稀疏状态下,若最小间距与平均间距均大于1,不存在预警措施;
若最小间距小于1,无论最小间距平均值为多少,启动蓝色预警,说明人群存在部分聚集,语音提醒注意出行安全;
稠密状态下,若最小间距与平均间距均大于1,则不存在人群聚集,启动黄色预警与语音提醒;若最小间距小于1而最小间距平均值大于1,则说明存在部分聚集,启动橙色预警与语音提醒;若最小间距小于1且最小间距平均值小于1,启动最高级别红色预警,语音疏散人群。
2.如权利要求1所述的一种基于无人巡逻车的人群状态检测方法,其特征在于,所述步骤2中激光雷达和相机联合标定具体步骤为:
1)点云数据中标定板的特征点提取
激光雷达坐标系描述物体以激光雷达为原点的相对位置,激光雷达坐标系中的点坐标表示为(XL,YL,ZL),在点云数据可视化软件PolyWorks中截取出棋格图标定板反射的点云区域作为点云感兴趣区域,然后对其余位置的点云进行滤除处理,对点云ROI区域进行最大化矩形拟合,通过拟合得到的矩形为棋格图标定板在点云空间的特征矩形,选取矩形的四个角和中心点作为点云数据的特征点;
2)图像数据中标定板的特征点提取
相机坐标系描述物体以相机光心为原点的相对位置,物体坐标表示为(XC,YC,ZC);像素坐标系描述以图像左上角为原点,u轴水平向右,v轴竖直向下,某一点在图像中的像素坐标表示为(u,v),从像素坐标系转换为相机坐标系,用相机内参矩阵A表示:
其中,fx和fy为x、y方向的焦距,单位为像素;cx和cy为图像的中心坐标;
通过张正友标定法得到像素坐标系和相机坐标系的转换关系,表示为:
其中,s为缩放因子;
3)激光雷达与相机的坐标变换
激光雷达和相机的外参标定关系为:
T=[t1 t2 t3]T
通过提取点云数据和图像数据中相对应的特征点数据,求得旋转向量R和平移向量T;
点云空间的三维点从激光雷达坐标系变换到相机坐标系,最后投影到像素坐标系并成像显示,完成点云数据与图像数据的像素级融合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110510907.2A CN113255481B (zh) | 2021-05-11 | 2021-05-11 | 一种基于无人巡逻车的人群状态检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110510907.2A CN113255481B (zh) | 2021-05-11 | 2021-05-11 | 一种基于无人巡逻车的人群状态检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113255481A CN113255481A (zh) | 2021-08-13 |
CN113255481B true CN113255481B (zh) | 2023-05-23 |
Family
ID=77222806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110510907.2A Active CN113255481B (zh) | 2021-05-11 | 2021-05-11 | 一种基于无人巡逻车的人群状态检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113255481B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113838140B (zh) * | 2021-08-16 | 2023-07-18 | 中国矿业大学(北京) | 一种基于三维地图辅助的单目视频行人三维定位方法 |
CN113784482A (zh) * | 2021-09-18 | 2021-12-10 | 合肥工业大学 | 一种车辆智能前照灯*** |
CN114241298A (zh) * | 2021-11-22 | 2022-03-25 | 腾晖科技建筑智能(深圳)有限公司 | 一种激光雷达和图像融合的塔吊环境目标检测方法及*** |
CN114394100B (zh) * | 2022-01-12 | 2024-04-05 | 深圳力维智联技术有限公司 | 一种无人巡逻车控制***及无人车 |
CN114241011A (zh) * | 2022-02-22 | 2022-03-25 | 阿里巴巴达摩院(杭州)科技有限公司 | 目标检测方法、装置、设备及存储介质 |
CN114763997A (zh) * | 2022-04-14 | 2022-07-19 | 中国第一汽车股份有限公司 | 车辆采集到的雷达点云数据的处理方法、装置及电子设备 |
CN115240142B (zh) * | 2022-07-28 | 2023-07-28 | 杭州海宴科技有限公司 | 基于跨媒体的室外重点场所人群异常行为预警***和方法 |
CN115223102B (zh) * | 2022-09-08 | 2022-12-16 | 枫树谷(成都)科技有限责任公司 | 一种基于摄像头集群的实时人群密度融合感知方法及模型 |
TWI800471B (zh) * | 2022-11-09 | 2023-04-21 | 元智大學 | 基於毫米波雷達的人數偵測方法 |
CN116129361B (zh) * | 2023-03-24 | 2023-08-08 | 武汉中科通达高新技术股份有限公司 | 一种基于距离度量的人群聚集识别方法及装置 |
CN116839570B (zh) * | 2023-07-13 | 2023-12-01 | 安徽农业大学 | 一种基于传感器融合目标检测的作物行间作业导航方法 |
CN116758488B (zh) * | 2023-08-16 | 2023-11-10 | 启迪数字科技(深圳)有限公司 | 场馆人群定位方法、装置、设备及介质 |
CN117115228A (zh) * | 2023-10-23 | 2023-11-24 | 广东工业大学 | Sop芯片管脚共面度检测方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101293529A (zh) * | 2007-04-29 | 2008-10-29 | 余亚莉 | 车载式轨道交通客流运能及运行安全智能监控和预警*** |
CN108021852A (zh) * | 2016-11-04 | 2018-05-11 | 株式会社理光 | 一种人数统计方法、人数统计***及电子设备 |
CN111444767A (zh) * | 2020-02-25 | 2020-07-24 | 华中科技大学 | 一种基于激光雷达的行人检测和追踪方法 |
CN111709489A (zh) * | 2020-06-24 | 2020-09-25 | 广西师范大学 | 一种基于改进YOLOv4的柑橘识别方法 |
CN111860679A (zh) * | 2020-07-29 | 2020-10-30 | 浙江理工大学 | 一种基于YOLO v3改进算法的车辆检测方法 |
-
2021
- 2021-05-11 CN CN202110510907.2A patent/CN113255481B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101293529A (zh) * | 2007-04-29 | 2008-10-29 | 余亚莉 | 车载式轨道交通客流运能及运行安全智能监控和预警*** |
CN108021852A (zh) * | 2016-11-04 | 2018-05-11 | 株式会社理光 | 一种人数统计方法、人数统计***及电子设备 |
CN111444767A (zh) * | 2020-02-25 | 2020-07-24 | 华中科技大学 | 一种基于激光雷达的行人检测和追踪方法 |
CN111709489A (zh) * | 2020-06-24 | 2020-09-25 | 广西师范大学 | 一种基于改进YOLOv4的柑橘识别方法 |
CN111860679A (zh) * | 2020-07-29 | 2020-10-30 | 浙江理工大学 | 一种基于YOLO v3改进算法的车辆检测方法 |
Non-Patent Citations (4)
Title |
---|
Advanced Pedestrian State Sensing Method for Automated Patrol Vehicle Based on Multi-Sensor Fusion;Pangwei Wang et al.;《Sensors 》;第22卷(第13期);1-24 * |
Real-Time clustering and LiDAR-camera fusion on embedded platforms for self-driving cars;Micaela Verucchi et al.;《 2020 Fourth IEEE International Conference on Robotic Computing (IRC)》;398-405 * |
基于激光点云与图像结合的行人检测与跟踪技术研究;李梦洁;《中国优秀硕士学位论文全文数据库 (信息科技辑)》(第02期);I136-1943 * |
改进的YOLOv3红外视频图像行人检测算法;王殿伟等;《西安邮电大学学报》;第23卷(第4期);48-52+67 * |
Also Published As
Publication number | Publication date |
---|---|
CN113255481A (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113255481B (zh) | 一种基于无人巡逻车的人群状态检测方法 | |
CN110175576A (zh) | 一种结合激光点云数据的行驶车辆视觉检测方法 | |
CN104821056B (zh) | 基于雷达与视频融合的智能警戒方法 | |
CN109598794B (zh) | 三维gis动态模型的构建方法 | |
CN110866887A (zh) | 一种基于多传感器的目标态势融合感知方法和*** | |
Yao et al. | Extraction and motion estimation of vehicles in single-pass airborne LiDAR data towards urban traffic analysis | |
CN113192091B (zh) | 一种基于激光雷达与相机融合的远距离目标感知方法 | |
CN108596058A (zh) | 基于计算机视觉的行车障碍物测距方法 | |
CN102435174A (zh) | 基于混合式双目视觉的障碍物检测方法及装置 | |
CN109711322A (zh) | 一种基于rfcn的人车分离方法 | |
CN107796373B (zh) | 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法 | |
CN106778633B (zh) | 一种基于区域分割的行人识别方法 | |
Börcs et al. | Fast 3-D urban object detection on streaming point clouds | |
Wang et al. | An overview of 3d object detection | |
Li | Optimising detection of road furniture (pole-like objects) in mobile laser scanning data | |
CN112798811A (zh) | 速度测量方法、装置和设备 | |
CN111913177A (zh) | 对目标物探测方法、装置以及存储介质 | |
CN109002800A (zh) | 基于多传感器融合的三维目标实时识别机构及识别方法 | |
CN113658427A (zh) | 基于视觉与雷达的路况监控方法及***、设备 | |
CN113408324A (zh) | 目标检测方法、装置及***、高级驾驶辅助*** | |
Zhang et al. | Deep learning based object distance measurement method for binocular stereo vision blind area | |
Yao et al. | Automated detection of 3D individual trees along urban road corridors by mobile laser scanning systems | |
CN112699748B (zh) | 基于yolo及rgb图像的人车距离估计方法 | |
CN113219472B (zh) | 一种测距***和方法 | |
Zhang et al. | Front vehicle detection based on multi-sensor fusion for autonomous vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |