CN116052110B - 一种路面标线缺损智能定位方法及*** - Google Patents

一种路面标线缺损智能定位方法及*** Download PDF

Info

Publication number
CN116052110B
CN116052110B CN202310310272.0A CN202310310272A CN116052110B CN 116052110 B CN116052110 B CN 116052110B CN 202310310272 A CN202310310272 A CN 202310310272A CN 116052110 B CN116052110 B CN 116052110B
Authority
CN
China
Prior art keywords
marking
road
feature
pavement marking
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310310272.0A
Other languages
English (en)
Other versions
CN116052110A (zh
Inventor
蒋双全
牛茂钦
刘万春
韩斌
董子硕
张傲南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Road and Bridge Group Co Ltd
Original Assignee
Sichuan Road and Bridge Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Road and Bridge Group Co Ltd filed Critical Sichuan Road and Bridge Group Co Ltd
Priority to CN202310310272.0A priority Critical patent/CN116052110B/zh
Publication of CN116052110A publication Critical patent/CN116052110A/zh
Application granted granted Critical
Publication of CN116052110B publication Critical patent/CN116052110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种路面标线缺损智能定位方法及***，涉及计算机视觉图像目标检测技术领域，解决现有的目标检测算法在路面标线缺损检测定位上不准确的问题；本发明通过卷积神经网络构建模型时，以目标检测网络CenterNet为基线，在利用残差神经网络提取深层特征信息以后，在关键特征细化模块嵌入了自融合编码机制，自融合编码机制兼顾了图像特征信息的长距离关系建模、局部特征细节的深层提取和目标的空间位置信息编码，同时其更好的融合了网络模型深层的高语义信息和浅层的特征细节信息，弥补了卷积神经网络在全局建模上的不足。

Description

一种路面标线缺损智能定位方法及***
技术领域
本发明涉及计算机视觉图像目标检测技术领域，具体涉及一种路面标线缺损智能定位方法及***。
背景技术
随着道路基础设施的不断完善，对高速公路、城市道路、农村道路的大规模运营维护和管理工作逐渐提上日程。路面标线作为道路交通资产的一个重要方面，也作为保证道路交通安全的重要标识物，其在车道引导、有序化交通等方面起到了举足轻重的作用。所以对路面标线进行定期的检测维护、保持路面标线的完整性是必不可少的工作内容。
常见的路面标线的毁坏类型主要表现为路面标线的缺失(已经失去原有的轮廓)以及路面标线的磨损(保持原有的轮廓，但颜色暗淡、磨损严重)。传统的人工检测方法耗时、费力、效率低下而且精度不高。所以，从事道路检测的众多学者开发了一系列基于传统检测算法的道路标线检测方法，包括图像阈值分割、滤波器、道路参数化建模等。但是，这些传统的检测模型只局限于特定的工作环境，受模型的超参数影响较大，导致模型泛化能力较差，而且没有举一反三的能力。所以传统的检测算法在路面标线缺损的定位上有很大的劣势，很难在实际工程中得到广泛的应用。
随着人工智能深度学习的不断发展，基于卷积神经网络的各种目标检测算法已经被成功的运用于人脸识别、图像相似度对比、桥梁裂纹检测、道路病害检测、精密仪器损伤探测识别等。在通用图像识别领域，现有的目标检测算法虽然在识别效果和泛化能力上较传统的算法模型有质的提升，但在路面标线缺损的精准定位上仍然有进一步的研究发展空间。因为在真实的路面检测场景中，包含各种天气、光照的变化和各种路面上的干扰物的影响，这都使得路面标线缺损的定位识别成为了一项极具挑战性的任务。更加值得注意的是，对于标线缺失的情况，标线原有的白色特征也已经被破坏，要想检测出这种缺失的标线，就必须考虑全局的特征信息。然而，经过实验验证，现有的目标检测算法在路面标线缺损检测定位上非常容易出现大量的误识别以及目标边界定位不准确的现象。即使现有的目标检测算法大多采用增加注意力机制以及多尺度建模的方法来提升检测的准确度，但在长距离整体建模能力上依然稍有所欠缺。
发明内容
本发明所要解决的技术问题是：现有的目标检测算法应用在路面标线缺损检测过程中出现回归边界框定位不准确的情况，缺少从全局构建特征信息的能力、长距离建模的能力和空间位置信息提取的能力，本发明目的在于提供基于车载智能手机的路面标线缺损智能定位方法及***，解决上述技术问题。
本发明通过下述技术方案实现：
一种路面标线缺损智能定位方法，其特征在于，包括以下步骤：
步骤1：构建路面标线破损目标检测算法模型；
步骤2：采集道路前景2D图像数据，将采集的前景2D图像数据进行预处理；
步骤3：将预处理后的道路前景图像数据输入路面标线破损目标检测算法模型，得到路面标线缺失、磨损的定位；
步骤1中所述路面标线破损目标检测算法模型是以卷积目标检测网络CenterNet为基线，在利用残差神经网络提取深层特征信息以后，在关键特征细化模块嵌入了自融合编码机制。
优选的，所述预处理具体如下：
根据下式对前景2D图像数据进行归一化处理：
Figure SMS_1
其中i，j分别代表图片的行号和列号；channel代表图片的通道，取值为0，1，2；C(i, j, channel)代表原始图像对应某个通道的像素值；P(i, j, channel)代表处理后的图片在某通道上的像素值，且P(i, j, channel)介于(-1, 1)之间；mean和std中的三个值分别对应R，G，B三个通道的均值和方差。
优选的，所述步骤1具体如下：
步骤1.1：利用车载智能手机收集道路前景2D图像数据, 建立道路前景2D图像数据库；
步骤1.2：基于收集的道路前景2D图像数据，构建与其对应的路面标线缺失、磨损的坐标位置数据, 形成路面标线缺损真值数据;
步骤1.3：对获取到的所有道路前景2D图像数据缩放到统一大小, 且路面标线缺损的真值数据基于道路前景2D图像的缩放因子进行缩放;
步骤1.4：基于步骤1.3的道路前景2D图像数据和步骤1.3的路面标线缺损的真值数据训练路面标线破损目标检测算法模型。
优选的，所述步骤1.1具体包括：
步骤1.11：获取高速公路、城市道路、农村道路的道路前景2D图像数据，构建道路前景2D图像的大数据平台，从大数据平台中选取样本，构成训练算法模型的训练数据样本库，
所述训练数据样本库包括：高速公路标线缺失样本、高速公路标线磨损样本、城市道路标线缺失样本、城市道路标线磨损样本、农村道路标线缺失样本、农村道路标线磨损样本；
步骤1.12：采用预训练模型筛选法，从构建的道路前景2D图像大数据平台中选取部分各类标线磨损样本数据对路面标线破损目标检测算法模型进行预训练，得到带有分类识别能力的算法模型；
步骤1.13：将收集的高速公路标线缺失样本、高速公路标线磨损样本、城市道路标线缺失样本、城市道路标线磨损样本、农村道路标线缺失样本、农村道路标线磨损样本分N次输入步骤1.12得到的带有分类识别能力的算法模型中，得到每张图像数据中路面标线缺损的分类信息,每张图像是标线缺失、标线磨损、背景的概率分别记为Pi1、Pi2、Pi3，i=0,1,2,3,……,X,X为收集的各类标线样本的总数量；
步骤1.14：取各类标线样本max{ Pi1,Pi2,Pi3}为单张图像的样本类别，分别得出各类标线样本的数量；
步骤1.15：利用随机采样的方法，从各标线样本数据库中随机抽取同等数量的样本数据，以达到正负样本平衡的目的，以此构建道路前景2D图像数据库。
优选的，所述步骤1.2具体包括：
基于所述道路前景2D图像数据库，构建与道路前景2D图像数据对应的路面标线缺失、磨损的坐标位置数据, 形成路面标线缺损真值数据。
优选的，所述步骤1.3具体包括：
对获取到的所有道路前景2D图像数据采用双线性插值法缩放为640pixel×640pixel×3大小, 路面标线缺损的真值数据基于道路前景2D图像的缩放因子采用常规比例缩放法进行缩放。
优选的，所述步骤1.4具体包括以下步骤：
步骤1.41：将缩放为640pixel×640pixel×3的道路前景2D图像数据，输入到特征提取网络
ResNet101中，经过ResNet101的特征提取后，获得尺寸为20pixel×20pixel×2048的初步特征层；
步骤1.42：分别利用步长为2的4pixel×4pixel×256 Conv2DTranspose、 4pixel×4pixel×128 Conv2DTranspose、4pixel×4pixel×64 Conv2DTranspose对ResNet101提取的20pixel×20pixel×2048初步
特征层进行上采样处理，得到160pixel×160pixel×64的关键特征层；其中4pixel×4pixel×256 Conv2DTranspose表示卷积核大小为4×4，卷积核核数为256的转置卷积层；
步骤1.43：基于自融合编码机制对关键特征层信息进行图像特征信息的长距离关系建模、局部特征细节的深层提取和目标的空间位置信息编码，得到细化图；
步骤1.44：基于回归解码机制的噪声框去除，对细化图深度提取出有效的目标框并构建最优坐标位置信息，基于最优坐标位置信息，得到路面标线缺损目标检测识别定位模型。
优选的，所述步骤1.43具体包括以下步骤：
步骤1.431：对输入的关键特征层分别使用三个全连接层Dense获取关键特征层的Query、Key和Value矩阵特征向量表示；
步骤1.432：将输入的关键特征层输入空间特征信息编码和细化分支模块，得到细化后的空间特征图表示；
步骤1.433：对步骤1.431中获取到的Query和Key值进行矩阵乘法的运算，并将得到的结果乘一个比例因子Scale，得到特征图；
步骤1.434：对步骤1.433中获取的特征图，使用SoftMax激活函数，让其矩阵里面的所有元素转换为不同元素之间的相对概率，得到有概率分布的矩阵特征层；
步骤1.435：对步骤1.431中获取的Value和步骤1.434中获取的有概率分布的矩阵特征层进行矩阵相乘，得到进一步的特征细化结果；
步骤1.436：将步骤1.435中获取的结果接入全连接层，并与1.432细化的空间特征图进行拼接融合，得到最终输出的细化图。
优选的，所述步骤1.44具体包括以下步骤：
步骤1.441：将回归解码机制的热力图检测头、回归框宽高检测头、回归框中心偏移检测头提取到细化图的特征层分别输入轻量化解码模块，所述轻量化解码模块由5pixel×5pixel×64深度可分离卷积层、层正则化、5pixel×5pixel×64深度可分离卷积层组成，以增强解码阶段对目标位置的回归能力；
步骤1.442：对1.441中细化后的特征层执行3×3最大池化操作，用以检测当前热点的值是否比周围的八个近邻点都大；
步骤1.443：利用TopK算法对1.442中的结果筛选出K个符合要求的目标框；
步骤1.444：用置信度阈值对1.443中得出的K个符合要求的目标框进一步筛选，获得最优坐标位置信息，基于最优坐标位置信息，得到路面标线缺损目标检测识别定位模型。
一种车载智能手机的路面标线缺损智能定位***，包括采集模块、模型构建模块、智能识别模块；
所述采集模块用于实时收集目标路段的道路前景2D图像数据；
所述模型构建模块用于搭建智能算法模型；
所述智能识别模块用于对获取到的道路前景2D数据进行图像尺寸的统一操作和图像的归一化处理，将处理好的图像数据输送至目标检测算法中，回归得出路面标线破损的实际位置信息，完成路面标线缺失、磨损的定位。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明提供的基于车载智能手机的路面标线缺损智能定位方法，在通过卷积神经网络构建模型时，以目标检测网络CenterNet为基线，在利用残差神经网络提取深层特征信息以后，在关键特征细化模块嵌入了自融合编码机制，该自融合编码机制是对Transformer中自注意力机制的改进，在原有自注意力机制的基础上，增加了空间特征信息编码和细化分支模块，从而使得自融合编码机制兼顾了图像特征信息的长距离关系建模、局部特征细节的深层提取和目标的空间位置信息编码，同时其更好的融合了网络模型深层的高语义信息和浅层的特征细节信息，弥补了卷积神经网络在全局建模上的不足。除此之外，自融合编码机制结合了自注意力机制的优点，擅长捕捉图像特征信息之间的长距离依赖，这样更加有利于检索图像中子像素之间的相似关系，进而提高整个模型的检测定位效果。在关键特征检测头后，加入了回归解码机制，在回归解码机制中设计了轻量化解码模块，该模块的特点是推理速度快，并且可以有效的去除噪声框并深度提取出有效的目标框，使得更加精准有效的定位路面标线破损的坐标位置，给后期标线的养护维修提供可靠、有效的定位信息。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
图1为基于车载智能手机的路面标线缺损智能定位方法流程示意图；
图2为本发明图像目标检测定位模型结构示意图；
图3为回归解码机制结构示意图；
图4为特征细化模块自融合编码机制的结构示意图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明，仅用于解释本发明，并不作为对本发明的限定。
实施例1：本实施例提出一种路面标线缺损智能定位方法，如图1和图2所示，包括以下步骤：
步骤1：构建路面标线破损目标检测算法模型；
步骤1中所述路面标线破损的目标检测智能算法模型以卷积目标检测网络CenterNet为基线，在利用残差神经网络提取深层特征信息以后，在关键特征细化模块嵌入了自融合编码机制，该自融合编码机制是对Transformer中自注意力机制的改进，在原有自注意力机制的基础上，增加了空间特征信息编码和细化分支模块，从而使得自融合编码机制兼顾了图像特征信息的长距离关系建模、局部特征细节的深层提取和目标的空间位置信息编码，同时其更好的融合了网络模型深层的高语义信息和浅层的特征细节信息。在关键特征检测头后，加入了回归解码机制，在回归解码机制中设计了轻量化解码模块，该模块的特点是推理速度快，并且可以有效的去除噪声框并深度提取出有效的目标框，使得更加精准有效的定位路面标线破损的坐标位置，给后期标线的养护维修提供可靠、有效的定位信息。
所述路面标线破损目标检测算法模型的构建方法具体包括以下步骤：
步骤1.1：利用车载智能手机收集道路前景2D图像数据, 建立道路前景2D图像数据库；
所述步骤1具体包括：
步骤1.11：获取高速公路、城市道路、农村道路的道路前景2D图像数据，构建道路前景2D图像的大数据平台，从大数据平台中选取样本，构成训练算法模型的训练数据样本库，
所述训练数据样本库包括：高速公路标线缺失样本、高速公路标线磨损样本、城市道路标线缺失样本、城市道路标线磨损样本、农村道路标线缺失样本、农村道路标线磨损样本；其中标线应包含车道线、直行标线、转弯标线、限速标线、警示标线等；
步骤1.12：采用预训练模型筛选法，从构建的道路前景2D图像大数据平台中选取部分(应包含T11所述的各类标线样本，各类样本数至少为100)各类标线磨损样本数据对路面标线破损目标检测算法模型进行预训练，得到带有分类识别能力的算法模型；
这一步骤的目的不是为了精确的定位，而是让算法模型具有一定的分类能力，以高效的构建平衡的正负样本数据；
步骤1.13：将收集的高速公路标线缺失样本、高速公路标线磨损样本、城市道路标线缺失样本、城市道路标线磨损样本、农村道路标线缺失样本、农村道路标线磨损样本分N次输入步骤1.12得到的带有分类识别能力的算法模型中，得到每张图像数据中路面标线缺损的分类信息,每张图像是标线缺失、标线磨损、背景的概率分别记为Pi1、Pi2、Pi3，i=0,1,2,3,……,X,X为收集的各类标线样本的总数量；
步骤1.14：取各类标线样本max{ Pi1,Pi2,Pi3}为单张图像的样本类别，分别得出各类标线样本的数量；
步骤1.15：利用随机采样的方法，从各标线样本数据库中随机抽取同等数量的样本数据，以达到正负样本平衡的目的，以此构建道路前景2D图像数据库。
对于目标检测模型来说，参与训练的数据决定了模型训练后的性能。简单来说，数据量的大小和数据集中正负样本的分布对模型的训练性能有直接的影响。当数据量不足时，容易出现模型训练不充分的问题，这会导致模型欠拟合问题的发生。当数据分布相似的数据过多时，则会导致模型过拟合问题的发生，进而使得模型的泛化能力较差。对于训练数据样本库来说，它应该尽可能地包含多种模式、多种场景，以及各个场景模式的各个种类，包括但不限于晴天场景、雨天场景、阴天场景、高速场景、城市道路场景、乡村道路场景。但在实际场景中，一个场景模式体现在样本数据上千差万别，采用人工的方法难以进行正确地分类，而且对于每种类别的样本数据量的比例也难以确定，而且要达到覆盖所有场景模式种类的样本数据集是比较困难的，通常的做法是只能采集一定数量的样本数据，然后通过人工挑选的方法来选择训练数据。这种方法的主要缺点在于完全依赖于人的主观性能，不同的人挑选出来的结果是不同的，没有一个固定的衡量标准，而且人工挑选的样本不一定满足模型训练中对正负样本平衡的要求。此外，在大样本集的情况下，人工挑选非常费时费力。为此，本实施例基于预训练模型筛选法，在前期只需要依靠少量的人力，后期便可以借助模型初步的分类性能，快速的构建正负样本平衡的训练数据样本库；
步骤1.2：基于所述道路前景2D图像数据库，构建与道路前景2D图像数据对应的路面标线缺失、磨损的坐标位置数据, 形成路面标线缺损真值数据。
步骤1.3：对获取到的所有道路前景2D图像数据缩放到统一大小, 且路面标线缺损的真值数据基于道路前景2D图像的缩放因子进行缩放;
所述步骤1.3具体包括：
对获取到的所有道路前景2D图像数据采用双线性插值法缩放为640pixel×640pixel×3大小, 路面标线缺损的真值数据基于道路前景2D图像的缩放因子采用常规比例缩放法进行缩放。
步骤1.4：基于步骤1.3的道路前景2D图像数据和步骤1.3的路面标线缺损的真值数据训练路面标线破损目标检测算法模型。
所述步骤1.4具体包括以下步骤：
步骤1.41：将缩放为640pixel×640pixel×3的道路前景2D图像数据，输入到特征提取网络
ResNet101中，经过ResNet101的特征提取后，获得尺寸为20pixel×20pixel×2048的初步特征层；
步骤1.42：分别利用步长为2的4pixel×4pixel×256 Conv2DTranspose、 4pixel×4pixel×128 Conv2DTranspose、4pixel×4pixel×64 Conv2DTranspose对ResNet101提取的20×20×2048初步
特征层进行上采样处理，得到160pixel×160pixel×64的关键特征层；其中4pixel×4pixel×256 Conv2DTranspose表示卷积核大小为4×4，卷积核核数为256的转置卷积层；该特征层为后续的特征细化模块和特征检测头模块提供关键的高语义信息，是对目标物体坐标成功回归的关键模块；
步骤1.43：基于自融合编码机制对关键特征层信息进行图像特征信息的长距离关系建模、局部特征细节的深层提取和目标的空间位置信息编码，得到细化图；
步骤1.44：基于回归解码机制的噪声框去除，对细化图深度提取出有效的目标框并构建最优坐标位置信息，基于最优坐标位置信息，得到路面标线缺损目标检测识别定位模型。
所述步骤1.43具体包括以下步骤：
自融合编码机制是对Transformer中自注意力机制的改进，在原有自注意力机制的基础上，增加了空间特征信息编码和细化分支模块，如图4所示，从而能够对目标的空间特征进行深层提取并建立对应的位置编码信息，增强了目标检测模型对路面标线缺损特征的理解，改进后具体的推理步骤如下：
步骤1.431：对输入的关键特征层分别使用三个全连接层Dense获取关键特征层的Query、Key和Value矩阵特征向量表示；
步骤1.432：将输入的关键特征层输入空间特征信息编码和细化分支模块，得到细化后的空间特征图表示；该模块由3×3×128的空间可分离卷积层、批正则化层、ReLU非线性激活函数层、3×3×128的空间可分离卷积层组成。3×3×128的空间可分离卷积层表示卷积核大小为3×3，卷积核核数为128的空间可分离卷积层；
步骤1.433：对步骤1.431中获取到的Query和Key值进行矩阵乘法的运算，并将得到的结果乘一个比例因子Scale；
步骤1.434：对步骤1.433中获取的特征图，使用SoftMax激活函数，让其矩阵里面的所有元素转换为不同元素之间的相对概率，得到有概率分布的矩阵特征层；
步骤1.435：对步骤1.431中获取的Value和步骤1.434中获取的有概率分布的矩阵特征层进行矩阵相乘；
步骤1.436：将步骤1.435中获取的结果接入全连接层，并与1.432细化的空间特征图进行拼接融合，得到最终输出的细化图。
所述步骤1.44具体包括以下步骤：
在回归解码机制中设计了轻量化解码模块，如图3所示，该模块的特点是推理速度快，并且可以有效的去除噪声框并深度提取出有效的目标框，使得更加精准有效的定位路面标线破损的坐标位置，给后期标线的养护维修提供可靠、有效的定位信息。
步骤1.441：将回归解码机制的热力图检测头、回归框宽高检测头、回归框中心偏移检测头提取到细化图的特征层分别输入轻量化解码模块，所述轻量化解码模块由5pixel×5pixel×64深度可分离卷积层、层正则化、5pixel×5pixel×64深度可分离卷积层组成，以增强解码阶段对目标位置的回归能力；其中5pixel×5pixel×64深度可分离卷积层表示卷积核核数为64，卷积核大小为5×5的深度可分离卷积层。使用深度可分离卷积层的好处是它参数少、效率高、且推理速度快，这便于进行实时的检测；
热力图检测头: 由3pixel×3pixel×64卷积层和1pixel×1pixel×1卷积层组成，对特征细化模块处理后的细化特征层进行处理，获得大小为160pixel×160pixel×1的特征层。该特征检测头(Heat Map Head)主要的功能是为了获取目标中心点的特征信息。其中3pixel×3pixel×64卷积层表示卷积核尺寸为3×3、卷积核核数为64的卷积层，1pixel×1pixel×1卷积层表示卷积核尺寸为1×1、卷积核核数为1的卷积层。
回归框宽高检测头: 由3pixel×3pixel×64卷积层和1pixel×1pixel×2卷积层组成，该特征检测头(Anchor Size Head)主要是为了校正预测目标框的宽和高的尺寸大小。其同样对特征细化模块处理后的细化特征层进行处理，最后获得大小为160pixel×160pixel×2的特征层。其中3pixel×3pixel×64卷积层表示卷积核尺寸为3×3、卷积核核数为64的卷积层，1pixel×1pixel×2卷积层表示卷积核尺寸为1×1、卷积核核数为2的卷积层。
回归框中心偏移检测头: 由3pixel×3pixel×64卷积层和1pixel×1pixel×2卷积层组成，该特征检测头(Regression Head)是为了回归预测目标框和真实框中心点之间的偏差值。其也是对特征细化模块处理后的细化特征层进行处理，最后获得大小为160pixel×160pixel×2的特征层。其中3pixel×3pixel×64卷积层表示卷积核尺寸为3×3、卷积核核数为64的卷积层，1pixel×1pixel×2卷积层表示卷积核尺寸为1×1、卷积核核数为2的卷积层。
步骤1.442：对1.441中细化后的特征层执行3×3最大池化操作，用以检测当前热点的值是否比周围的八个近邻点都大的点；这类似于主流目标检测后处理中的NMS操作，其可以用来筛除冗余的框；
步骤1.443：利用TopK算法对1.442中的结果筛选出K个符合要求的目标框；
本发明中K值取100，其中每个符合要求的目标框包含六个参数，分别是目标的左上角坐标(Xmin，Ymin)，目标的右下角坐标(Xmax，Ymax)，目标得分Score，目标类别Class；
步骤1.444：用置信度阈值对1.443中得出的K个符合要求的目标框进一步筛选，获得最优坐标位置信息，基于最优坐标位置信息，得到路面标线缺损目标检测识别定位模型。
步骤2：采集道路前景2D图像数据，将采集的前景2D图像数据进行预处理；
所述预处理具体如下：
根据下式对前景2D图像数据进行归一化处理：
Figure SMS_2
其中i，j分别代表图片的行号和列号；channel代表图片的通道，取值为0，1，2(共有R，G，B三个通道)；C(i, j, channel)代表原始图像对应某个通道的像素值；P(i, j,channel)代表处理后的图片在某通道上的像素值，且P(i, j, channel)介于(-1, 1)之间；mean和std中的三个值分别对应R，G，B三个通道的均值和方差，该均值和方差数据是在大数据集ImageNet上测试的通用图像数据，适用于绝大多数图像的预处理过程，这样做的好处是可以加速神经网络的收敛，让神经网络更好的从图像大数据中寻找特定目标的数字信号。
步骤3：将预处理后的道路前景图像数据输入路面标线破损目标检测算法模型，得到路面标线缺失、磨损的定位；
本发明方案重新设计添加了带有自融合编码机制的关键特征细化模块以及回归解码机制，用于路面标线缺损的快速定位与识别。相比于传统的卷积神经网络，自融合编码机制兼顾了图像特征信息的长距离关系建模、局部特征细节的深层提取和目标的空间位置信息编码，同时其更好的融合了网络模型深层的高语义信息和浅层的特征细节信息，这样更加有利于检索图像中子像素之间的相似关系，进而提高整个模型的检测效果。由上述方法得到的图像目标检测模型最后的识别定位效果具有很好的鲁棒性，对于路面标线磨损的地方、路面标线缺失的地方，都可以很好的进行定位，这为后续的路面标线的养护维修提供了可靠有效的定位信息。
实施例2：本实施案例提供基于车载智能手机的路面标线缺损智能定位方法及***，用于实现实施例1所述的一种路面标线缺损智能定位方法，包括采集模块、模型构建模块、智能识别模块；
所述采集模块用于实时收集目标路段的道路前景2D图像数据；
所述模型构建模块用于搭建智能算法模型；
所述智能识别模块用于对获取到的道路前景2D数据进行图像尺寸的统一操作和图像的归一化处理，将处理好的图像数据输送至目标检测算法中，回归得出路面标线破损的实际位置信息，完成路面标线缺失、磨损的定位；
所述路面标线破损的目标检测智能算法模型以卷积目标检测网络CenterNet为基线，在利用残差神经网络提取深层特征信息以后，在关键特征细化模块嵌入了自融合编码机制，该自融合编码机制是对Transformer中自注意力机制的改进，在原有自注意力机制的基础上，增加了空间特征信息编码和细化分支模块，从而使得自融合编码机制兼顾了图像特征信息的长距离关系建模、局部特征细节的深层提取和目标的空间位置信息编码，同时其更好的融合了网络模型深层的高语义信息和浅层的特征细节信息。在关键特征检测头后，加入了回归解码机制，在回归解码机制中设计了轻量化解码模块，该模块的特点是推理速度快，并且可以有效的去除噪声框并深度提取出有效的目标框，使得更加精准有效的定位路面标线破损的坐标位置，给后期标线的养护维修提供可靠、有效的定位信息。
实施例3：本实施例基于传统的SSD300算法模型、YOLOv3-s算法模型、YOLOv3-m算法模型、YOLOv4-s算法模型、YOLOv4-m算法模型、CenterNet算法模型及上述实施例的图像目标检测定位模型对1500张实测的道路前景2D图像数据进行测试，不同算法网络的指标如下表1：
表1为不同目标检测算法模型的指标测试结果表
Figure SMS_3
其中指标采用了目前智能算法领域最具代表性的三个指标，即召回率(Recall)、精确率(Precision)、F1-measure分数，其得分数值越大，说明算法模型的泛化能力和性能越优。值得一提的是，F1-measure指标可以更加综合的反应算法网络的性能优异，其是Recall和Precision的调和平均数：
F1-measure =2*Recall*Precision/(Recall+Precision))；
式中*为乘以；
和目前主流的网络模型：SSD300、YOLOv3-s、YOLOv3-m、YOLOv4-s、YOLOv4-m、CenterNet相比，本发明提出的算法在标线缺损的定位识别上具有明显的优势。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种路面标线缺损智能定位方法，其特征在于，包括以下步骤：
步骤 1：构建路面标线破损目标检测算法模型；
步骤 2：采集道路前景 2D 图像数据，将采集的前景 2D 图像数据进行预处理；
步骤 3：将预处理后的道路前景图像数据输入路面标线破损目标检测算法模型，得到路面标 线缺失、磨损的定位；
步骤 1 中所述路面标线破损目标检测算法模型是以卷积目标检测网络 CenterNet为基线，在利用残差神经网络提取深层特征信息以后，在关键特征细化模块嵌入了自融合编码机制；
所述步骤 1 具体如下：
步骤 1.1：利用车载智能手机收集道路前景2D图像数据, 建立道路前景2D图像数据库；
步骤 1.2：基于收集的道路前景2D图像数据，构建与其对应的路面标线缺失、磨损的坐标位 置数据, 形成路面标线缺损真值数据;
步骤 1.3：对获取到的所有道路前景2D图像数据缩放到统一大小, 且路面标线缺损的真值数 据基于道路前景2D图像的缩放因子进行缩放;
步骤 1.4：基于步骤 1.3 的道路前景2D图像数据和步骤1.3的路面标线缺损的真值数据训练路面标线破损目标检测算法模型；
所述步骤 1.4 具体包括以下步骤：
步骤 1.41：将缩放为 640pixel×640pixel×3 的道路前景 2D 图像数据，输入到特征提取网络ResNet101 中，经过ResNet101 的特征提取后，获得尺寸为 20pixel×20pixel×2048 的初步特征层；
步骤 1.42：分别利用步长为 2 的 4pixel×4pixel×256 Conv2DTranspose、 4pixel×4pixel×128 Conv2DTranspose、4×4×64 Conv2DTranspose 对 ResNet101 提取的20pixel×20pixel×2048 初步 特征层进行上采样处理，得到 160pixel×160pixel×64的关键特征层；其中 4pixel×4pixel×256 Conv2DTranspose 表示卷积核大小为 4×4，卷积核核数为 256 的转置卷积层；
步骤1.43：基于自融合编码机制对关键特征层信息进行图像特征信息的长距离关系建模、局 部特征细节的深层提取和目标的空间位置信息编码，得到细化图；
步骤1.44：基于回归解码机制的噪声框去除，对细化图深度提取出有效的目标框并构建最优坐标位置信息，基于最优坐标位置信息，得到路面标线缺损目标检测识别定位模型；
所述步骤 1.43 具体包括以下步骤：
步骤1.431：对输入的关键特征层分别使用三个全连接层 Dense 获取关键特征层的Query、Key 和 Value 矩阵特征向量表示；
步骤 1.432：将输入的关键特征层输入空间特征信息编码和细化分支模块，得到细化后的空间特征图表示；
步骤1.433：对步骤 1.431 中获取到的 Query 和 Key 值进行矩阵乘法的运算，并将得到的结果乘一个比例因子 Scale，得到特征图；
步骤 1.434：对步骤 1.433 中获取的特征图，使用 SoftMax 激活函数，让其矩阵里面的所有元素转换为不同元素之间的相对概率，得到有概率分布的矩阵特征层；
步骤 1.435：对步骤 1.431 中获取的 Value 和步骤 1.434 中获取的有概率分布的矩阵特征层进行矩阵相乘，得到进一步的特征细化结果；
步骤 1.436：将步骤 1.435 中获取的结果接入全连接层，并与 1.432 细化的空间特征图进行拼接融合，得到最终输出的细化图。
2.根据权利要求 1 所述的一种路面标线缺损智能定位方法，其特征在于，所述预处理具体 如下：
根据下式对前景 2D 图像数据进行归一化处理：
Figure QLYQS_1
其中 i，j 分别代表图片的行号和列号；channel 代表图片的通道，取值为 0，1，2；C(i, j, channel) 代表原始图像对应某个通道的像素值；P(i, j, channel)代表处理后的图片在某通道上的像素值， 且 P(i, j, channel)介于(-1, 1)之间；mean 和 std 中的三个值分别对应 R，G，B 三个通道的均值和方差。
3.根据权利要求 1所述的一种路面标线缺损智能定位方法，其特征在于，所述步骤1.1 具体包括：
步骤 1.11：获取高速公路、城市道路、农村道路的道路前景 2D 图像数据，构建道路前景 2D 图像的大数据平台，从大数据平台中选取样本，构成训练算法模型的训练数据样本库， 所述训练数据样本库包括：高速公路标线缺失样本、高速公路标线磨损样本、城市道路标线 缺失样本、城市道路标线磨损样本、农村道路标线缺失样本、农村道路标线磨损样本；
步骤 1.12：采用预训练模型筛选法，从构建的道路前景 2D 图像大数据平台中选取部分各类标线磨损样本数据对路面标线破损目标检测算法模型进行预训练，得到带有分类识别能力的算法模型；
步骤 1.13：将收集的高速公路标线缺失样本、高速公路标线磨损样本、城市道路标线缺失样 本、城市道路标线磨损样本、农村道路标线缺失样本、农村道路标线磨损样本分 N次输入步 骤 1.12 得到的带有分类识别能力的算法模型中，得到每张图像数据中路面标线缺损的分类信 息,每张图像是标线缺失、标线磨损、背景的概率分别记为 Pi1、Pi2、Pi3，i=0,1,2,3,……,X,X 为收集的各类标线样本的总数量；
步骤 1.14：取各类标线样本 max{ Pi1,Pi2,Pi3}为单张图像的样本类别，分别得出各类标线样本的数量；
步骤 1.15：利用随机采样的方法，从各标线样本数据库中随机抽取同等数量的样本数据，以达到正负样本平衡的目的，以此构建道路前景 2D 图像数据库。
4.根据权利要求 3 所述的一种路面标线缺损智能定位方法，其特征在于，所述步骤1.2 具 体包括：
基于所述道路前景 2D 图像数据库，构建与道路前景 2D 图像数据对应的路面标线缺失、磨损的坐标位置数据, 形成路面标线缺损真值数据。
5.根据权利要求 4所述的一种路面标线缺损智能定位方法，其特征在于，所述步骤1.3 具 体包括：对获取到的所有道路前景 2D 图像数据采用双线性插值法缩放为640pixel×640pixel×3 大小, 路面标线缺损的真值数据基于道路前景 2D 图像的缩放因子采用常规比例缩放法进行缩放， 其中 640×640 是宽和高，3 是 RGB 三个通道。
6.根据权利要求 1 所述的一种路面标线缺损智能定位方法，其特征在于，所述步骤1.44 具体包括以下步骤：
步骤 1.441：将回归解码机制的热力图检测头、回归框宽高检测头、回归框中心偏移检测头提取到细化图的特征层分别输入轻量化解码模块，所述轻量化解码模块由 5pixel×5pixel×64 深度可分离卷积层、层正则化、5pixel×5pixel×64 深度可分离卷积层组成，以增强解码阶段对目标位置的回归能力；
步骤 1.442：对 1.441 中细化后的特征层执行 3×3 最大池化操作，用以检测当前热点的值是否比周围的八个近邻点都大；
步骤 1.443：利用 TopK 算法对 1.442 中的结果筛选出 K 个符合要求的目标框；
步骤 1.444：用置信度阈值对 1.443 中得出的 K个符合要求的目标框进一步筛选，获得最优坐标位置信息，基于最优坐标位置信息，得到路面标线缺损目标检测识别定位模型。
7.一种车载智能手机的路面标线缺损智能定位***，用于实现权利要求 1-6任意一项所述的一种路面标线缺损智能定位方法，其特征在于，包括采集模块、模型构建模块、智能识别模块；
所述采集模块用于实时收集目标路段的道路前景 2D 图像数据；
所述模型构建模块用于搭建智能算法模型；
所述智能识别模块用于对获取到的道路前景 2D 数据进行图像尺寸的统一操作和图像的归一化处理，将处理好的图像数据输送至目标检测算法中，回归得出路面标线破损的实际位置信息，完成路面标线缺失、磨损的定位。
CN202310310272.0A 2023-03-28 2023-03-28 一种路面标线缺损智能定位方法及*** Active CN116052110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310310272.0A CN116052110B (zh) 2023-03-28 2023-03-28 一种路面标线缺损智能定位方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310310272.0A CN116052110B (zh) 2023-03-28 2023-03-28 一种路面标线缺损智能定位方法及***

Publications (2)

Publication Number Publication Date
CN116052110A CN116052110A (zh) 2023-05-02
CN116052110B true CN116052110B (zh) 2023-06-13

Family

ID=86133510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310310272.0A Active CN116052110B (zh) 2023-03-28 2023-03-28 一种路面标线缺损智能定位方法及***

Country Status (1)

Country Link
CN (1) CN116052110B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117129527A (zh) * 2023-08-30 2023-11-28 江苏瑞意隆建设工程有限公司 一种城市道路铺设质量检测方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276267A (zh) * 2019-05-28 2019-09-24 江苏金海星导航科技有限公司 基于Spatial-LargeFOV深度学习网络的车道线检测方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832493A (zh) * 2020-07-17 2020-10-27 平安科技（深圳）有限公司 图像交通信号灯检测方法、装置、电子设备及存储介质
CN111950467B (zh) * 2020-08-14 2021-06-25 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN112200161B (zh) * 2020-12-03 2021-03-02 北京电信易通信息技术股份有限公司 一种基于混合注意力机制的人脸识别检测方法
CN114913565B (zh) * 2021-01-28 2023-11-17 腾讯科技（深圳）有限公司 人脸图像检测方法、模型训练方法、装置及存储介质
CN113038001A (zh) * 2021-02-26 2021-06-25 维沃移动通信有限公司 显示方法、装置及电子设备
CN113191296A (zh) * 2021-05-13 2021-07-30 中国人民解放军陆军炮兵防空兵学院 一种基于yolov5的任意朝向目标五参数检测方法
CN113421269B (zh) * 2021-06-09 2024-06-07 南京瑞易智能科技有限公司 一种基于双分支深度卷积神经网络的实时语义分割方法
CN113888754B (zh) * 2021-08-20 2024-04-26 北京工业大学 一种基于雷达视觉融合的车辆多属性识别方法
CN114299303B (zh) * 2021-12-07 2024-06-14 集美大学 一种船舶目标检测方法、终端设备及存储介质
CN114359153A (zh) * 2021-12-07 2022-04-15 湖北工业大学 一种基于改进CenterNet的绝缘子缺陷检测方法
CN114612803A (zh) * 2022-01-25 2022-06-10 安徽理工大学 一种改进CenterNet的输电线路绝缘子缺陷检测方法
CN114565655B (zh) * 2022-02-28 2024-02-02 上海应用技术大学 一种基于金字塔分割注意力的深度估计方法及装置
CN115331146A (zh) * 2022-08-15 2022-11-11 广东技术师范大学 一种基于数据增强与特征融合的微小目标自适应检测方法
CN115409797A (zh) * 2022-08-29 2022-11-29 上海大学 一种基于改进深度学习算法的pcb缺陷图像检测方法
CN115546768B (zh) * 2022-12-01 2023-04-07 四川蜀道新能源科技发展有限公司 基于多尺度机制和注意力机制的路面标线识别方法及***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276267A (zh) * 2019-05-28 2019-09-24 江苏金海星导航科技有限公司 基于Spatial-LargeFOV深度学习网络的车道线检测方法

Also Published As

Publication number Publication date
CN116052110A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
Wang et al. RENet: Rectangular convolution pyramid and edge enhancement network for salient object detection of pavement cracks
CN111047554B (zh) 一种基于实例分割的复合绝缘子过热缺陷检测方法
CN108986122B (zh) 室内泊车引导地图智能重构方法
CN109190752A (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN108491797A (zh) 一种基于大数据的车辆图像精确检索方法
CN110135296A (zh) 基于卷积神经网络的机场跑道fod检测方法
CN111222580A (zh) 一种高精度的裂缝检测方法
CN110415233A (zh) 基于两步卷积神经网络的路面裂缝快速提取方法
CN113240623B (zh) 一种路面病害检测方法及装置
CN114937033A (zh) 一种基于深度卷积神经网络的农村公路路面病害智能检测方法
CN113313149B (zh) 一种基于注意力机制和度量学习的菜品识别方法
CN115546768A (zh) 基于多尺度机制和注意力机制的路面标线识别方法及***
CN116052110B (zh) 一种路面标线缺损智能定位方法及***
Sarmiento Pavement distress detection and segmentation using YOLOv4 and DeepLabv3 on pavements in the Philippines
Dong et al. Automatic inspection and evaluation system for pavement distress
Yang et al. PDNet: Improved YOLOv5 nondeformable disease detection network for asphalt pavement
CN114299394A (zh) 一种遥感影像智能解译方法
Sun et al. Roadway crack segmentation based on an encoder-decoder deep network with multi-scale convolutional blocks
Yin et al. Road Damage Detection and Classification based on Multi-level Feature Pyramids.
CN113902792A (zh) 基于改进RetinaNet网络的建筑物高度检测方法、***和电子设备
CN112364687A (zh) 一种基于改进的Faster R-CNN加油站静电标志识别方法及***
CN117058069A (zh) 一种全景影像中路面表观病害自动检测方法
Li et al. Learning to holistically detect bridges from large-size vhr remote sensing imagery
CN110889418A (zh) 一种气体轮廓识别方法
CN113012167B (zh) 一种细胞核与细胞质的联合分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant